KUNSKAP

Kostnader att träna AI

16

Att träna avancerade AI-modeller som OpenAI:s ChatGPT och Googles Gemini Ultra kräver miljontals dollar, och kostnaderna eskalerar snabbt.

I takt med att beräkningskraven ökar skjuter kostnaderna för den datorkraft som krävs för att träna dem i höjden. Som svar på detta omprövar AI-företagen hur de tränar generativa AI-system. I många fall inkluderar detta strategier för att minska beräkningskostnaderna med tanke på nuvarande tillväxtbanor.

Hur utbildningskostnaden bestäms

AI-indexet samarbetade med forskningsföretaget Epoch AI för att uppskatta utbildningskostnaderna för AI-modeller, som baserades på hyrespriser för molnberäkning. Viktiga faktorer som analyserades inkluderar modellens träningslängd, hårdvarans utnyttjandegrad och värdet på träningshårdvaran.

Många har spekulerat i att det har blivit allt dyrare att utbilda AI-modeller, men det saknas omfattande data som stöder dessa påståenden. AI-indexet är en av de få källorna till dessa uppskattningar.

Utbildningskostnader som skjuter i höjden

Nedan visar vi utbildningskostnaden för större AI-modeller, justerad för inflation, sedan 2017:

Förra året kostade OpenAI:s GPT-4 uppskattningsvis 78,4 miljoner dollar att utbilda, en brant ökning från Googles PaLM (540B)-modell, som kostade 12,4 miljoner dollar bara ett år tidigare.

Som jämförelse kan nämnas att utbildningskostnaden för Transformer, en tidig AI-modell som utvecklades 2017, var 930 dollar. Denna modell spelar en grundläggande roll i utformningen av arkitekturen för många stora språkmodeller som används idag.

Googles AI-modell Gemini Ultra kostar ännu mer, nämligen svindlande 191 miljoner dollar. Från och med början av 2024 överträffar modellen GPT-4 på flera mätpunkter, framför allt i MMLU (Massive Multitask Language Understanding). Detta riktmärke fungerar som en avgörande måttstock för att mäta kapaciteten hos stora språkmodeller. Det är till exempel känt för att utvärdera kunskap och problemlösningsförmåga inom 57 ämnesområden.

Utbildning av framtida AI-modeller

Med tanke på dessa utmaningar hittar AI-företagen nya lösningar för att utbilda språkmodeller för att bekämpa de stigande kostnaderna.

Det handlar bland annat om att skapa mindre modeller som är utformade för att utföra specifika uppgifter. Andra företag experimenterar med att skapa egna, syntetiska data för att mata in i AI-system. Ett tydligt genombrott har dock ännu inte skett.

År Modell Namn Modell Skapare träningskostnad på AI (USD)

Inflationsjusterad

2017 Transformer Google $930

2018 BERT-Large Google 3 288 dollar

2019 RoBERTa Large Meta 160 018 dollar

2020 GPT-3 175B (davinci) OpenAI $4 324 883

2021 Megatron-Turing NLG 530B Microsoft/NVIDIA 6 405 653

2022 LaMDA Google 1 319 586 dollar

2022 PaLM (540B) Google 12 389 056 dollar

2023 GPT-4 OpenAI 78 352 034 dollar

2023 Llama 2 70B Meta $3 931 897

2023 Gemini Ultra Google $191 400 000

Lämna kommentar

Lämna ett svar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *

Relaterade Inlägg

KUNSKAP

Den mörka sidan av miljardärernas fester 

När djävulen rymmer från helvetet för att ha roligt på jorden, går...

KUNSKAP

Världens mäktigaste man

Rupert Murdoch – Mannen som äger västerländsk media. Världens mäktigaste man är...

KUNSKAP

Albert Einsteins brev och Ingmar Bergmans handskrivna manu

Hur såg det ut när en nobelpristagare bollade sina idéer i slutet...

KUNSKAP

Wallenbergarna – Familjen som äger hela Europa

Den här filmen berättar på sitt sätt om historien om Wallenberg. Något...