Att träna avancerade AI-modeller som OpenAI:s ChatGPT och Googles Gemini Ultra kräver miljontals dollar, och kostnaderna eskalerar snabbt.
I takt med att beräkningskraven ökar skjuter kostnaderna för den datorkraft som krävs för att träna dem i höjden. Som svar på detta omprövar AI-företagen hur de tränar generativa AI-system. I många fall inkluderar detta strategier för att minska beräkningskostnaderna med tanke på nuvarande tillväxtbanor.
Hur utbildningskostnaden bestäms
AI-indexet samarbetade med forskningsföretaget Epoch AI för att uppskatta utbildningskostnaderna för AI-modeller, som baserades på hyrespriser för molnberäkning. Viktiga faktorer som analyserades inkluderar modellens träningslängd, hårdvarans utnyttjandegrad och värdet på träningshårdvaran.
Många har spekulerat i att det har blivit allt dyrare att utbilda AI-modeller, men det saknas omfattande data som stöder dessa påståenden. AI-indexet är en av de få källorna till dessa uppskattningar.
Utbildningskostnader som skjuter i höjden
Nedan visar vi utbildningskostnaden för större AI-modeller, justerad för inflation, sedan 2017:
Förra året kostade OpenAI:s GPT-4 uppskattningsvis 78,4 miljoner dollar att utbilda, en brant ökning från Googles PaLM (540B)-modell, som kostade 12,4 miljoner dollar bara ett år tidigare.
Som jämförelse kan nämnas att utbildningskostnaden för Transformer, en tidig AI-modell som utvecklades 2017, var 930 dollar. Denna modell spelar en grundläggande roll i utformningen av arkitekturen för många stora språkmodeller som används idag.
Googles AI-modell Gemini Ultra kostar ännu mer, nämligen svindlande 191 miljoner dollar. Från och med början av 2024 överträffar modellen GPT-4 på flera mätpunkter, framför allt i MMLU (Massive Multitask Language Understanding). Detta riktmärke fungerar som en avgörande måttstock för att mäta kapaciteten hos stora språkmodeller. Det är till exempel känt för att utvärdera kunskap och problemlösningsförmåga inom 57 ämnesområden.
Utbildning av framtida AI-modeller
Med tanke på dessa utmaningar hittar AI-företagen nya lösningar för att utbilda språkmodeller för att bekämpa de stigande kostnaderna.
Det handlar bland annat om att skapa mindre modeller som är utformade för att utföra specifika uppgifter. Andra företag experimenterar med att skapa egna, syntetiska data för att mata in i AI-system. Ett tydligt genombrott har dock ännu inte skett.
År Modell Namn Modell Skapare träningskostnad på AI (USD)
Inflationsjusterad
2017 Transformer Google $930
2018 BERT-Large Google 3 288 dollar
2019 RoBERTa Large Meta 160 018 dollar
2020 GPT-3 175B (davinci) OpenAI $4 324 883
2021 Megatron-Turing NLG 530B Microsoft/NVIDIA 6 405 653
2022 LaMDA Google 1 319 586 dollar
2022 PaLM (540B) Google 12 389 056 dollar
2023 GPT-4 OpenAI 78 352 034 dollar
2023 Llama 2 70B Meta $3 931 897
2023 Gemini Ultra Google $191 400 000
Lämna kommentar