Les emissions de càlcul d'IA provenen de clústers de GPU que consumeixen molta energia i entrenen models grans, mentre que les emissions tradicionals del núvol provenen de centres de dades d'ús general que executen càrregues de treball diàries. Les càrregues de treball d'IA consumeixen molta més energia per tasca, però el núvol tradicional s'executa a una escala total molt més gran.
Petjada de carboni generada per l'entrenament i l'execució de models d'intel·ligència artificial en maquinari especialitzat com ara GPU i TPU.
Emissions de carboni produïdes per centres de dades d'ús general que allotgen llocs web, aplicacions, bases de dades i programari empresarial.
| Funcionalitat | Emissions de càlcul d'IA | Emissions tradicionals al núvol |
|---|---|---|
| Maquinari principal | GPU i TPU (acceleradors d'IA) | CPU i servidors d'ús general |
| Potència per rack | De 30 a 80 kW per rack | De 5 a 15 kW per rack |
| Energia per tasca | Extremadament alt (entrenant un model = tones de CO2) | Moderat (varia segons la càrrega de treball) |
| Demanda de refrigeració | Refrigeració molt alta, sovint líquida | Refrigeració per aire normalment suficient |
| Tipus de càrrega de treball | Entrenament i inferència de models | Allotjament web, bases de dades, aplicacions SaaS |
| Taxa d'utilització | Sovint del 30 al 50 per cent | Normalment del 40 al 60 per cent |
| Adopció d'energies renovables | Percentatge més baix, creixement ràpid | Percentatge més alt, del 60 al 90 per cent en algunes regions |
| Trajectòria de creixement | Explosiu, duplicant-se cada pocs mesos | Estable, aproximadament entre un 10 i un 20 per cent anual |
| Ús d'aigua | Alt (refrigeració dels xips d'IA) | Moderat (refredament tradicional) |
La computació per IA s'executa en processadors massivament paral·lels dissenyats per a càlculs matricials, i aquests xips consumeixen molta energia. Un sol NVIDIA H100 pot consumir 700 watts a plena càrrega, i els racks amb vuit d'ells poden arribar als 50 kW o més. Els servidors al núvol tradicionals, en canvi, consumeixen energia de manera més modesta, sovint funcionant amb CPU que estan inactives de manera eficient i gestionen càrregues de treball variades sense necessitat d'un rendiment màxim constant. La diferència de maquinari per si sola fa que les càrregues de treball per IA consumeixin diverses vegades més energia per unitat de treball.
Quan els investigadors van mesurar les emissions d'entrenament de models de llenguatge grans, les xifres van ser impressionants. Una sola execució d'entrenament d'un model de la mida de GPT-3 pot generar centenars de tones equivalents de CO2. Les tasques tradicionals al núvol, com ara servir una pàgina web o executar una consulta de base de dades, produeixen una petita fracció d'això per sol·licitud. Tanmateix, el núvol tradicional s'executa a un volum molt més alt, de manera que la petjada acumulada acaba sent comparable en termes absoluts, fins i tot si les emissions per tasca semblen molt diferents.
Les GPU generen una calor intensa, cosa que significa que els centres de dades d'IA sovint necessiten refrigeració líquida o fins i tot sistemes d'immersió per mantenir les temperatures manejables. Aquest procés de refrigeració consumeix enormes quantitats d'aigua i electricitat. Les instal·lacions tradicionals al núvol depenen principalment de la refrigeració per aire i dels refrigeradors, que utilitzen menys aigua i energia. En regions propenses a la sequera com Arizona, les demandes d'aigua dels centres de dades d'IA ja han provocat l'oposició de la comunitat i l'escrutini regulador.
Els gegants tradicionals del núvol com Google i Microsoft han passat anys comprant contractes d'energia renovable i signant acords de compra d'energia per fer que les seves xarxes siguin més verdes. Les operacions centrades en la IA, sovint més noves i construïdes específicament per a la formació a hiperescala, no sempre han tingut el mateix avantatge. Dit això, empreses com CoreWeave i Lambda Labs ubiquen cada cop més instal·lacions a prop de fonts renovables barates com ara preses hidroelèctriques al Pacífic Nord-oest per compensar els seus consums massius d'energia.
La demanda de computació per IA està creixent a un ritme que el creixement del núvol tradicional mai ha igualat. Alguns analistes estimen que el consum d'energia relacionat amb la IA podria triplicar-se el 2030, impulsat per models més grans i un desplegament generalitzat d'inferències. El creixement del núvol tradicional, tot i que continua sent saludable, segueix una corba més predictible lligada a la despesa en TI de les empreses. Això significa que les emissions d'IA podrien superar les emissions del núvol tradicional en determinades regions durant la propera dècada si les millores en l'eficiència no mantenen el ritme.
Només l'entrenament en IA produeix emissions significatives, mentre que la inferència és essencialment gratuïta.
La inferència representa la major part de la petjada de carboni de la IA al llarg de la seva vida útil, ja que passa milers de milions de vegades al dia en els models desplegats. Una sola consulta de ChatGPT utilitza aproximadament 10 vegades l'energia d'una cerca tradicional de Google, i aquestes consultes s'acumulen ràpidament.
Els centres de dades al núvol tradicionals ja són neutres en carboni.
Tot i que els principals proveïdors s'han compromès amb objectius de zero emissions netes, la majoria encara depenen parcialment dels combustibles fòssils, especialment a les regions amb infraestructura renovable limitada. Les afirmacions de neutralitat de carboni sovint es basen en gran mesura en les compensacions en lloc de l'energia neta real que alimenta els servidors.
Les càrregues de treball d'IA són més eficients que el núvol tradicional perquè són una tecnologia més nova.
Més nou no vol dir automàticament més ecològic. El maquinari d'IA consumeix molta més energia per xip, i la gran escala de computació necessària per a l'entrenament i la inferència fa que les càrregues de treball d'IA siguin significativament més intensives en carboni per tasca que la majoria d'operacions al núvol tradicionals.
El trasllat al núvol redueix automàticament les emissions d'una empresa.
La migració al núvol pot ajudar consolidant les càrregues de treball i millorant la utilització, però no elimina les emissions. L'electricitat encara ha de venir d'algun lloc, i si la regió del núvol funciona amb carbó o gas, la petjada de carboni simplement canvia en lloc de reduir-se.
Tots els centres de dades utilitzen aproximadament la mateixa quantitat d'energia independentment del que funcionin.
La densitat de potència varia enormement. Un centre de dades centrat en la IA pot consumir de 30 a 80 kW per rack, mentre que una instal·lació al núvol tradicional pot utilitzar només de 5 a 15 kW per rack. Aquesta diferència de 5 vegades en la densitat de potència es tradueix directament en necessitats de refrigeració i perfils d'emissions molt diferents.
Si heu d'escollir entre els dos pel que fa a l'impacte ambiental, el núvol tradicional actualment guanya en eficiència per tasca i adopció d'energies renovables, però la computació per IA s'està recuperant ràpidament a mesura que els proveïdors corren per fer que les seves flotes de GPU siguin més verdes. Per a les organitzacions que implementen IA, seleccionar regions amb xarxes d'energia neta i utilitzar models eficients pot reduir dràsticament la petjada. Per als usuaris del núvol tradicional, el camí per reduir les emissions passa més per l'optimització de la càrrega de treball i l'elecció de proveïdors amb forts compromisos de sostenibilitat.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
