Викиди ШІ-обчислень виникають внаслідок енергоємних кластерів графічних процесорів, що навчають великі моделі, тоді як викиди традиційних хмарних технологій надходять від центрів обробки даних загального призначення, які виконують щоденні робочі навантаження. Робочі навантаження ШІ споживають значно більше енергії на завдання, але традиційні хмарні технології працюють у набагато більшому загальному масштабі.
Вуглецевий слід, що утворюється внаслідок навчання та запуску моделей штучного інтелекту на спеціалізованому обладнанні, такому як графічні процесори та процесори TPU.
Викиди вуглецю, що утворюються центрами обробки даних загального призначення, де розміщено веб-сайти, додатки, бази даних та корпоративне програмне забезпечення.
| Функція | ШІ обчислює викиди | Традиційні хмарні викиди |
|---|---|---|
| Основне обладнання | Графічні процесори та процесори TPU (прискорювачі штучного інтелекту) | Процесори та сервери загального призначення |
| Потужність на стійку | від 30 до 80 кВт на стійку | від 5 до 15 кВт на стійку |
| Енергія на завдання | Надзвичайно високий (навчання моделі = тонни CO2) | Помірний (залежить від робочого навантаження) |
| Потреба в охолодженні | Дуже високий рівень, часто рідинне охолодження | Повітряне охолодження зазвичай достатнє |
| Тип робочого навантаження | Навчання моделі та висновок | Веб-хостинг, бази даних, SaaS-додатки |
| Коефіцієнт використання | Часто від 30 до 50 відсотків | Зазвичай від 40 до 60 відсотків |
| Впровадження відновлюваної енергії | Нижчий відсоток, швидке зростання | Вищий відсоток, від 60 до 90 відсотків у деяких регіонах |
| Траєкторія зростання | Вибуховий, подвоюється кожні кілька місяців | Стабільно, приблизно від 10 до 20 відсотків щорічно |
| Використання води | Висока (охолодження чіпів штучного інтелекту) | Помірний (традиційне охолодження) |
Обчислення ШІ працюють на масивно паралельних процесорах, розроблених для матричних математичних обчислень, і ці чіпи споживають значні потужності. Один NVIDIA H100 може споживати 700 Вт при повному навантаженні, а стійки, заповнені вісьмома такими процесорами, можуть досягати 50 кВт або більше. Традиційні хмарні сервери, навпаки, споживають енергію скромніше, часто працюючи на процесорах, які ефективно працюють у режимі очікування та справляються з різноманітними робочими навантаженнями без потреби в постійній максимальній пропускній здатності. Сама лише різниця в апаратному забезпеченні робить робочі навантаження ШІ в кілька разів енергоємнішими на одиницю роботи.
Коли дослідники виміряли викиди під час навчання великих мовних моделей, цифри були вражаючими. Один навчальний прогін моделі розміром з GPT-3 може викидати сотні тонн еквіваленту CO2. Традиційні хмарні завдання, такі як обслуговування веб-сторінки або виконання запиту до бази даних, виробляють лише крихітну частину цього на запит. Однак традиційні хмарні ресурси працюють зі значно більшим обсягом, тому сукупний вплив виходить порівнянним в абсолютному вираженні, навіть якщо викиди на завдання виглядають дуже різними.
Графічні процесори генерують сильне тепло, а це означає, що центри обробки даних зі штучним інтелектом часто потребують рідинного охолодження або навіть систем занурення для підтримки контрольованої температури. Цей процес охолодження споживає величезну кількість води та електроенергії. Традиційні хмарні системи здебільшого покладаються на повітряне охолодження та чилери, які використовують менше води та енергії. У регіонах, схильних до посухи, таких як Аризона, потреби у воді для центрів обробки даних зі штучним інтелектом вже викликали опір громади та перевірку з боку регуляторних органів.
Традиційні хмарні гіганти, такі як Google та Microsoft, роками купували контракти на відновлювану енергетику та підписували угоди про купівлю електроенергії, щоб зробити свої мережі екологічнішими. Операції, орієнтовані на штучний інтелект, часто новіші та створені спеціально для гіпермасштабного навчання, не завжди мали однакову стартову перевагу. Проте, такі компанії, як CoreWeave та Lambda Labs, все частіше розміщують об'єкти поблизу дешевих відновлюваних джерел, таких як гідроелектростанції на Тихоокеанському Північному Заході, щоб компенсувати своє величезне споживання електроенергії.
Попит на обчислення, спричинені штучним інтелектом, зростає темпами, з якими традиційні хмарні технології ніколи не могли б порівнятися. Деякі аналітики оцінюють, що споживання енергії, пов'язане зі штучним інтелектом, може потроїтися до 2030 року завдяки більшим моделям та широкому розгортанню логічних висновків. Зростання традиційних хмарних технологій, хоча й залишається здоровим, слідує більш передбачуваній кривій, пов'язаній з витратами підприємств на ІТ. Це означає, що викиди, спричинені штучним інтелектом, можуть перевищити викиди традиційних хмарних технологій у певних регіонах протягом наступного десятиліття, якщо підвищення ефективності не йтиме в ногу з часом.
Тільки навчання ШІ створює значні викиди, тоді як логічний висновок по суті безкоштовний.
Висновок насправді пояснює більшу частину вуглецевого сліду штучного інтелекту за весь час його існування, оскільки він відбувається мільярди разів на день у розгорнутих моделях. Один запит ChatGPT використовує приблизно в 10 разів більше енергії, ніж традиційний пошук у Google, і ці запити швидко накопичуються.
Традиційні хмарні центри обробки даних вже є вуглецево-нейтральними.
Хоча основні постачальники зобов'язалися досягти цілей щодо нульового викиду вуглецю, більшість із них все ще частково покладаються на викопне паливо, особливо в регіонах з обмеженою інфраструктурою відновлюваних джерел енергії. Заяви про вуглецеву нейтральність часто значною мірою залежать від компенсацій, а не від фактичної чистої енергії, яка живить сервери.
Робочі навантаження штучного інтелекту є ефективнішими, ніж традиційні хмарні технології, оскільки вони є новішими.
Новіше не означає автоматично екологічніше. Апаратне забезпечення штучного інтелекту набагато енергоємніше на один чіп, а сам масштаб обчислень, необхідних для навчання та логічного висновку, робить робочі навантаження штучного інтелекту значно більш вуглецевомісткими на завдання, ніж більшість традиційних хмарних операцій.
Перехід до хмари автоматично зменшує викиди компанії.
Міграція до хмари може допомогти, консолідуючи робочі навантаження та покращуючи використання ресурсів, але вона не усуває викиди. Електроенергія все одно має звідкись надходити, і якщо хмарний регіон працює на вугіллі або газі, вуглецевий слід просто зміщується, а не зменшується.
Усі центри обробки даних використовують приблизно однакову кількість енергії, незалежно від того, що вони використовують.
Щільність потужності дуже різниться. Центр обробки даних, орієнтований на штучний інтелект, може споживати від 30 до 80 кВт на стійку, тоді як традиційний хмарний центр може використовувати лише від 5 до 15 кВт на стійку. Ця 5-кратна різниця в щільності потужності безпосередньо призводить до дуже різних потреб в охолодженні та профілів викидів.
Якщо ви обираєте між двома варіантами з точки зору впливу на навколишнє середовище, традиційні хмарні технології наразі виграють за ефективністю виконання кожного завдання та впровадженням відновлюваної енергії, але обчислення на основі штучного інтелекту швидко наздоганяють їх, оскільки постачальники послуг поспішають зробити свої парки графічних процесорів більш екологічними. Для організацій, що впроваджують штучний інтелект, вибір регіонів з чистими енергетичними мережами та використання ефективних моделей може значно зменшити вплив на навколишнє середовище. Для традиційних користувачів хмарних технологій шлях до зниження викидів більше пов'язаний з оптимізацією робочого навантаження та вибором постачальників із чіткими зобов'язаннями щодо сталого розвитку.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
