Закони масштабування моделей та інновації в архітектурі представляють дві конкуруючі філософії розвитку можливостей штучного інтелекту. Закони масштабування передбачають, що більші моделі, навчені на більшій кількості даних, дають передбачувані результати, тоді як інновації в архітектурі зосереджені на розумніших проєктах, які досягають більшого з меншими обчислювальними ресурсами.
Емпіричні принципи, що показують, як продуктивність моделі ШІ передбачувано покращується зі збільшенням кількості параметрів, даних та обчислень.
Нові конструкції нейронних мереж, які покращують ефективність та можливості ШІ понад те, що забезпечує саме масштабування.
| Функція | Закони масштабування моделі | Інновації в архітектурі |
|---|---|---|
| Основна філософія | Більші моделі + більше даних = краща продуктивність | Розумніші конструкції досягають більшого з меншими обчисленнями |
| Основний рушійний фактор витрат | Обчислювальні обчислення та енергія для тренувань | Дослідження талантів та ітерація дизайну |
| Передбачуваність прибутків | Висока передбачуваність завдяки степеневим законам | Непередбачувано; прориви трапляються епізодично |
| Ключові прихильники | Прихильники OpenAI, антропного та масштабування гіпотез | DeepMind, академічні дослідники, лабораторії, орієнтовані на ефективність |
| Вимоги до обчислень | Масивний та зростаючий експоненціально | Часто нижчі; можуть працювати на скромному обладнанні |
| Стеля продуктивності | Обмежено доступними обчисленнями та даними | Обмежений людською винахідливістю в дизайні |
| Часовий горизонт для результатів | Передбачувано, але повільно (місяці тренувань) | Змінний; може швидко призвести до проривів |
| Типові приклади | GPT-4, Клод 3, Джеміні Ультра | Мамба, моделі Міністерства освіти, флеш-увага, системи RAG |
Закони масштабування моделей ґрунтуються на простій, але потужній ідеї: інтелект виникає з масштабу. Емпіричні дані зі статті Каплана 2020 року та уточнення Чінчілли 2022 року показують, що покращення продуктивності відповідає передбачуваним математичним залежностям. Інновації в архітектурі дотримуються протилежної точки зору, стверджуючи, що розумна інженерія може витягти більше можливостей з існуючих обчислень. Обидва табори погоджуються, що масштабування працює; вони розходяться в думках щодо того, чи це єдиний шлях уперед.
Навчання моделей передового масштабу зараз коштує десятки мільйонів доларів лише за обчислювальні витрати, а системи класу GPT-4, як повідомляється, перевищують 100 мільйонів доларів. Інновації в архітектурі пропонують принципово іншу економіку: добре розроблена модель може зрівнятися або перевершити більших конкурентів за частку вартості навчання. Це робить інновації в архітектурі особливо привабливими для академічних лабораторій, стартапів та організацій без бюджетів на гіпермасштабування.
Закони масштабування забезпечують щось рідкісне в дослідженнях ШІ: передбачуваність. Якщо ви двічі обчислюєте, ви приблизно знаєте, якого покращення очікувати. Інновації в архітектурі за своєю суттю є більш ризикованими, оскільки прориви залежать від розуміння, а не від арифметики. Однак, коли архітектурні прориви досягаються, вони можуть перестрибнути роки поступового зростання масштабування. Сам Трансформер був таким стрибком, що за одну ніч позбавив нас роботи з масштабування RNN.
Галузь дедалі більше усвідомлює, що чисте масштабування має межі. Навіть керівництво OpenAI публічно обговорювало перешкоди щодо доступності даних та обчислювальної економіки. Тим часом інновації в архітектурі прискорюються: моделі зі змішаними експертами, такі як Mixtral, варіанти ефективної уваги та моделі простору станів, набирають обертів. Більшість передових лабораторій зараз одночасно використовують обидві стратегії, розглядаючи їх як взаємодоповнюючі, а не конкуруючі.
Заглядаючи в майбутнє, жоден з цих підходів окремо, ймовірно, не дозволить штучному інтелекту досягти людського рівня. Закони масштабування свідчать про те, що ми продовжуватимемо збільшувати розмір моделі, але зменшення віддачі та обмеження ресурсів змусять більше покладатися на архітектурну кмітливість. Найбільш перспективний шлях поєднує обидва: використання законів масштабування для визначення оптимального розміру моделі та застосування архітектурних інновацій для максимізації можливостей за кожним параметром. Цей гібридний підхід визначає поточну межу досліджень у галузі штучного інтелекту.
Закони масштабування означають, що більші моделі завжди кращі.
Чінчилла показав, що розмір моделі та навчальні дані повинні масштабуватися разом. Модель розміром 70B, навчена на недостатніх даних, працюватиме гірше, ніж менша модель, навчена на адекватних даних. Зв'язок полягає в балансі, а не лише в розмірі.
Інновації в архітектурі — це лише спосіб уникнути витрат на обчислення.
Архітектурні прориви часто відкривають абсолютно нові можливості, яких одне лише масштабування не може досягти. Трансформер не лише зробив моделі дешевшими; він дозволив обробляти довші контексти та паралельне навчання, які RNN принципово не могли підтримувати.
Закони масштабування триватимуть нескінченно, доки ми не досягнемо загального зросту в гетеросексуальності (ЗВГ).
Дослідники задокументували зменшення віддачі на передовій. Кожне подвоєння обчислювальних ресурсів тепер дає менший приріст продуктивності, ніж попереднє подвоєння. Якість та доступність даних також стають жорсткими обмеженнями, які чисте масштабування не може подолати.
Ці два підходи є взаємовиключними.
Сучасні моделі фронтиру використовують обидва варіанти. GPT-4, ймовірно, поєднує архітектурні інновації разом із масовим масштабом. Дебати насправді стосуються акцентів та розподілу ресурсів, а не вибору «або-або».
Інновації в архітектурі завжди переважають масштабування.
Розумна архітектура з недостатніми параметрами або даними досягне плато. Інновації в архітектурі зазвичай працюють найкраще в поєднанні з адекватним масштабуванням. Найуспішніші системи оптимізують обидва виміри одночасно.
Обирайте закони масштабування моделі, коли у вас величезні обчислювальні бюджети та потрібні передбачувані, поступові вдосконалення усталених архітектур. Обирайте інновації в архітектурі, коли ресурси обмежені, коли вам потрібна ефективність під час логічного висновку або коли ви прагнете можливостей, які чисте масштабування не може забезпечити. На практиці найуспішніші системи штучного інтелекту сьогодні поєднують обидві філософії, а не прив'язуються виключно до однієї з них.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
