изкуствен интелектмашинно обучениегенериране на добавени даннимодели с големи езициAI-архитектура
Увеличаване на външната памет срещу вътрешната моделна памет
Увеличаването на външната памет предоставя на системите с изкуствен интелект отделно, търсещо се хранилище за знания, от което те могат да извличат данни по време на извод, докато вътрешната памет на модела вгражда знания директно в теглата на невронната мрежа по време на обучение. Всеки подход компрометира гъвкавостта, латентността и дълбочината на разсъждение по различни начини.
Акценти
Външната памет може да се актуализира за минути; вътрешната памет изисква скъпоструващо преобучение.
Вътрешната памет предлага по-бърз извод, тъй като не е необходима стъпка за извличане.
Външната памет намалява халюцинациите, като заземява реакциите в извлечените източници.
Хибридните архитектури, комбиниращи двата подхода, се превръщат в производствен стандарт.
Какво е Увеличаване на външната памет?
Подход, базиран на извличане, при който моделите с изкуствен интелект имат достъп до съхранена информация от външни източници по време на извод, вместо да разчитат единствено на научени параметри.
Retrieval-Augmented Generation (RAG) е най-широко възприетата форма, въведена от Facebook AI Research през 2020 г.
Външната памет обикновено е под формата на векторни бази данни като FAISS, Pinecone или Weaviate, които съхраняват вградени документи.
Знанията могат да се актуализират в реално време чрез просто добавяне или промяна на записи във външното хранилище, без преобучаване на модела.
Системи като режима на сърфиране на ChatGPT и Search-Augmented Factuality на Google разчитат на външно извличане, за да заземят отговорите в текущата информация.
Подходът драстично намалява халюцинациите, когато извлеченият контекст е релевантен и добре структуриран.
Какво е Вътрешна памет на модела?
Знание, кодирано директно в параметрите на невронната мрежа чрез обучение, което позволява на модела да извиква информация без външни търсения.
Големи езикови модели като GPT-4, Claude и Llama съхраняват по-голямата част от фактическите си знания в милиарди научени тегла.
Вътрешната памет се придобива по време на предварително обучение върху масивни текстови корпуси и се усъвършенства чрез фина настройка и обучение с подсилване.
След като обучението приключи, знанията се фиксират, освен ако моделът не претърпи допълнително обучение или фина настройка.
Извличането от вътрешната памет се осъществява чрез директни преминавания, които активират съответните невронни пътища, произвеждайки изходи в една стъпка.
Изследвания от MIT и Anthropic показват, че фактическото припомняне от теглата често е асоциативно и може да бъде непоследователно в различните фрази.
Сравнителна таблица
Функция
Увеличаване на външната памет
Вътрешна памет на модела
Място за съхранение на знания
Отделна векторна база данни или хранилище за документи
Кодирано в параметрите на модела (тегла)
Метод за актуализиране
Добавяне или редактиране на документи във външното хранилище
Преобучете или прецизирайте модела
Латентност на извода
По-високо поради стъпката на извличане
Долен, единичен пас напред
Мащабируемост на знанието
Практически неограничен, мащабируем със съхранение
Ограничено от размера на модела и данните за обучение
Риск от халюцинации
По-ниско, когато извличането е точно
По-високо, особено за неясни или скорошни факти
Изчислителни разходи
По-ниски разходи за обучение, по-високи разходи за заявка
Висока цена на обучение, ниска цена на заявка
Прозрачност
Източниците могат да бъдат цитирани директно
Непрозрачно, знанието е разпределено по тегла
Най-подходящ за
Динамични знания, търсене в предприятието, фактически въпроси и отговори
Общо разсъждение, творчески задачи, плавност на разговора
Подробно сравнение
Как се придобива и съхранява знанието
Външното разширяване на паметта изгражда знания извън модела, обикновено чрез вграждане на документи във вектори и съхраняването им в база данни, към която моделът прави заявки, когато е необходимо. Вътрешната памет на модела работи по обратния начин: фактите се абсорбират в милиарди числови тегла по време на обучението, превръщайки се в част от невронната тъкан на модела. Първият подход третира паметта като библиотека, която моделът посещава, докато вторият я третира като житейски опит, който моделът носи със себе си.
Актуализиране и поддържане на знанията
Когато се появи нова информация, външните системи с памет могат да бъдат обновени за минути чрез актуализиране на базата данни. Моделите с вътрешна памет изискват скъпо преобучение или фина настройка, които могат да отнемат седмици и да струват милиони долари. Това прави външното допълване много по-практично за области, където информацията се променя бързо, като например правни бази данни, медицински насоки или продуктови каталози.
Точност и халюцинационно поведение
Външната памет има тенденция да заземява отговорите в проверими източници, което значително намалява изфабрикуваните отговори, когато стъпката на извличане върне съответните пасажи. Моделите на вътрешната памет могат уверено да генерират правдоподобно звучащи, но неверни факти, особено за нишови теми или всичко, което се е появило след края на обучението им. Хибридните системи, които комбинират двата подхода, често се представят по-добре от всеки от тях поотделно по фактически критерии.
Компромиси между производителност и цена
Вътрешната памет печели по отношение на скоростта на суровия извод, защото не се изисква стъпка за извличане, което я прави идеална за приложения, чувствителни към латентност, като чатботове и асистенти по кодиране. Външната памет добавя стъпка за извличане, която може да добави от 100 до 500 милисекунди на заявка, но драстично намалява броя на параметрите, необходими за даден обхват на знанията. Много производствени системи сега използват по-малки модели с богата външна памет, вместо масивни модели с всичко вградено.
Разсъждения и обобщения
Вътрешната памет превъзхожда абстрактните разсъждения, аналогиите и творческия синтез, защото знанието е дълбоко интегрирано с веригите за разсъждение на модела. Външната памет е по-скоро инструмент за търсене, чудесен за факти, но по-малко ефективен при комбинирането на идеи по нови начини. Границата на изследванията в областта на изкуствения интелект е все по-фокусирана върху системи, които съчетават и двете, използвайки вътрешна памет за разсъждения и външна памет за заземяване.
Предимства и Недостатъци
Увеличаване на външната памет
Предимства
+Актуализации в реално време
+Цитиране на източника
+По-ниски разходи за обучение
+Неограничен мащаб на знанията
Потребителски профил
−По-висока латентност на заявките
−Зависи от качеството на извличане
−Инфраструктурни разходи
−По-малко ефективно разсъждение
Вътрешна памет на модела
Предимства
+Бързо заключение
+Способност за дълбоко разсъждение
+Няма външни зависимости
+Компактно внедряване
Потребителски профил
−Скъпо за актуализиране
−Граници на знанията
−Повишен риск от халюцинации
−Непрозрачно съхранение на знания
Често срещани заблуди
Миф
Увеличаването на външната памет напълно елиминира халюцинациите в системите с изкуствен интелект.
Реалност
Въпреки че заземяването при извличане значително намалява халюцинациите, то не ги елиминира. Ако стъпката на извличане върне неподходящи или нискокачествени документи, моделът все още може да даде неправилни отговори. Ефективността зависи силно от качеството на вгражданията, стратегията за разделяне на фрагменти и класирането на релевантността на инструмента за извличане.
Миф
По-големите модели запомнят повече факти надеждно от по-малките.
Реалност
Мащабирането подобрява средната припомняемост, но не гарантира последователност. Изследванията показват, че дори големи модели могат да не успеят да си припомнят факти, с които ясно са се сблъскали по време на обучението, особено когато въпросите са формулирани по различен начин от оригиналния контекст. Запаметяването в невронните мрежи е асоциативно и крехко в сравнение с експлицитното съхранение в база данни.
Миф
RAG системите не се нуждаят от обучение или фина настройка.
Реалност
Въпреки че самата база от знания не изисква обучение, производствените RAG системи се възползват изключително много от фината настройка на инструмента за извличане, модела за вграждане и понякога на генератора. Готовите RAG конвейери често се представят значително по-зле от персонализираните при задачи, специфични за дадена област.
Миф
Вътрешната памет на модела се фиксира завинаги след края на обучението.
Реалност
Съвременни техники като непрекъснато обучение, фина настройка на LoRA и редактиране на модели позволяват целенасочени актуализации на вътрешните знания на модела без пълно преобучение. Методи като ROME и MEMIT могат директно да редактират специфични факти в теглата на модела, въпреки че тези подходи все още са по-малко надеждни от простото актуализиране на външна база данни.
Миф
Външната памет и вътрешната памет са взаимно изключващи се подходи.
Реалност
Повечето съвременни системи с изкуствен интелект използват и двете едновременно. Моделът може да разчита на вътрешни тегла за общо разсъждение и езикова плавност, докато извлича специфични факти от външно хранилище. Фреймворци като LangChain и LlamaIndex са изрично проектирани да оркестрират това хибридно поведение.
Често задавани въпроси
Каква е основната разлика между разширяването на външната памет и вътрешната памет на модела?
Външното увеличаване на паметта съхранява знания в отделна база данни, към която моделът отправя заявки по време на изпълнение, докато вътрешната памет на модела кодира знания директно в теглата на невронната мрежа по време на обучение. Първото е като даване на достъп на модела до библиотека, а второто е като да накарате модела да запомни всичко, което е прочел.
Кой подход намалява халюцинациите, причинени от изкуствен интелект, по-ефективно?
Външното увеличаване на паметта обикновено намалява халюцинациите по-ефективно, защото отговорите се основават на извлечени документи, които могат да бъдат цитирани и проверени. Моделите на вътрешна памет все още могат да халюцинират уверено, особено по неясни факти или теми извън тяхното разпределение на обучение. Въпреки това, качеството на извличане е от огромно значение и лошият метод за извличане може да въведе свои собствени грешки.
Можете ли да комбинирате разширяването на външната памет с вътрешната памет на модела?
Да, и повечето системи с изкуствен интелект за производство правят точно това. Моделът използва вътрешните си тегла за разсъждения, генериране на език и разпознаване на модели, като същевременно извлича специфични факти от външно хранилище. Този хибриден подход е в основата на съвременните асистенти, задвижвани от RAG, и се поддържа от рамки като LangChain, LlamaIndex и Haystack.
Колко струва актуализирането на знанията във всяка система?
Актуализирането на външната памет е по същество безплатно откъм изчислителна мощност, просто добавяте или променяте документи в базата данни. Актуализирането на вътрешната памет чрез преобучение може да струва от хиляди до милиони долари в зависимост от размера на модела, а по-леки техники като фина настройка на LoRA все още изискват часове работа на графичния процесор и внимателна оценка.
RAG същото ли е като разширяване на външната памет?
RAG е най-популярната имплементация на външна памет, но концепцията е по-широка. Външната памет може да включва също използване на инструменти, API извиквания, scratchpad-ове и епизодични буфери на паметта. RAG се отнася по-специално до извличане на текстови пасажи от векторна база данни, за да се обуслови отговорът на модела.
Кой подход е по-бърз по време на извод?
Вътрешната памет на модела е по-бърза, защото изисква само едно преминаване напред през невронната мрежа. Увеличаването на външната памет добавя стъпка за извличане, която обикновено отнема от 100 до 500 милисекунди, в зависимост от размера на базата данни и метода за търсене на вграждане. За приложения в реално време тази разлика в латентността може да бъде значителна.
Използват ли изобщо моделите с големи езици външна памет?
Да, все по-често. ChatGPT използва извличане за сърфирането и персонализираните GPT функции, Claude може да търси документи и инструменти, а Gemini интегрира директно резултатите от търсенето с Google. Дори модели с огромна вътрешна памет се възползват от външно извличане на текущи събития и поверителна информация.
Какво се случва, когато извличането на външна памет не успее?
Когато извличането на данни не върне нищо релевантно, моделът обикновено се връща към вътрешната си памет, което означава, че все още могат да възникнат халюцинации. Надеждните RAG системи се справят с това, като признават несигурността, задават уточняващи въпроси или отказват да отговорят, когато увереността е ниска. Следователно качеството на извличащия е най-важният компонент на RAG конвейера.
Може ли вътрешната памет на модела да се редактира без преобучение?
Да, чрез техники за редактиране на модели като ROME, MEMIT и методи за дестилация на знания, които са насочени към специфични факти в теглата. Тези подходи могат да вмъкват, променят или изтриват отделни факти, но са по-малко надеждни от актуализирането на външна база данни и понякога могат да влошат общата производителност на модела.
Кой подход е по-добър за корпоративни приложения с изкуствен интелект?
Увеличаването на външната памет обикновено е по-добрият избор за корпоративни приложения, защото позволява на компаниите да съхраняват собствени данни в свои собствени защитени бази данни, без да е необходимо преобучане на модели. То също така осигурява възможност за одит чрез цитиране на източници, което е важно за регулирани индустрии като финанси, здравеопазване и право.
Решение
Изберете разширяване на външната памет, когато приложението ви изисква актуална информация, посочване на източника и възможност за актуализиране на знания без преобучение. Изберете вътрешна памет на модела, когато се нуждаете от бързи изводи, силна способност за разсъждение и самостоятелна система, която не зависи от външна инфраструктура. На практика най-способните системи с изкуствен интелект днес комбинират и двете, използвайки извличане на данни за обосноваване на факти и вътрешни тегла за разсъждение върху тях.
