Pirmsapmācības laikā modeļa pamatzināšanas tiek veidotas no milzīgiem datu kopumiem, savukārt pēcapmācības optimizācija precizē šo bāzi konkrētiem uzdevumiem un cilvēku vajadzībām. Abi posmi ir būtiski mūsdienu mākslīgā intelekta izstrādē, pildot papildinošas, nevis konkurējošas lomas.
Sākotnējā apmācības fāze, kurā modelis apgūst vispārīgus modeļus no milzīga neapstrādāta teksta vai datu apjoma.
Pēc iepriekšējas apmācības pielietotās metodes, lai specializētu modeli, uzlabotu izlīdzināšanu un uzdevumu izpildi.
| Funkcija | Pirmsapmācība | Optimizācija pēc apmācības |
|---|---|---|
| Posms cauruļvadā | Modeļa izstrādes pirmais posms | Seko iepriekšējai apmācībai |
| Galvenais mērķis | Apgūstiet vispārīgas zināšanas un modeļus | Specializēt un saskaņot modeli |
| Datu prasības | Triljoni žetonu bez etiķetēm | Tūkstošiem līdz miljoniem marķētu piemēru |
| Aprēķināt izmaksas | Ārkārtīgi augsts (miljonos dolāru) | Vidēji (tūkstošiem dolāru) |
| Izplatītas metodes | Pašpārraudzīta mācīšanās, maskētas valodas modelēšana | SFT, RLHF, DPO, konstitucionālā mākslīgā intelekta |
| Izvade | Bāzes modelis ar plašām iespējām | Pielāgots, uzdevumiem gatavs modelis |
| Ilgums | Nedēļas līdz mēneši lielos klasteros | Stundas līdz dienām |
| Atgriezeniskums | Sākumpunkts visiem turpmākajiem darbiem | Var atkārtot vai pielāgot |
Priekšapmācība kalpo kā pamatu veidošanas posms, kurā modelis apkopo vispārīgas zināšanas no milzīga apjoma neapstrādātu datu. Bez tiem modelim nebūtu pamata izpratnes par valodu, spriešanu vai pasaules faktiem. Pēcapmācības optimizācija ņem šo pamatu un pārveido to par kaut ko noderīgu, mācot modelim, kā sekot norādījumiem, atteikties no kaitīgiem pieprasījumiem un gūt panākumus konkrētos uzdevumos. Iedomājieties priekšapmācību kā vispārējās izglītības iegūšanu, bet pēcapmācību kā specializētu darba apmācību, kas tai seko.
Mēroga atšķirība starp šiem diviem posmiem ir satriecoša. Priekšapmācībai nepieciešami milzīgi datu kopumi, bieži vien triljoni žetonu, un tā darbojas tūkstošiem GPU nedēļām vai mēnešiem ilgi. Pēcapmācība darbojas daudz mazākā mērogā, parasti izmantojot atlasītus datu kopumus no tūkstošiem līdz miljoniem piemēru. Tas padara pēcapmācību daudz pieejamāku mazākām komandām un pētniekiem, kuri vēlas pielāgot esošos modeļus, neveidojot tos no nulles.
Priekšapmācība balstās uz pašuzraudzītiem mērķiem, kur modelis būtībā pats sevi apgūst, paredzot trūkstošos vai nākamos marķierus secībās. Pēcapmācības optimizācija ietver daudzveidīgu rīku komplektu, tostarp uzraudzītu instrukciju-atbildes pāru precizēšanu, RLHF, kas izmanto cilvēka preferenču rangus, lai apmācītu atlīdzības modeli, un jaunākas metodes, piemēram, DPO, kas vienkāršo saskaņošanas procesu. Katra pēcapmācības metode risina dažādus mērķus, sākot no pamata lietderības līdz sarežģītām spriešanas spējām.
Iepriekš apmācīts modelis pats par sevi būtībā ir sarežģīts automātiskās pabeigšanas rīks – tas var ģenerēt sakarīgu tekstu, taču nevarēs droši izpildīt norādījumus vai darboties droši. Pēcapmācība ir tas, kas pārveido neapstrādātu valodas modeli par tērzēšanas robota palīgu, ar kuru jūs patiešām vēlaties mijiedarboties. Pēcapmācības laikā veiktais saskaņošanas darbs nosaka, vai modelis ir noderīgs, nekaitīgs, godīgs un spējīgs veikt niansētu sarunu.
Pēcapmācība piedāvā daudz lielāku elastību, jo to var atkārtot, apvienot un pielāgot, nesākot no jauna. Komandas var precīzi pielāgot modeli medicīnas lietojumprogrammām un pēc tam piemērot papildu optimizāciju konkrētas slimnīcas vajadzībām. Pēc pabeigšanas iepriekšējā apmācība rada fiksētu bāzi, uz kuras visi balstās. Tāpēc mākslīgā intelekta kopiena ir pārorientējusi uzmanību uz pēcapmācības pētījumiem, jo tieši tur pielāgošana un diferenciācija notiek visstraujāk.
Vien iepriekšēja apmācība ir pietiekama, lai izveidotu noderīgu mākslīgā intelekta palīgu.
Iepriekš apmācīts modelis būtībā ir sarežģīts teksta aizpildītājs. Bez pēcapmācības optimizācijas tas nevar droši izpildīt norādījumus, atteikt kaitīgus pieprasījumus vai uzturēt sakarīgas sarunas. Visiem ražošanas tērzēšanas robotiem ir nepieciešams ievērojams pēcapmācības darbs.
Optimizācija pēc apmācības ir tikai vienkārša precizēšana.
Mūsdienu pēcapmācība ietver sarežģītu metožu klāstu, tostarp RLHF, DPO, konstitucionālo mākslīgo intelektu un uz spriešanu orientētu apmācību. Šīs metodes ietver sarežģītu atlīdzības modelēšanu, preferenču apguvi un iteratīvu pilnveidošanu, kas sniedzas tālu aiz pamata uzraudzītas precizēšanas.
Vairāk iepriekšējas apmācības vienmēr noved pie labākiem modeļiem.
Pētījumi liecina, ka vienkārša pirmsapmācības datu mērogošana samazina atdevi. Šajā jomā arvien vairāk tiek atzīts, ka uzlabojumi pēcapmācības, īpaši spriešanas un saskaņošanas jomā, var dot lielākus ieguvumus nekā papildu pirmsapmācības aprēķini.
RLHF un DPO ir viens un tas pats.
Lai gan abi cenšas saskaņot modeļus ar cilvēka vēlmēm, tie darbojas atšķirīgi. RLHF apmāca atsevišķu atlīdzības modeli, kas vada pastiprināšanas mācīšanos, savukārt DPO optimizē politiku tieši, izmantojot preferenču pārus, bez nepieciešamības pēc atlīdzības modeļa. DPO ir vienkāršāks, taču tam var būt atšķirīgas veiktspējas īpašības.
Pēcapmācība var novērst jebkuru problēmu ar bāzes modeli.
Pēcapmācība nevar radīt spējas, kuru nav bāzes modelī. Ja iepriekš apmācītam modelim trūkst noteiktu zināšanu vai spriešanas spēju, nekāda precizēšana tās nepievienos. Iepriekšējās apmācības laikā izveidotais pamats ierobežo to, kas ir iespējams vēlāk.
Optimizācija pirms apmācības un pēc apmācības nav konkurējošas pieejas, bet gan secīgi posmi, kuriem abiem ir milzīga nozīme. Priekšapmācība ir būtiska, ja no nulles veidojat jaunu pamatmodeli un ir nepieciešamas plašas iespējas, savukārt optimizācija pēc apmācības ir praktiska izvēle lielākajai daļai komandu, kas vēlas pielāgot esošos modeļus konkrētiem lietošanas gadījumiem. Lielākajai daļai organizāciju pēcapmācība piedāvā vislabāko ieguldījumu atdevi, jo tā balstās uz darbu, ko jau paveikušas lielākās laboratorijas.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
