Aurre-prestakuntzak modelo baten oinarrizko ezagutza eraikitzen du datu-multzo masiboetatik abiatuta, eta osteko prestakuntzek oinarri hori fintzen dute zeregin espezifikoetarako eta gizakien lerrokadurarako. Bi etapak ezinbestekoak dira IA garapen modernoan, elkarren arteko rol osagarriak betetzen baitituzte, lehiakideak izan beharrean.
Hasierako entrenamendu fasea, non modelo batek testu edo datu gordin kopuru izugarrietatik eredu orokorrak ikasten dituen.
Eredu bat espezializatzeko, lerrokatzea hobetzeko eta zereginen errendimendua areagotzeko aurre-entrenamenduaren ondoren aplikatzen diren teknikak.
| Ezaugarria | Aurre-prestakuntza | Prestakuntza osteko optimizazioa |
|---|---|---|
| Hodiaren fasea | Modeloaren garapenaren lehen fasea | Aurre-prestakuntza jarraitzen du |
| Helburu nagusia | Ezagutza eta eredu orokorrak ikasi | Espezializatu eta lerrokatu eredua |
| Datuen eskakizunak | Bilioi token, etiketarik gabe | Milaka edo milioika adibide etiketatu |
| Kalkulu-kostua | Oso altua (milioi dolar) | Moderatua (milaka dolar) |
| Teknika arruntak | Autogainbegiratutako ikaskuntza, hizkuntzaren modelizazio maskaratua | SFT, RLHF, DPO, IA konstituzionala |
| Irteera | Oinarrizko eredua gaitasun zabalekin | Lerrokatuta, zereginetarako prest dagoen eredua |
| Iraupena | Asteetatik hilabeteetara multzo handietan | Orduetatik egunetara |
| Itzulgarritasuna | Geroko lan guztietarako abiapuntua | Errepikatu edo egokitu daiteke |
Aurre-prestakuntza oinarriak eraikitzeko etapa da, non eredu batek datu gordin kopuru handietatik ezagutza orokorra xurgatzen duen. Hori gabe, ereduak ez luke hizkuntzaren, arrazoibidearen edo munduko gertaeren oinarrizko ulermenik izango. Prestakuntza osteko optimizazioak oinarri hori hartu eta zerbait erabilgarri bihurtzen du, ereduari argibideak jarraitzen, eskaera kaltegarriak ukatzen eta zeregin espezifikoetan bikain egiten irakatsiz. Pentsa ezazu aurre-prestakuntza hezkuntza orokorra lortzea dela eta prestakuntza osteko prestakuntza ondoren datorren lan-prestakuntza espezializatua dela.
Bi etapa hauen arteko eskala aldea izugarria da. Aurre-entrenamenduak datu-multzo erraldoiak behar ditu, askotan bilioi token, eta milaka GPUtan exekutatzen da asteetan edo hilabeteetan zehar. Ondorengo entrenamenduak eskala askoz txikiagoan funtzionatzen du, normalean milaka eta milioika adibideko datu-multzoak erabiliz. Horrek ondorengo entrenamendua askoz ere eskuragarriagoa egiten du talde txikiagoentzat eta dauden ereduak hutsetik eraiki gabe pertsonalizatu nahi dituzten ikertzaileentzat.
Aurre-prestakuntza auto-gainbegiratutako helburuetan oinarritzen da, non ereduak funtsean bere burua irakasten duen sekuentzietako falta diren edo hurrengo tokenak iragarriz. Prestakuntza osteko optimizazioak tresna-multzo anitz biltzen ditu, besteak beste, instrukzio-erantzun bikoteen gainbegiratuzko doikuntza finak, RLHF (gizakien lehentasunen sailkapenak erabiltzen dituena sari-eredu bat entrenatzeko) eta DPO bezalako metodo berriagoak, lerrokatze-prozesua sinplifikatzen dutenak. Prestakuntza osteko teknika bakoitzak helburu desberdinak jorratzen ditu, oinarrizko laguntzatik hasi eta arrazoiketa-gaitasun konplexuetaraino.
Aurrez trebatutako eredu bat, berez, autokonplezio sofistikatu bat da, testu koherentea sor dezake baina ez ditu argibideak modu fidagarrian jarraituko edo segurtasunez jokatuko. Prestakuntza osteko prozesua da hizkuntza-eredu gordina benetan elkarreragin nahi duzun chatbot laguntzaile bihurtzen duena. Prestakuntza osteko lerrokatze-lanak zehazten du eredua lagungarria, kaltegabea, zintzoa eta ñabarduradun elkarrizketak egiteko gai den ala ez.
Prestakuntza osteko prestakuntzak malgutasun handiagoa eskaintzen du, errepikatu, konbinatu eta doitu baitaiteke berriro hasi gabe. Taldeek eredu bat doi dezakete aplikazio medikoetarako, eta gero optimizazio gehigarria aplikatu ospitale espezifiko baten beharretarako. Aurreprestakuntzak, amaitutakoan, oinarri finko bat sortzen du, eta oinarri horren gainean eraikitzen da denek. Horregatik, IA komunitateak prestakuntza osteko ikerketara aldatu du arreta, pertsonalizazioa eta bereizketa azkarren gertatzen baita.
Aurrez prestatzea nahikoa da IA laguntzaile erabilgarri bat izateko.
Aurrez trebatutako eredu bat, funtsean, testu-osatzaile sofistikatu bat da. Trebakuntza osteko optimizaziorik gabe, ezin ditu argibideak modu fidagarrian jarraitu, eskaera kaltegarriak ukatu edo elkarrizketa koherenteak mantendu. Ekoizpen-txatbot guztiek trebakuntza osteko lan handia behar dute.
Entrenamendu osteko optimizazioa doikuntza fin bat besterik ez da.
Gaur egungo entrenamendu osteko teknikak teknika sofistikatuen sorta bat hartzen du barne, besteak beste, RLHF, DPO, IA konstituzionala eta arrazoiketan oinarritutako entrenamendua. Metodo hauek sarien modelizazio konplexua, lehentasunen ikaskuntza eta fintze iteratiboa dakartzate, oinarrizko doikuntza gainbegiratua baino askoz haratago doazenak.
Aurre-entrenamendu gehiagok beti eredu hobeak lortzen ditu.
Ikerketek erakutsi dute entrenamendu aurreko datuak eskalatzeak etekin txikiagoak ematen dituela. Eremuak gero eta gehiago aitortzen du entrenamendu osteko hobekuntzek, batez ere arrazoiketa eta lerrokatzeari dagokionez, entrenamendu aurreko konputazio gehigarriak baino irabazi handiagoak eman ditzaketela.
RLHF eta DPO gauza bera dira.
Bietako bakoitzak ereduak gizakien lehentasunekin lerrokatzea du helburu, baina modu ezberdinean funtzionatzen dute. RLHF-k errefortzu-ikaskuntza gidatzen duen sari-eredu bereizi bat entrenatzen du, eta DPO-k, berriz, politika zuzenean optimizatzen du lehentasun-bikoteak erabiliz, sari-eredurik behar izan gabe. DPO sinpleagoa da, baina errendimendu-ezaugarri desberdinak izan ditzake.
Prestakuntza osteko entrenamenduak oinarrizko eredu batekin edozein arazo konpondu dezake.
Prestakuntza osteko oinarri-ereduan ez dauden gaitasunik ezin da sortu. Aurrez trebatutako eredu batek ezagutza edo arrazoitzeko gaitasun batzuk falta baditu, doikuntza finduek ere ez dituzte gehituko. Aurrez trebakuntzan ezarritako oinarriak geroago posible dena mugatzen du.
Aurre-prestakuntza eta ondorengo prestakuntza optimizazioa ez dira lehiakideak diren ikuspegiak, baizik eta biak oso garrantzitsuak diren etapa sekuentzialak. Aurre-prestakuntza ezinbestekoa da oinarrizko eredu berri bat hutsetik eraikitzen ari zarenean eta gaitasun zabalak behar dituzunean, eta ondorengo prestakuntza optimizazioa da aukera praktikoa dauden ereduak erabilera-kasu zehatzetarako egokitu nahi dituzten talde gehienentzat. Erakunde gehienentzat, ondorengo prestakuntzak eskaintzen du inbertsioaren itzulera onena, laborategi handiek egindako lanean oinarritzen baita.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
