Kalbos reprezentacijos mokymasis naudoja neuroninius tinklus, kad automatiškai atrastų duomenų modelius, o simbolinės kalbos taisyklės remiasi aiškiai užprogramuotomis gramatinėmis ir loginėmis struktūromis. Šios dvi paradigmos atspindi iš esmės skirtingas dirbtinio intelekto filosofijas – viena kyla iš statistinio modelių atpažinimo, kita yra įsišaknijusi klasikinėje formaliojoje lingvistikoje ir logikoje.
Neuroniniai metodai, kurie mokosi paskirstytų vektorinių kalbos reprezentacijų iš didelių teksto korpusų, taikydami statistinį šablonų aptikimą.
Klasikiniai dirbtinio intelekto metodai, naudojantys aiškiai apibrėžtas gramatines, logines ir struktūrines taisykles kalbai apdoroti ir generuoti.
| Funkcija | Kalbos reprezentacijos mokymasis | Simbolinės kalbos taisyklės |
|---|---|---|
| Pagrindinė filosofija | Automatiškai mokykitės modelių iš duomenų | Aiškiai užkoduoti žmogaus kalbines žinias |
| Žinių reprezentacija | Paskirstytieji vektoriai daugiamatėje erdvėje | Formalios taisyklės, gramatika ir loginės išraiškos |
| Vystymosi metodas | Duomenimis pagrįsti mokymai apie korpusus | Ekspertų vadovaujamas rankinis taisyklių kūrimas |
| Apibendrinimas | Platus statistinių modelių aprėptis | Tikslus aprėpties lygis apibrėžtose ribose |
| Aiškinamasis aspektas | Nepermatomas; reikalingi specialūs analizės įrankiai | Visiškai skaidrus ir audituojamas |
| Naujos įvesties tvarkymas | Dažnai grakštus degradavimas su panašiais modeliais | Trapus; gali sugesti nenumatytose konstrukcijose |
| Išteklių reikalavimai | Dideli skaičiavimo ir duomenų poreikiai | Didelės žmonių žinios ir priežiūros pastangos |
| Domeno adaptacija | Pakartotinis mokymas arba tikslinimas naudojant naujus duomenis | Taisyklių rinkinių perrašymas arba išplėtimas rankiniu būdu |
Kalbos reprezentacijos mokymasis atsirado dėl konnekcionizmo ir statistinės natūralios kalbos apdorojimo revoliucijos 1990-aisiais ir įgavo pagreitį didėjant skaičiavimo galiai ir duomenų prieinamumui. Simboliniai metodai siekia paties dirbtinio intelekto ištakas, o pamatinius darbus atliko Chomsky, Montague ir ankstyvieji dirbtinio intelekto pionieriai, kurie manė, kad intelektui reikalingas aiškus simbolinis manipuliavimas. Šios skirtingos linijos paaiškina, kodėl šie du metodai dažnai vienas kitą apeina – jų praktikai buvo mokomi skirtingų intelektualinių tradicijų, kuriose buvo taikomi skirtingi sėkmės kriterijai.
Neuroninės reprezentacijos dviprasmybę sprendžia taikydamos statistinį vidurkinimą ir kontekstinį dviprasmybės šalinimą – žodžio reikšmė išplaukia iš milijonų vartojimo pavyzdžių, o ne iš kategorinių apibrėžimų. Simbolinės sistemos susiduria su dviprasmybe, naudodamos aiškias dviprasmybės šalinimo taisykles, pirmenybės mechanizmus arba palikdamos tam tikras interpretacijas neapibrėžtas. Neuroninis požiūris paprastai geriau veikia kūrybinėje ar perkeltinėje kalboje, kur taisyklės neveikia, o simbolinės sistemos pasižymi puikiomis savybėmis techninėse srityse, kur svarbi tiksli ir nedviprasmiška interpretacija.
Reprezentacijų mokymasis pastebimai keičiasi kartu su duomenimis ir skaičiavimais – investavus daugiau išteklių, paprastai gaunamas geresnis našumas be proporcingų žmogiškųjų pastangų. Tačiau tai sukuria priklausomybę nuo didelių technologijų įmonių, turinčių pakankamą infrastruktūrą. Simbolinės sistemos keičiasi per modulines taisyklių bibliotekas ir bendrus lingvistinius išteklius, tačiau kiekvienai naujai sričiai reikalingi kvalifikuoti lingvistai arba žinių inžinieriai. Priežiūra kelia atvirkštinių iššūkių: kalbai vystantis, reikia permokyti neuroninius modelius, o taisyklių sistemos kaupia sudėtingumą, kuris galiausiai tampa nebeįmanomas priežiūrai.
Nuolatinė neuroninių metodų kritika susijusi su sistemiškumu – gebėjimu rekombinuoti žinomus komponentus naujais būdais, laikantis algebrinių modelių. Nors dideli kalbos modeliai pasižymi įspūdingu akivaizdžiu sistemiškumu, jie gali nenuspėjamai nepavykti atlikdami paprastas kompozicines užduotis, kurias simbolinės sistemos tvarko trivialiai. Tokie tyrėjai kaip Gary Marcus teigė, kad tai atspindi esminį apribojimą, nors kiti tvirtina, kad mastelio ir architektūros naujovės pamažu šalina šias spragas. Hibridiniai metodai vis dažniau bando derinti neuroninį lankstumą su simbolinėmis garantijomis.
Užuot nagrinėjusi gryną konkurenciją, ši sritis vis dažniau tyrinėja neurosimbolinę integraciją – neuroninio suvokimo derinimą su simboliniu samprotavimu. Tokie projektai kaip „Google T5“, IBM neurosimbolinio dirbtinio intelekto tyrimai ir įvairios akademinės iniciatyvos į neuronines architektūras įterpia simbolinius apribojimus arba naudoja neuroninius komponentus simbolinėse sistemose. Ši konvergencija pripažįsta, kad gryni metodai palieka didelę vertę: neuroniniams metodams trūksta patikimumo, o simboliniams metodams trūksta aprėpties ir atsparumo realaus pasaulio variacijoms.
Neuroniniai kalbos modeliai simbolinius metodus pavertė visiškai pasenusiais.
Simboliniai metodai išlieka būtini srityse, kuriose reikalingas garantuotas teisingumas, visiškas audituojamumas arba kur trūksta mokymo duomenų. Teisinis samprotavimas, saugai svarbios sistemos ir reguliuojamos pramonės šakos ir toliau remiasi taisyklėmis pagrįstais metodais. Be to, simboliniai komponentai vis labiau papildo neuronines sistemas, kad padidintų patikimumą.
Simbolinės sistemos negali susidoroti su jokiu dviprasmiškumu ar natūralia kalbos variacija.
Sudėtingi simboliniai modeliai apima tikimybines gramatines priemones, numatytąjį samprotavimą ir pirmenybės mechanizmus neapibrėžtumui valdyti. Nors ir mažiau lankstūs nei neuroniniai metodai su išties naujomis išraiškomis, šiuolaikinė simbolinė NLP apima patikimą numatomų variacijų tipų apdorojimą sukurtose srityse.
Kalbos reprezentacijos mokymasis iš tikrųjų „supranta“ kalbą panašia į žmogaus.
Nepaisant įspūdingų rezultatų, dabartiniai neuroniniai modeliai daugiausia manipuliuoja statistiniais modeliais be patvirtinto supratimo, intencionalumo ar pagrįstos reikšmės. Jų veikimas koreliuoja su supratimu filosofine prasme, bet jo neįrodo. Tyrėjai vis dar aktyviai diskutuoja, ar vien mastelis gali panaikinti šią spragą.
Šie du požiūriai iš esmės nesuderinami ir turi būti pasirinktas vienas iš jų.
Vis dažniau tyrėjai ir praktikai derina abi paradigmas. Neuroniniai komponentai atlieka šablonų atpažinimą ir platų aprėpties lygį, o simboliniai sluoksniai užtikrina loginį nuoseklumą, įgyvendina apribojimus ir teikia paaiškinimus. Ši neurosimbolinė integracija yra viena aktyviausių dirbtinio intelekto tyrimų sričių.
Simbolinių taisyklių buvo atsisakyta, nes jos visiškai žlugo.
Ankstyvasis simbolinis natūralusis kūrybinis mąstymas (NLP) susidūrė su tikrais apribojimais, susijusiais su atvirojo domeno kalba, tačiau daugelis „nesėkmių“ atspindėjo nepakankamą skaičiavimo galią ir nepilnas žinių bazes, o ne konceptualius trūkumus. Šiuolaikinės simbolinės sistemos įspūdingai sėkmingai veikia siaurose, gerai sukonstruotose srityse. Perėjimą prie statistinių metodų iš dalies lėmė duomenų ir skaičiavimo galimybių prieinamumas, o ne vien simbolinis nepakankamumas.
Stebėdami sistemos elgesį, galite lengvai nustatyti, ar ji naudoja neuroninius, ar simbolinius metodus.
Šiuolaikinės sistemos vis labiau išblukina šį skirtumą. Neuroniniai modeliai gali būti apmokyti simboliniais tikslais, simbolinės sistemos gali naudoti neuroninius komponentus išankstiniam apdorojimui, o ansamblinės architektūros slepia savo vidinę struktūrą. Vien elgesio stebėjimas retai atskleidžia pagrindinę architektūrą, o panašūs rezultatai gali atsirasti iš labai skirtingų mechanizmų.
Rinkitės kalbos reprezentacijos mokymąsi, kai jums reikia plačios aprėpties, natūralaus sklandumo ir galite toleruoti retkarčiais pasitaikančias klaidas – tai būdinga vartotojų programoms, turinio generavimui ir atvirojo domeno klausimų atsakymams. Rinkitės simbolines kalbos taisykles, kai reikia užtikrinti teisingumą, reikalingi paaiškinimai arba sritys yra siauros ir gerai suprantamos – tai įprasta teisiniuose samprotavimuose, medicininėje sprendimų palaikymo ir saugos požiūriu svarbiose sistemose. Tvirtiausios praktinės sistemos vis dažniau derina abu, naudodamos neuroninius komponentus suvokimui ir simbolinius sluoksnius samprotavimui ir patikrinimui.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
