Šioje išsamioje analizėje sugretinami organinės, daugiasluoksnės žmogaus smegenų atminties struktūros su matematiniais, svoriais pagrįstais atvaizdavimais, naudojamais mašininio mokymosi architektūrose. Nors žmogaus atmintis dinamiškai filtruoja ir rekonstruoja patirtį per tarpusavyje susijusius biologinius tinklus, mašininis mokymasis remiasi fiksuotais vektoriniais įterpimais, gradientais ir silicio atmintimi, kad išsaugotų statistinius modelius.
Biologinis sensorinių, trumpalaikių ir ilgalaikių struktūrų tinklas, kuris koduoja, saugo ir rekonstruoja patirtį.
Matematiniai modeliai, įskaitant svorių matricas, paslėptas būsenas ir vektorines erdves, kurie fiksuoja duomenų modelius.
| Funkcija | Žmogaus atminties sistemos | Mašininio mokymosi atminties reprezentacijos |
|---|---|---|
| Struktūrinis branduolys | Biologiniai neuronai, sinapsės ir neurotransmiteriai | Slankiojo kablelio matricos, svoriai ir paklaidos |
| Architektūros segregacija | Skirtingi lygiai (sensorinis, darbinis, epizodinis, semantinis) | Monolitiniai parametrai, dėmesio langai arba vektorinės saugyklos priedai |
| Informacijos išgavimas | Asociatyvus, nuo užuominų priklausomas ir labai rekonstruktyvus | Algoritminės matricos skaliarinės sandaugos ir matematinės paieškos |
| Mokymosi kaina | Labai maža medžiagų apykaita; nuolatinis mokymasis fone | Didelės skaičiavimo išlaidos, reikalaujančios GPU klasterių |
| Duomenų keitimas | Labai kintamas; šiek tiek keičiasi su kiekvienu atšaukimu | Nekintama, nebent atgalinio platinimo komandos pakeičia svorius |
| Naujų įvesčių tvarkymas | Sklandžiai integruojasi į esamus asociatyvius tinklus | Rizikuoja katastrofiškai pamiršti be atskiro tikslinimo |
| Konteksto ribos | Begalinis, bet miglotas; apribotas dėmesio ir dėmesio | Griežtai apribota užkoduotų žetonų konteksto langų |
Žmogaus pažinimo funkcijos segmentuoja duomenis per kelias specializuotas saugyklas, pradedant trumpalaikiu sensoriniu buferiu, kuris filtruoja aplinkos baltąjį triukšmą. Vertingi duomenys perkeliami į darbo atmintį aktyviam manipuliavimui, prieš tai, kai hipokampas juos sujungia į ilgalaikę saugyklą. Mašininio mokymosi modeliuose retai pasitaiko natūralus struktūrinis suskirstymas. Vietoj to, tradiciniai neuroniniai tinklai suspaudžia visus mokymo duomenis tiesiai į vieną didžiulę svorių matricą, o tai reiškia, kad modelis turi reprezentuoti plačias sąvokas ir mažas formatavimo taisykles tame pačiame skaičiavimo sluoksnyje.
Kai žmogus susiduria su nauja sąvoka, smegenys ją sujungia į asociatyvų tinklą, susiedamos objektą su jo pavadinimu, garsu ir emocine reikšme. Mašininio mokymosi modeliai tai konceptualiai atkartoja, tačiau įgyvendina per daugiamačius vektorinius įterpimus. Žodžius ar vaizdus braižydamas kaip koordinates geometrinėje erdvėje, modelis sukuria kraštovaizdį, kuriame matematiškai susijusios idėjos yra arti viena kitos. Tačiau, nors žmonių asociacijos yra giliai įsišaknijusios gyvenimiškoje realybėje ir subjektyviame kontekste, mašininiai įterpimai atspindi šaltus, statistinius atstumus, gautus vien iš teksto bendro pasirodymo ar pikselių išdėstymo.
Užmiršimas yra labai svarbi žmogaus smegenų optimizavimo priemonė, leidžianti joms atmesti nereikšmingus duomenis, pavyzdžiui, ką valgėte pietums prieš tris savaites, kad galėtų teikti pirmenybę išgyvenimo modeliams. Šis organinis genėjimas yra nuolatinis ir sklandus. Mašininiam mokymuisi sunku sklandžiai rasti šią pusiausvyrą. Kai modelis mokomas su visiškai nauju duomenų rinkiniu, gaunami gradiento atnaujinimai dažnai visiškai perrašo ankstesnes svorio vertes. Tai sukuria katastrofiško užmiršimo iššūkį, reikalaujantį, kad inžinieriai įdiegtų sudėtingus derinimo metodus, siekdami užtikrinti, kad sistema nesunaikintų savo senojo intelekto, bandydama įgyti naujų įgūdžių.
Biologinės smegenys yra efektyvumo šedevras, valdantis didžiules atminties ir abstrakčių minčių saugyklas, tuo pačiu sunaudodamas mažiau energijos nei standartinė buitinė lemputė. Jos visą gyvenimą plečia savo žinių bazę, nereikalaudamos struktūrinių atnaujinimų. Mašininio mokymosi reprezentacijoms reikia milžiniškų pramoninių išteklių. Modelio apmokymas išlaikyti didelę pasaulio žinių reprezentaciją reikalauja didžiulių duomenų centrų, sudėtingų vandens aušinimo sistemų ir milijonų dolerių elektros energijos, todėl skaitmeninis atminties reprezentavimas yra neįtikėtinai daug išteklių reikalaujanti užduotis, palyginti su anglies pagrindu veikiančiomis alternatyvomis.
Dirbtiniai neuroniniai tinklai saugo atmintį lygiai taip pat, kaip ir biologiniai neuronų tinklai žmogaus smegenyse.
Nors laisvai įkvėpti biologinių struktūrų, mašininio mokymosi mazgai yra supaprastintos matematinės funkcijos, kurios daugina įvestis iš skaitinių svorių. Jiems trūksta biocheminio sudėtingumo, neurotransmiterių įvairovės ir architektūrinės įvairovės, būdingos gyviesiems smegenų audiniams.
Dideli kalbų modeliai gali amžinai prisiminti jūsų pokalbį savo pagrindiniame tinkle.
Dirbtinio intelekto modelis neatnaujina savo pagrindinių svorių atsitiktinio pokalbio metu. Jo trumpalaikis išlaikymas visiškai priklauso nuo kontekstinio lango, kuris veikia kaip aktyvi iškarpinė. Kai pokalbio sesija užsidaro arba pasiekiama žetonų riba, modelis visiškai pamiršta šią informaciją, nebent ji būtų išsaugota išorinėje duomenų bazėje.
Žmogaus atmintis praeities įvykius išsaugo kaip atskirus, nekintamus skaitmeninius filmo klipus.
Biologinė atmintis yra visiškai rekonstrukcinė, o ne paremta saugojimu. Kiekvieną kartą, kai žmogus prisimena įvykį, jo smegenys supina fragmentus su dabartinėmis emocijomis ir įsitikinimais, o tai reiškia, kad prisiminimas šiek tiek pasikeičia kiekvieną kartą, kai prie jo prisimenama.
Dirbtinio intelekto modelis su milijardais parametrų turi didesnę atminties talpą nei suaugęs žmogus.
Žmogaus smegenų atminties kiekybinis įvertinimas naudojant skaitmeninius terminus yra iš esmės netikslus. Nors dirbtinis intelektas gali pažodžiui saugoti didžiulius kiekius neapdoroto teksto, žmogaus smegenys sudaro trilijonus sinapsinių jungčių, lengvai valdydamos abstrakčias metaforas, motorinius įgūdžius ir jutiminius duomenis, kurių kompiuteriai negali lengvai apskaičiuoti.
Rinkitės žmogaus kognityvinius modelius, kai dirbate su labai dinamiškomis, nestruktūrizuotomis aplinkomis, kurioms reikalingas adaptyvus mokymasis iš negausių duomenų taškų be didelių energijos sąnaudų. Kreipkitės į mašininio mokymosi atminties reprezentacijas, kai jūsų užduočiai reikalingas absoliutus matematinis tikslumas, greitas milijonų dokumentų apdorojimas ir sistema, atspari organiniam atminties irimui.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
