Usposabljanje nevronskih mrež v primerjavi s procesi človeškega učenja
Ta celovita analiza primerja mehaniko učenja umetnih nevronskih mrež s človeškim kognitivnim razvojem. Medtem ko se globoko učenje zanaša na povratno širjenje, ogromne nabore podatkov in milijarde iterativnih prilagoditev za iskanje statističnih vzorcev, človeško učenje uporablja zelo učinkovito sinaptično plastičnost z malo podatki, ki jo poganjajo kontekst, fizične izkušnje in konceptualna abstrakcija.
Poudarki
Umetna omrežja zahtevajo milijone matematičnih iteracij, medtem ko se ljudje zanašajo na kontekstualno abstrakcijo.
Povratno širjenje zahteva globalno koordinacijo, medtem ko se biološki možgani prilagajajo prek lokaliziranih sinaptičnih posodobitev.
Modeli umetne inteligence se spopadajo s katastrofalnim pozabljanjem, težavo, ki jo ljudje zaobidejo s spanjem in utrjevanjem informacij.
Biološki sistemi delujejo z le delčkom energije, ki jo potrebujejo visokozmogljivi računalniški grozdi.
Kaj je Usposabljanje nevronskih mrež?
Matematična optimizacija umetnih uteži z uporabo gradientnega spusta in ogromnih naborov podatkov za minimizacijo funkcije napake.
Zanaša se predvsem na povratno širjenje za distribucijo signalov napak nazaj skozi plasti.
Za obvladovanje preprostih nalog klasifikacije je potrebnih od tisočev do milijonov eksplicitnih primerov.
Trpi zaradi katastrofalnega pozabljanja, ko se brez prekvalifikacije seznani z novimi, nepovezanimi nalogami.
Med fazo standardnega sklepanja deluje prek statičnih, fiksnih arhitektur.
Za doseganje visoke ravni natančnosti porabi znatno električno in računalniško energijo.
Kaj je Človeški učni procesi?
Biološka prilagoditev nevronskih poti, ki jo poganjajo senzorične izkušnje, radovednost in kontekstualna konceptualizacija.
Uporablja sinaptično plastičnost, kar možganom omogoča, da se v realnem času nenehno preoblikujejo.
Sposoben učenja z ničelnim ali enkratnim poskusom, obvladovanje novih konceptov z enim samim poskusom.
Brez težav si zapomni zgodovinsko znanje, hkrati pa integrira povsem nove veščine.
Naravno integrira multimodalne senzorične vnose, ki združujejo vid, sluh, dotik in kontekst.
Deluje z neverjetno učinkovitim biološkim proračunom približno 20 vatov moči.
Primerjalna tabela
Funkcija
Usposabljanje nevronskih mrež
Človeški učni procesi
Primarni mehanizem
Matematični gradientni spust in povratno širjenje
Biološka sinaptična plastičnost in modulacija nevrotransmiterjev
Učinkovitost podatkov
Izjemno nizko; zahteva ogromne računske nabore podatkov
Izjemno visoka; povzema pravila iz nekaj primerov
Poraba energije
Megavati za usposabljanje v velikih grozdih
Približno 20 vatov neprekinjene presnovne moči
Neprekinjeno učenje
Slabo; nagnjeno k popolnemu pozabljanju prejšnjih opravil
Odlično; prekriva stare ogrodja z novimi veščinami
Smer učenja
Strogo usmerjeno k cilju prek minimizacije funkcije izgub
Raziskovalno, samostojno in kontekstualno ozaveščeno
Razdelitev strojne in programske opreme
Jasna ločitev med kodo in fizičnimi silicijevimi čipi
Neločljivo; fizična arhitektura je programska oprema
Podrobna primerjava
Mehanizem prilagajanja
Umetna omrežja se učijo s prilagajanjem numeričnih uteži po togi matriki. Med povratnim širjenjem centralni algoritem izračuna natančno napako izhoda in posreduje popravke, ki temeljijo na računu, nazaj skozi sistem. Človeški možgani pa uporabljajo lokalizirano sinaptično plastičnost. Fizične poti se krepijo ali oslabijo glede na čas celičnih konic, kar omogoča biološkemu sistemu, da se organsko prilagodi brez globalnega glavnega algoritma, ki bi upravljal prilagoditve.
Podatki in računska učinkovitost
Da bi umetno omrežje prepoznalo kolo, mora obdelati na tisoče različnih slik z različnimi koti, osvetlitvijo in ozadji, da bi preslikalo statistične meje. Otrok običajno mora kolo videti le enkrat ali dvakrat. Človeško kognicijo izkorišča obstoječe miselne okvire, intuitivno fiziko in strukturne analogije, medtem ko umetno omrežje v bistvu začne iz praznega lista naključnega šuma vsakič, ko se inicializira nova arhitektura.
Posploševanje in prenos učenja
Umetni sistemi so zunaj svojih ozkih porazdelitev učenja znano krhki. Model, ki je mojstrsko usposobljen za igranje določene videoigre, bo popolnoma odpovedal, če se barva ozadja nekoliko spremeni, razen če je podvržen ciljno usmerjenemu natančnemu uglaševanju. Ljudje so odlični v prenosnem učenju, saj brezhibno uporabljajo abstraktne koncepte ravnotežja, zagona in strategije, ki so se jih naučili na enem področju, v popolnoma neznanih scenarijih.
Ohranjanje spomina in prilagodljivost
Ko se mora umetna nevronska mreža naučiti povsem nove naloge, sveže posodobitve gradientov pogosto prepišejo numerične uteži, določene za prejšnje naloge, kar povzroči katastrofalno pozabljanje. Človeški možgani elegantno obvladujejo vseživljenjsko učenje. Spimo, da bi vsakodnevne izkušnje združili v dolgoročne strukture in zagotovili, da učenje vožnje avtomobila ne poslabša naše sposobnosti pisanja, govorjenja ali prepoznavanja znanih obrazov.
Prednosti in slabosti
Usposabljanje nevronskih mrež
Prednosti
+Obdeluje milijone vzporednih vhodov
+Brezhibna matematična doslednost
+Enostavno podvajanje in skaliranje
+Prepozna hiperdimenzionalne vzorce
Vse
−Velike zahteve glede podatkov
−Visoka poraba energije
−Nagnjeni k katastrofalnemu pozabljanju
−Primanjkuje prirojene zdrave pameti
Človeški učni procesi
Prednosti
+Neverjetna učinkovitost podatkov
+Mojstrska abstraktna posplošitev
+Integracija spomina za vse življenje
+Izjemno nizke zahteve glede porabe energije
Vse
−Počasen, zaporedni vnos
−Nagnjeni k kognitivni utrujenosti
−Znanja ni mogoče takoj kopirati
−Pristransko zaradi čustvenih stanj
Pogoste zablode
Mit
Umetne nevronske mreže delujejo natanko tako kot biološki človeški možgani.
Resničnost
Izraz nevronska mreža je v veliki meri metafora. Medtem ko so bile zgodnje zasnove ohlapno navdihnjene z biologijo, se sodobno globoko učenje opira na tog matrični račun in algoritme globalne optimizacije, ki sploh niso podobni neurejeni, kemični in asinhroni mehaniki živega možganskega tkiva.
Mit
Modeli globokega učenja imajo po usposabljanju obliko človeku podobnega razumevanja.
Resničnost
Modeli umetne inteligence so odlični pri preslikavanju statističnih korelacij med vhodnimi in izhodnimi podatki, vendar jim popolnoma manjka semantično razumevanje. Model lahko ustvari brezhibne opise vode brez kakršnega koli pojma vlažnosti, žeje ali fizičnega obstoja.
Mit
Človeški možgani imajo fiksno kapaciteto shranjevanja, tako kot računalniški pomnilnik.
Resničnost
Človeški spomin ne deluje kot digitalni trdi disk, ki se polni z gigabajti podatkov. Biološki spomin je konstruktiven in asociativen; učenje novih konceptov dejansko gradi več kavljev, ki lahko olajšajo pridobivanje prihodnjih informacij, namesto da bi zmanjkalo fizičnega prostora.
Mit
Povečanje velikosti omrežja umetne inteligence mu bo samodejno omogočilo razmišljanje na človeški ravni.
Resničnost
Povečevanje parametrov izboljša ujemanje vzorcev in ustvari zelo sofisticirano mimikrijo, vendar ne odpravlja temeljnih arhitekturnih omejitev. Zgolj velikost umetni inteligenci ne zagotavlja notranje motivacije, fizične utelešenosti ali sposobnosti ležernega razmišljanja o svetu.
Pogosto zastavljena vprašanja
Kaj točno je povratno širjenje in ali ga uporabljajo človeški možgani?
Povratno širjenje napake je matematična tehnika, ki se uporablja za izračun gradienta funkcije napake glede na uteži nevronske mreže. Pošilja signale napake nazaj skozi plasti modela, da bi prilagodila povezave. Ni dokončnega dokaza, da človeški možgani uporabljajo povratno širjenje napake. Biološki nevroni komunicirajo prek električnih konic, ki se premikajo naprej, in kemičnih signalov prek sinaps, pri čemer se lokalno prilagajajo prek časovnih vzorcev, namesto da bi prejemali globalne matematične popravke iz centraliziranega algoritma.
Zakaj računalniki potrebujejo milijone primerov, da se naučijo tistega, kar se otrok nauči iz enega?
Otrok se rodi z razvito biološko arhitekturo, ki je bila milijone let optimizirana za preživetje v fizičnem vesolju. Otroci imajo prirojeno razumevanje intuitivne fizike, trajnosti objektov ter vzroka in posledice. Ko otrok prvič vidi žival, to vizualno podobo vključi v ogromen, že obstoječi okvir. Umetni modeli začnejo svoje učenje kot prazen list z naključnimi števili, kar pomeni, da morajo osnovne koncepte linij, geometrije, osvetlitve in prisotnosti izpeljati povsem iz nič.
Ali lahko umetna nevronska mreža med učenjem občuti radovednost?
Standardne nevronske mreže ne doživljajo čustev ali radovednosti. Vendar pa lahko računalniški znanstveniki simulirajo dinamiko, znano kot intrinzična radovednost, v agentih za učenje z okrepitvijo. To dosežejo z dodajanjem matematične nagrade funkciji izgube vsakič, ko agent naleti na povsem nova stanja ali nepredvidljive podatke. Čeprav to spodbuja raziskovanje in posnema radovedno vedenje, ostaja izračunana matematična optimizacija in ne čustveni ali psihološki pogon.
Kaj je katastrofalno pozabljanje in zakaj ljudje ne trpijo zaradi njega?
Katastrofalno pozabljanje se pojavi, ko se umetno omrežje nauči nove naloge, nastale matematične posodobitve pa prepišejo konfiguracije uteži, naučene med prejšnjimi nalogami, zaradi česar je stara veščina neuporabna. Ljudje se temu izognemo, ker naši možgani uporabljajo kompleksno mešanico komplementarnih učnih sistemov. Hipokampus hitro zajame nove dnevne izkušnje, medtem ko neokorteks med spanjem počasi integrira te informacije v stabilne, dolgoročne okvire in tako ščiti temeljno znanje pred nenadnimi motnjami.
Kakšna je energetska učinkovitost usposabljanja z umetno inteligenco v primerjavi s človeškimi možgani?
Razlika v energetski učinkovitosti je ogromna. Usposabljanje modela globokega učenja na meji razvoja zahteva podatkovne centre velikosti skladišč, ki porabljajo megavate energije, kar pogosto porabi dovolj električne energije za delovanje tisočev domov več tednov. Človeški možgani hkrati upravljajo kompleksno jezikovno sintezo, fizično koordinacijo, senzorično obdelavo in abstraktno sklepanje, medtem ko delujejo z zgolj 20 vati biološke energije, ki jo v celoti napaja osnovni kalorični vnos.
Kakšno vlogo igra fizična utelešenje pri učenju ljudi v primerjavi z učenjem z umetno inteligenco?
Utelešenje je temelj človekovega kognitivnega razvoja. Ljudje se učijo s fizično interakcijo z okolico, manipuliranjem predmetov, občutenjem gravitacije in doživljanjem posledic gibanja. Ta neprekinjena povratna zanka gradi robustno, utemeljeno razumevanje realnosti. Večina modelov umetne inteligence je popolnoma brez telesa in obdeluje statične digitalne žetone ali slikovne pike ločeno, brez kakršnih koli fizičnih vložkov, prostorske prisotnosti ali referenčne točke iz resničnega sveta.
Ali se lahko modeli umetne inteligence nenehno učijo, medtem ko jih potrošniki uporabljajo?
V standardnih produkcijskih uvedbah se modeli umetne inteligence po koncu faze učenja zamrznejo. Ko komunicirate s komercialnim modelom, je ta v načinu sklepanja, kar pomeni, da se njegove notranje uteži ne spreminjajo glede na vaša vprašanja. Da bi se inženirji učili iz novih podatkov, morajo zbirati uporabniške dnevnike, jih združevati v ogromne serije in izvajati ločen, drag cikel ponovnega učenja. Ljudje pa se dinamično učijo in nenehno posodabljajo svoje miselne modele z vsakim pogovorom in izkušnjo.
Bo nevromorfno računalništvo zapolnilo vrzel med umetno inteligenco in človeškim učenjem?
Nevromorfno računalništvo si prizadeva premostiti to vrzel z načrtovanjem strojne opreme, ki posnema fizično strukturo bioloških nevronov in sinaps. Namesto tradicionalnih procesorjev, ki nenehno premeščajo podatke med pomnilniškimi bankami in CPU-ji, nevromorfni čipi obdelujejo informacije z uporabo redkih, asinhronih električnih konic neposredno na čipu. Ta pristop bi lahko znatno zmanjšal porabo energije in omogočil bolj lokalizirane, možganom podobne mehanizme učenja v prihodnjih sistemih umetne inteligence.
Ocena
Učenje nevronskih mrež je neprekosljivo, ko morate razčleniti ogromne količine strukturiranih podatkov, da bi našli subtilne, visokodimenzionalne vzorce, ki se človeškim očem izmikajo. Vendar pa človeško učenje ostaja zlati standard za prilagodljivo, ustvarjalno reševanje problemov v nepredvidljivih okoljih, kjer je podatkov malo in je kontekst vse.