Ajaline piltide võrdlus analüüsib kaadrite järjestusi, et tuvastada aja jooksul toimunud muutusi, samas kui üksiku pildi analüüs annab tähenduse ühest staatilisest pildist. Mõlemad lähenemisviisid toetavad tänapäevast arvutinägemist, kuid täidavad tehisintellekti süsteemides põhimõtteliselt erinevaid eesmärke.
Tehisintellekti tehnika, mis uurib aja jooksul jäädvustatud mitut pilti, et tuvastada muutusi, liikumismustreid ja kaadritevahelisi järjestikuseid seoseid.
Arvutinägemise meetod, mis tõlgendab ühe eraldiseisva pildi sisu, objekte ja konteksti ilma eelnevatele või järgnevatele kaadritele tuginemata.
| Funktsioon | Ajaline piltide võrdlus | Ühe pildi analüüs |
|---|---|---|
| Sisendi tüüp | Mitu kaadrit aja jooksul | Üks staatiline pilt |
| Peamised kasutusjuhud | Toimingutuvastus, liikumise jälgimine, videovalve | Objektide tuvastamine, klassifitseerimine, näotuvastus |
| Arvutuslik maksumus | Kõrgem järjestikuse töötlemise tõttu | Alumine, ühekäiguline järeldus |
| Ajaline teadlikkus | Sisseehitatud disainiga | Mitte ükski, kui see pole selgesõnaliselt modelleeritud |
| Levinud arhitektuurid | 3D CNN-id, LSTM-id, ajalise tähelepanuga transformaatorid | 2D CNN-id, Vision Transformers (ViT) |
| Andmenõuded | Suured videoandmekogumid, näiteks Kinetics ja Something-Something | Pildiandmekogumid nagu ImageNet, COCO, Open Images |
| Latentsusaeg | Üldiselt kõrgem mitme kaadri töötlemise tõttu | Madal, sobib reaalajas rakenduste jaoks |
| Vastupidavus liikumise hägususe suhtes | Saab kompenseerida ümbritsevate kaadrite abil | Tundlik hägususe ja oklusiooni suhtes |
Ajaline pildivõrdlus käsitleb aega esmaklassilise kodanikuna, analüüsides, kuidas visuaalne sisu kaadrite jada jooksul areneb. Üksiku pildi analüüs seevastu peatab ajahetke ja eraldab sellest ühest hetktõmmisest kõik võimaliku. Need kaks lähenemisviisi peegeldavad erinevaid filosoofiaid: üks küsib "mis muutus?", teine aga "mis see on?".
Ajalised mudelid laiendavad tavaliselt 2D-konvolutsioone 3D-ks, lisades liikumismärkide jäädvustamiseks ajamõõtme, või ühendavad nad 2D-selgroo rekurrentse mooduliga, näiteks LSTM-iga. Ühe pildi mudelid jäävad 2D-valdkonda, keskendudes ruumilistele hierarhiatele servadest objektideni. Vision Transformers on seda piiri mõnevõrra hägustanud, kuna sama arhitektuur saab töödelda kas üksikut pilti või lamestatud kaadrimärkide jada.
Videote mõistmise platvormidel kasutatakse ajalist võrdlust, inimese ja arvuti interaktsioonis kasutatakse žestide tuvastamist ning satelliidipiltidel kasutatakse muutuste tuvastamist. Üksiku pildi analüüs domineerib fotopõhistes rakendustes, nagu sisu modereerimine, e-kaubanduse visuaalne otsing ja diagnostiline pildistamine. Paljud tootmissüsteemid kombineerivad tegelikult mõlemat, kasutades kaadripõhiseks mõistmiseks üksiku pildi mudeleid ja lisaks ajalist loogikat.
Ajalised süsteemid vajavad rohkem mälu ja arvutusvõimsust, kuna nad töötlevad samaaegselt mitut kaadrit ja säilitavad sageli aja jooksul peidetud olekuid. Ühe pildi mudelid saavad mugavalt töötada servaseadmetes ja mobiiltelefonides. Siiski on tõhusad videomuundurid ja kaadri diskreetimisstrateegiad viimastel aastatel seda lõhet märkimisväärselt vähendanud.
Ajaline võrdlus kipub võitma ülesannete puhul, kus liikumisel on tähendus, näiteks "ukse avamise" ja "ukse sulgemise" eristamine. Ühe pildi analüüs annab sageli paremaid tulemusi ülesannete puhul, mis nõuavad peeneteralist ruumilist detaili, näiteks konkreetse linnuliigi tuvastamine või väikese kasvaja tuvastamine. Hübriidkanalid, mis ühendavad mõlemad signaalid, saavutavad võrdlusalustel sageli parimaid tulemusi.
Ajaline piltide võrdlus on lihtsalt ühe pildi analüüs, mida rakendatakse paljudele kaadritele.
Ajalised mudelid modelleerivad kaadritevahelisi seoseid selgesõnaliselt selliste tehnikate abil nagu optiline voog, 3D-konvolutsioonid või ajaline tähelepanu. Lihtsalt ühe pildimudeli käitamine igal kaadril ja tulemuste keskmistamine ei jäädvusta liikumisdünaamikat ja toimib tavaliselt halvemini kui spetsiaalselt loodud ajalised arhitektuurid.
Üksiku pildi analüüs ei suuda liikumist üldse mõista.
Kuigi ühe pildi mudelitel puudub selgesõnaline ajaline arutluskäik, suudavad nad liikumist järeldada visuaalsete vihjete, näiteks liikumise hägususe, kaudsete trajektooride või poosi põhjal. Mõned uuringud näitavad isegi, et internetipõhiste andmetega treenitud suured nägemismudelid registreerivad statistilisi liikumismustreid ilma videot nägemata.
Ajaline võrdlus on alati parem kui ühe pildi analüüs.
Jõudlus sõltub täielikult ülesandest. Staatiliste piltide klassifitseerimisel lisavad ajalised meetodid ebavajalikku keerukust, parandamata täpsust. Ajalised lähenemisviisid toimivad ainult siis, kui ülesanne hõlmab tõepoolest aja jooksul muutusi.
Ajaliste mudelite treenimiseks on vaja tohutuid andmekogumeid.
Suurtest ühe pildi andmekogumitest, näiteks ImageNetist, õppimise ülekandmine võimaldab ajalisi mudeleid tõhusalt käivitada. Paljud praktikud treenivad 2D-selgroo eelkoolitusega piltidel ja laiendavad seda seejärel ajalisele arhitektuurile suhteliselt vähese videoandmetega.
Üksikute piltide analüüs on video tehisintellekti tõttu iganenuks muutumas.
Üksikpildi analüüs on endiselt arvutinägemise tööhobune. Enamik tootmissüsteeme töötleb pilte endiselt palju sagedamini kui videot ning iseseisev õppimine arendab jätkuvalt üksikpildi analüüse.
Valige ajaline piltide võrdlus, kui teie ülesanne hõlmab liikumise, järjestuse või muutuste tuvastamist ajas, näiteks tegevuse tuvastamise või videovalve puhul. Valige üksiku pildi analüüs staatilise sisu mõistmiseks, kui kiirus, lihtsus ja lai rakendatavus on olulised, näiteks fotode sildistamine või meditsiiniline pildistamine. Paljud reaalsed süsteemid saavad kasu mõlema lähenemisviisi kombineerimisest, selle asemel, et valida ainult üks.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
