Modele widzenia oparte na transformatorach i splotowe sieci neuronowe reprezentują dwa zasadniczo różne podejścia do uczenia maszyn widzenia. Transformatory wykorzystują samouwagę do rejestrowania globalnych relacji w obrazie, podczas gdy sieci neuronowe CNN wykorzystują filtry hierarchiczne do wykrywania lokalnych wzorców. Każda z architektur wnosi odrębne mocne strony do zadań związanych z widzeniem komputerowym.
Modele głębokiego uczenia, które stosują mechanizmy samouwagi do przetwarzania obrazów jako sekwencji fragmentów, rejestrując zależności dalekiego zasięgu w całym polu widzenia.
Architektury głębokiego uczenia, które przetwarzają obrazy poprzez warstwy filtrów splotowych, stopniowo wyodrębniając cechy od prostych krawędzi do złożonych obiektów.
| Funkcja | Modele wizji oparte na transformatorach | Sieci neuronowe splotowe |
|---|---|---|
| Mechanizm rdzenia | Skupienie się na łatkach obrazu | Filtry splotowe w wymiarach przestrzennych |
| Pole recepcyjne | Globalny od pierwszej warstwy | Lokalny i hierarchiczny, rozszerzający się w głąb |
| Odchylenie indukcyjne | Minimalne wbudowane założenia dotyczące obrazów | Silna lokalność i równoważność translacji |
| Wymagania dotyczące danych | Zwykle wymaga dużych zestawów danych do wstępnego trenowania | Sprawdza się nawet w przypadku mniejszych zestawów danych |
| Koszt obliczeniowy | Skalowanie kwadratowe z rozdzielczością obrazu | Skalowanie liniowe z rozdzielczością obrazu |
| Interpretowalność | Mapy uwagi ujawniają globalne relacje | Mapy cech pokazują hierarchiczne wykrywanie wzorców |
| Najlepsze przypadki użycia | Wstępne szkolenie na dużą skalę, zadania multimodalne, wykrywanie | Wdrażanie mobilne, obrazowanie medyczne, wnioskowanie w czasie rzeczywistym |
| Kluczowe architektury | ViT, Swin Transformator, DeiT, BEiT | ResNet, EfficientNet, ConvNeXt, MobileNet |
| Stabilność treningu | Może być wrażliwy bez starannej inicjalizacji | Generalnie stabilny w standardowych recepturach szkoleniowych |
| Rok Przełomu | 2020 (artykuł Vision Transformer) | 2012 (AlexNet) i 2015 (ResNet) |
Podstawowa różnica sprowadza się do sposobu, w jaki każda architektura „widzi” obraz. Sieci Transformers dzielą obraz na siatkę fragmentów, a następnie wykorzystują samouważność, aby każdy fragment komunikował się z każdym innym fragmentem jednocześnie. Sieci neuronowe (CNN) stosują odwrotne podejście, przesuwając małe filtry po obrazie, aby wykrywać krawędzie, tekstury i kształty w sposób oddolny. Oznacza to, że sieci Transformers uchwycają cały obraz na raz, podczas gdy sieci CNN budują zrozumienie warstwa po warstwie.
Sieci neuronowe (CNN) mają wyraźną przewagę, gdy dane treningowe są ograniczone. Ich wbudowane założenia dotyczące działania obrazów, takie jak idea, że pobliskie piksele są bardziej powiązane niż odległe, działają jak pomocne skróty podczas uczenia. Transformatory, pozbawione tych wbudowanych uprzedzeń, zazwyczaj muszą zobaczyć miliony, a nawet setki milionów oznaczonych obrazów, zanim osiągną lepsze wyniki niż dobrze dostrojona sieć CNN. Jednak po wstępnym wytrenowaniu na ogromnych zbiorach danych, transformatory często lepiej nadają się do zadań realizowanych w dalszej kolejności.
Samouważność skaluje się kwadratowo wraz z liczbą łat, co oznacza, że podwojenie rozdzielczości obrazu czterokrotnie zwiększa zapotrzebowanie na moc obliczeniową. Sieci neuronowe (CNN) skalują się znacznie płynniej, ponieważ operacje splotu mają stały koszt, niezależnie od rozmiaru obrazu. To sprawia, że sieci CNN są idealnym wyborem dla środowisk o ograniczonych zasobach, takich jak aplikacje mobilne i urządzenia brzegowe, podczas gdy sieci transformer sprawdzają się doskonale w środowiskach, w których klastry GPU są łatwo dostępne.
testach porównawczych, takich jak ImageNet, obie architektury osiągają obecnie najwyższą dokładność. Modele hybrydowe, łączące struktury splotowe z blokami transformatorów, takie jak CoAtNet, pokazały, że połączenie tych dwóch filozofii często daje najlepsze rezultaty. W przypadku gęstych zadań predykcyjnych, takich jak wykrywanie obiektów i segmentacja, hierarchiczne transformatory, takie jak Swin, w dużej mierze zniwelowały różnice w porównaniu z sieciami neuronowymi (CNN), oferując jednocześnie nowe możliwości obsługi sygnałów wejściowych o wysokiej rozdzielczości.
Obie architektury oferują narzędzia wizualizacyjne, ale ujawniają różne rzeczy. Mapy uwagi w transformatorach pokazują, które obszary obrazu model uważa za istotne względem siebie, oferując bardziej holistyczny obraz. Z drugiej strony, mapy cech sieci CNN ułatwiają obserwację, jak sieć stopniowo wykrywa krawędzie, kształty, a w końcu pełne obiekty. Praktycy często uważają sieci CNN za łatwiejsze do debugowania, ponieważ ich hierarchiczna natura odzwierciedla sposób, w jaki intuicyjnie moglibyśmy opisać rozpoznawanie wizualne.
Sieci neuronowe (CNN) mają ogromną przewagę w fazie wdrażania produkcyjnego, a zoptymalizowane struktury i wsparcie sprzętowe sięgają ponad dekady. Transformatory szybko nadrabiają zaległości, szczególnie w aplikacjach wymagających intensywnej pracy badawczej i systemach multimodalnych, które łączą wizję z językiem. Wiele firm stosuje obecnie podejścia hybrydowe, wykorzystując sieci neuronowe (CNN) do ekstrakcji cech, a transformatory do wnioskowania wyższego poziomu.
Transformery całkowicie zastąpiły sieci CNN w dziedzinie przetwarzania obrazu.
To nieprawda. Chociaż transformatory zyskały ogromną popularność, sieci neuronowe (CNN) są nadal szeroko stosowane w systemach produkcyjnych, zwłaszcza w zastosowaniach mobilnych i brzegowych. Wiele najnowocześniejszych modeli łączy warstwy splotowe z blokami transformatorów, aby uzyskać najlepsze z obu rozwiązań.
Sieci CNN to przestarzała technologia.
Wręcz przeciwnie. Nowoczesne projekty sieci neuronowych (CNN), takie jak ConvNeXt, zostały zaprojektowane specjalnie z myślą o dorównaniu wydajności transformatora przy jednoczesnym zachowaniu efektywności splotowej. Sieci CNN nadal dominują w scenariuszach, w których ograniczone są zasoby obliczeniowe, pamięciowe lub dane treningowe.
Transformatory zawsze przewyższają sieci CNN w każdym zadaniu związanym z wizją.
Sieci transformatorowe zazwyczaj wygrywają w testach porównawczych na dużą skalę z dużą ilością danych treningowych, ale sieci neuronowe CNN często dorównują im lub przewyższają je w mniejszych zbiorach danych i zadaniach, takich jak obrazowanie medyczne, gdzie danych jest niewiele. „Najlepsza” architektura w dużej mierze zależy od konkretnego problemu i ograniczeń.
Dzięki skupieniu się na sobie transformery z natury lepiej rozumieją obrazy.
Samouważność daje transformatorom globalny ogląd, ale nie przekłada się automatycznie na lepsze zrozumienie. Sieci neuronowe (CNN) kodują użyteczne dane a priori dotyczące naturalnych obrazów, które transformatory muszą poznać na podstawie danych, dlatego potrzebują one znacznie więcej danych treningowych, aby osiągnąć porównywalną wydajność.
Transformatory wizyjne nie mogą być stosowane w aplikacjach czasu rzeczywistego.
Chociaż standardowe ViT są kosztowne obliczeniowo, wydajne warianty, takie jak Swin Transformer, EfficientFormer i MobileViT, zostały zaprojektowane specjalnie do pracy w czasie rzeczywistym i na urządzeniach mobilnych. Rodzina architektur jest bardziej zróżnicowana, niż się powszechnie wydaje.
Wybierz modele wizyjne oparte na transformatorach, gdy masz dostęp do dużych zbiorów danych, znacznych zasobów obliczeniowych i zadań, które korzystają z globalnego kontekstu, takich jak multimodalna sztuczna inteligencja lub detekcja o wysokiej rozdzielczości. Wybierz splotowe sieci neuronowe, gdy ilość danych jest ograniczona, opóźnienia mają znaczenie lub gdy musisz wdrożyć system na urządzeniach brzegowych. W praktyce wiele udanych systemów łączy obie architektury, aby wykorzystać ich mocne strony.
W tym porównaniu analizuje się strategiczne wybory w uczeniu maszynowym między adaptacją domeny, która przenosi wiedzę z oznaczonego środowiska źródłowego do innego środowiska docelowego, a uczeniem w domenie, które buduje modele wyłącznie w oparciu o dane zebrane w konkretnym środowisku wdrożenia docelowego.
Adaptacja językowa w sztucznej inteligencji koncentruje się na uczeniu modeli obsługi konkretnych języków poprzez precyzyjne dostrajanie i transfer wiedzy, podczas gdy systemy sztucznej inteligencji niezależne od języka dążą do przetwarzania dowolnego języka bez szkolenia językowego. Oba podejścia radzą sobie z wyzwaniami wielojęzyczności, ale różnią się zasadniczo pod względem architektury, danych szkoleniowych i wdrożenia w warunkach rzeczywistych.
Adaptacyjne pobieranie dynamicznie dostosowuje sposób i rodzaj informacji pobieranych przez system na podstawie zapytania, podczas gdy statyczne potoki pobierania podążają za stałymi regułami niezależnie od kontekstu. Oba te rozwiązania napędzają nowoczesne aplikacje AI, ale różnią się znacząco elastycznością, kosztami i dokładnością. Wybór między nimi zależy od złożoności obciążenia i budżetu.
Agenci AI to autonomiczne, zorientowane na cel systemy, które potrafią planować, wnioskować i wykonywać zadania w różnych narzędziach, podczas gdy tradycyjne aplikacje internetowe podążają za sztywnymi, sterowanymi przez użytkownika przepływami pracy. Porównanie podkreśla przejście od statycznych interfejsów do adaptacyjnych, kontekstowych systemów, które mogą proaktywnie wspierać użytkowników, automatyzować decyzje i dynamicznie wchodzić w interakcje z wieloma usługami.
Agenci AI zorientowani na zadania są stworzeni do autonomicznego wykonywania określonych przepływów pracy, podczas gdy uniwersalne modele językowe służą jako wszechstronne generatory tekstu, reagujące na szeroki zakres podpowiedzi. Wybór między nimi zależy od tego, czy potrzebujesz niezawodnego wykonywania zadań, czy elastycznej inteligencji konwersacyjnej.
