DETR menata ulang deteksi objek dengan memperlakukannya sebagai masalah prediksi himpunan menggunakan transformer, menghilangkan komponen buatan tangan seperti anchor box dan non-maximum suppression. Detektor berbasis CNN tradisional seperti Faster R-CNN dan YOLO bergantung pada proposal wilayah dan pipeline multi-tahap yang telah mendominasi visi komputer selama bertahun-tahun.
Model deteksi objek ujung-ke-ujung yang menggunakan arsitektur encoder-decoder transformer untuk memprediksi himpunan objek secara langsung dari fitur gambar.
Metode deteksi objek yang dibangun di atas jaringan saraf konvolusional yang menggunakan proposal wilayah, kotak jangkar, atau prediksi berbasis grid untuk melokalisasi objek.
| Fitur | Deteksi Objek dengan Transformer (DETR) | Deteksi Berbasis CNN Tradisional |
|---|---|---|
| Tipe Arsitektur | Encoder-decoder Transformer dengan tulang punggung CNN. | Jaringan saraf konvolusional murni dengan kepala spesifik tugas. |
| Pendekatan Prediksi | Prediksi himpunan melalui pencocokan bipartit | Prediksi grid berbasis jangkar atau tanpa jangkar |
| Diperlukan Pemrosesan Akhir | Tidak ada (output ujung ke ujung) | Penekanan non-maksimum (NMS) diperlukan |
| Konvergensi Pelatihan | Lebih lambat, membutuhkan 500 epoch pada COCO. | Lebih cepat, biasanya 12-300 epoch tergantung pada model. |
| Kecepatan Inferensi | Sedang, sekitar 10-30 FPS pada GPU | Cepat, dengan rentang 30-300+ FPS tergantung variannya. |
| Menangani Prediksi Duplikat | Terintegrasi melalui kerugian berbasis set | Ditangani oleh penyetelan ambang batas NMS |
| Pemahaman Konteks Global | Kuat, melalui perhatian diri di seluruh citra. | Terbatas, bergantung pada ukuran bidang reseptif. |
| Kompleksitas Komponen | Alur kerja yang disederhanakan, lebih sedikit komponen yang dibuat dengan tangan. | Berbagai komponen yang dirancang secara manual seperti jangkar dan NMS. |
| Kinerja pada COCO (mAP) | 44-63 AP tergantung varian (DETR, DETR Deformable) | 37-55 AP untuk varian populer seperti YOLOv8, Faster R-CNN |
DETR secara fundamental mengubah cara kerja deteksi dengan mengubahnya menjadi masalah prediksi himpunan langsung. Alih-alih menghasilkan ribuan kotak kandidat dan menyaringnya, ia menghasilkan serangkaian prediksi tetap (biasanya 100) dan mencocokkannya dengan kebenaran dasar menggunakan algoritma Hungaria. Detektor CNN tradisional mengambil pendekatan yang lebih bertahap, membangun deteksi melalui proposal, jangkar, atau sel kisi, kemudian memperhalusnya melalui beberapa tahap klasifikasi dan regresi.
Salah satu keunggulan utama DETR adalah alur kerjanya yang efisien. Dengan menghilangkan pembuatan anchor, proposal region, dan NMS, model menjadi jauh lebih mudah dipahami dan dimodifikasi. Detektor tradisional, meskipun sangat dioptimalkan, melibatkan banyak komponen yang dibuat secara manual dan membutuhkan penyetelan yang cermat. Setiap komponen memperkenalkan hyperparameter dan keputusan desain yang dapat memengaruhi kinerja, sehingga sistem ini lebih kompleks untuk dikembangkan dan di-debug.
Pelatihan DETR terkenal lebih lambat daripada alternatif berbasis CNN. Model aslinya membutuhkan 500 epoch pada COCO untuk mencapai kinerja yang kompetitif, sebagian karena dekoder transformer membutuhkan waktu untuk mempelajari pola perhatian spasial. Varian selanjutnya seperti Deformable DETR mengatasi hal ini dengan memperkenalkan mekanisme perhatian yang berfokus pada wilayah gambar tertentu, memangkas waktu pelatihan sekitar 10 kali lipat. Detektor CNN seperti YOLO dapat konvergen dalam waktu yang jauh lebih singkat, yang sangat penting saat melakukan iterasi pada dataset baru.
Untuk aplikasi waktu nyata, detektor CNN tradisional masih memiliki keunggulan yang signifikan. Varian YOLO dan model satu tahap serupa dapat berjalan pada ratusan frame per detik di GPU modern, menjadikannya ideal untuk analitik video, pengemudian otonom, dan robotika. DETR berjalan jauh lebih lambat dalam bentuk aslinya, meskipun versi yang dioptimalkan dan desain transformer yang efisien sedang mempersempit kesenjangan ini. Biaya komputasi dari self-attention di seluruh gambar tetap menjadi hambatan bagi detektor berbasis transformer.
Mekanisme self-attention DETR memungkinkannya untuk menalar tentang hubungan antara bagian-bagian gambar yang berjauhan, yang membantu dalam mendeteksi objek yang terhalang dan memahami konteks adegan. CNN tradisional memiliki bidang reseptif yang lebih terbatas, meskipun teknik seperti konvolusi dilatasi dan jaringan piramida fitur membantu memperluas konteks efektifnya. Dalam praktiknya, kedua pendekatan tersebut menangani skenario deteksi umum dengan baik, tetapi DETR cenderung berkinerja lebih baik pada objek yang membutuhkan pemahaman hubungan adegan yang lebih luas.
Deteksi berbasis CNN tradisional memiliki keunggulan besar dalam hal perangkat, model pra-terlatih, tutorial, dan penerapan produksi. Kerangka kerja seperti Ultralytics YOLO, MMDetection, dan Detectron2 menawarkan dukungan ekstensif untuk detektor CNN. Ekosistem DETR berkembang pesat, dengan varian seperti DINO, Co-DETR, dan RT-DETR yang mendorong batas kinerja, tetapi para insinyur produksi masih sering memilih solusi berbasis CNN karena kematangan dan keunggulan kecepatannya.
DETR sepenuhnya menggantikan semua komponen CNN dalam deteksi objek.
DETR masih menggunakan arsitektur CNN (biasanya ResNet) untuk ekstraksi fitur awal. Transformer hanya menggantikan bagian deteksi dan mekanisme prediksi. Arsitektur CNN tetap penting untuk mengubah piksel mentah menjadi peta fitur yang bermakna.
Detektor CNN tradisional sudah usang karena adanya DETR.
Detektor berbasis CNN terus mendominasi penerapan produksi karena kecepatan dan efisiensinya. Model seperti YOLOv8, YOLOv9, dan RT-DETR (yang sebenarnya menggabungkan kedua pendekatan) tetap menjadi yang tercanggih untuk banyak aplikasi dunia nyata. DETR adalah alternatif penting, bukan pengganti.
DETR sama sekali tidak memerlukan pemrosesan pasca-pemrosesan.
Meskipun DETR menghilangkan NMS dan pemrosesan anchor, ia masih memerlukan ambang batas kepercayaan untuk menyaring prediksi dengan kepercayaan rendah. Model ini menghasilkan sejumlah prediksi tetap (biasanya 100), dan hanya prediksi di atas ambang batas yang dipertahankan sebagai deteksi akhir.
DETR selalu lebih akurat daripada detektor berbasis CNN.
Akurasi sangat bergantung pada varian dan kasus penggunaan spesifik. Meskipun DETR dan penerusnya mencapai skor mAP yang kompetitif, banyak detektor berbasis CNN yang menyamai atau melampauinya pada tolok ukur tertentu. DETR asli sebenarnya memiliki kinerja yang sebanding dengan Faster R-CNN, tidak jauh lebih baik.
DETR tidak dapat digunakan untuk aplikasi waktu nyata.
Meskipun DETR asli terlalu lambat untuk penggunaan waktu nyata, varian yang lebih baru seperti RT-DETR (Real-Time DETR) telah dioptimalkan secara khusus untuk kecepatan dan dapat mencapai kecepatan frame yang kompetitif. Keluarga deteksi berbasis transformer telah berkembang secara signifikan sejak tahun 2020.
Pilih DETR ketika Anda membutuhkan alur kerja ujung-ke-ujung yang bersih dan mampu menoleransi waktu pelatihan yang lebih lama, terutama untuk skenario penelitian di mana konteks global dan penanganan oklusi menjadi penting. Gunakan deteksi berbasis CNN tradisional untuk sistem produksi yang membutuhkan inferensi waktu nyata, siklus pelatihan yang lebih cepat, dan akses ke ekosistem alat dan model pra-terlatih yang matang.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
