객체 탐지컴퓨터 비전딥러닝변압기인공지능

집합 기반 객체 탐지 vs 앵커 기반 객체 탐지

집합 기반 객체 탐지는 탐지를 집합 예측 문제로 취급하여 미리 정의된 앵커 없이 바운딩 박스를 직접 출력합니다. 앵커 기반 탐지는 다양한 크기와 종횡비의 미리 정의된 박스를 사용한 후 이를 정밀하게 조정합니다. 두 접근 방식 모두 현대 컴퓨터 비전 시스템의 핵심이지만, 객체 위치를 파악하는 방식에서 근본적인 차이가 있습니다.

주요 내용

집합 기반 탐지는 앵커 박스를 완전히 제거하고 탐지를 직접적인 집합 예측 문제로 처리합니다.
앵커 기반 탐지는 분류 및 회귀를 통해 정제된 수천 개의 사전 정의된 박스에 의존합니다.
집합 기반 방법은 이분 매칭을 통한 비최대 억제 필요성을 제거합니다.
DINO와 같은 최신 세트 기반 탐지기는 이제 COCO 벤치마크 정확도에서 앵커 기반 모델보다 우수한 성능을 보입니다.

집합 기반 객체 탐지이(가) 무엇인가요?

객체를 순서가 없는 집합으로 예측하는 최신 객체 탐지 패러다임으로, 수동으로 앵커 박스를 만들 필요가 없습니다.

페이스북 AI 연구소에서 2020년에 선보인 DETR(DEtection TRansformer)이 이 기술을 선도적으로 도입했습니다.
고유 예측을 위해 이분 매칭을 사용하는 트랜스포머 인코더-디코더 아키텍처를 사용합니다.
객체 탐지를 직접적인 집합 예측 문제로 취급하여 비최대 억제 기법의 필요성을 제거합니다.
앵커 생성이나 제안 생성과 같은 구성 요소 없이 COCO 벤치마크에서 경쟁력 있는 정확도를 달성합니다.
Deformable DETR, DINO, Co-DETR 등 훈련 안정성과 속도를 향상시킨 여러 후속 제품에 영감을 주었습니다.

앵커 기반 객체 탐지이(가) 무엇인가요?

이미지에서 객체를 찾기 위해 다양한 크기와 비율의 미리 정의된 기준 상자를 사용하는 전통적인 객체 탐지 방식입니다.

2015년 Faster R-CNN과 함께 도입되었으며, Faster R-CNN 및 SSD의 이전 연구를 기반으로 합니다.
여러 피처 맵 레벨에 걸쳐 각 공간 위치에 수천 개의 후보 앵커 박스를 생성합니다.
중복 탐지를 제거하기 위해 비최대 억제와 같은 후처리 단계가 필요합니다.
RetinaNet, YOLOv3, YOLOv4, Faster R-CNN과 같이 널리 사용되는 탐지기의 핵심 구성 요소입니다.
성능은 크기, 화면 비율 및 IoU 임계값을 포함한 앵커 설계 선택에 크게 좌우됩니다.

비교 표

기능	집합 기반 객체 탐지	앵커 기반 객체 탐지
핵심 접근법	변압기를 이용한 직접 집합 예측	사전 정의된 앵커의 분류 및 회귀
앵커 박스 필요	아니요	예
후처리	최소 또는 없음(NMS 미포함)	최대 억제가 필요하지 않음
훈련 안정성	역사적으로 어려움이 많았지만, 최신 변형 모델에서는 개선되었습니다.	하이퍼파라미터를 잘 조정하면 일반적으로 안정적입니다.
훈련 시간	특히 초기 DETR 모델의 경우 더 오래 걸립니다.	일반적으로 더 빠른 수렴
하이퍼파라미터 민감도	더 낮은 (디자인 선택지가 더 적음)	더 높은 (앵커 스케일, 비율, IoU 임계값)
대표 모델	DETR, 변형 가능 DETR, DINO, Co-DETR	Faster R-CNN, RetinaNet, SSD, YOLOv3/v4/v5
COCO mAP (일반적인 값)	변형에 따라 50~63%	변형에 따라 37~50%
중복 예측	이분 매칭을 통해 제거됨	NMS를 통해 처리됨

상세 비교

탐지 철학

집합 기반 객체 탐지는 모델이 단일 패스에서 고정된 크기의 예측 집합을 출력하도록 함으로써 문제를 근본적으로 재구성합니다. 여기서 각 요소는 하나의 객체에 대응합니다. 따라서 수동으로 구성 요소를 설계할 필요가 없습니다. 반면 앵커 기반 객체 탐지는 미리 정의된 박스로 이루어진 조밀한 그리드에서 시작하여 모델이 각 박스를 분류하고 다듬도록 합니다. 이는 개념적으로는 더 간단하지만 설계 과정에서 많은 고려 사항이 발생합니다.

아키텍처 차이점

집합 기반 객체 탐지기는 일반적으로 셀프 어텐션 및 크로스 어텐션 메커니즘을 갖춘 트랜스포머 아키텍처를 사용하여 객체 간의 관계를 전역적으로 추론합니다. 앵커 기반 방식은 주로 영역 제안 네트워크 또는 특징 피라미드 네트워크를 사용하는 컨볼루션 백본에 의존합니다. CNN에서 트랜스포머로의 아키텍처 전환은 서로 다른 유도 편향과 계산 특성을 가져옵니다.

훈련 역학

초기 세트 기반 모델인 DETR은 수렴 속도가 느리기로 악명이 높았으며, Faster R-CNN의 50 에포크 성능을 따라잡는 데 500 에포크가 필요한 경우도 흔했습니다. 이후 Deformable DETR과 DINO에 대한 연구는 향상된 어텐션 메커니즘과 노이즈 제거 기술을 통해 학습 시간을 획기적으로 단축했습니다. 앵커 기반 모델은 잘 알려진 학습 방법을 활용할 수 있어 일반적으로 표준 설정에서 더 빠르게 수렴합니다.

실제 배포

앵커 기반 검출기는 성숙도, 풍부한 툴링, 예측 가능한 동작 덕분에 상용 시스템에서 여전히 널리 사용되고 있습니다. 반면, 세트 기반 검출기는 엔드투엔드 방식 덕분에 배포 파이프라인이 간소화되어 연구 및 일부 상용 애플리케이션에서 점차 주목받고 있습니다. 특히 세트 기반 모델에서 NMS(Non-Mechanism System)가 필요 없다는 점은 후처리 지연 시간이 중요한 실시간 시스템에 매우 유용합니다.

성능상의 절충

COCO 벤치마크에서 DINO 및 Co-DETR과 같은 최신 세트 기반 검출기는 앵커 기반 방식을 능가하여 63% 이상의 mAP를 달성했습니다. 그러나 YOLOv8 및 EfficientDet과 같은 앵커 기반 모델은 특히 추론 속도를 고려할 때 여전히 매우 경쟁력이 있습니다. 어떤 방식을 선택할지는 정확도와 계산 효율성 중 무엇을 우선시하는지에 따라 달라집니다.

장단점

집합 기반 객체 탐지

장점

+ 앵커 설계가 필요 없습니다.
+ NMS가 없는 파이프라인
+ 주의력을 통한 전역적 추론
+ 간소화된 전 과정 교육

− 훈련 수렴 속도 저하
− 더 높은 계산 비용
− 덜 성숙한 도구
− 대규모 데이터 세트가 필요합니다

앵커 기반 객체 탐지

장점

+ 성숙하고 최적화된
+ 더 빠른 훈련
+ 광범위한 지역사회 지원
+ 예측 가능한 성능

− 앵커 튜닝이 필요합니다
− NMS 후처리가 필요합니다
− 많은 하이퍼파라미터
− 중복 예측은 흔히 발생합니다.

흔한 오해

신화

실제로는 세트 기반 탐지가 앵커 기반 탐지를 완전히 대체합니다.

현실

집합 기반 방식이 상당한 연구 주목을 받고 있지만, YOLO 변형과 같은 앵커 기반 검출기는 여전히 실제 시스템에서 널리 사용되고 있습니다. 두 접근 방식 모두 공존하며, 어떤 방식을 선택할지는 특정 사용 사례, 하드웨어 제약 조건 및 정확도 요구 사항에 따라 달라집니다.

신화

집합 기반 검출기는 후처리 과정이 전혀 필요하지 않습니다.

현실

집합 기반 방식은 학습 과정에서 이분 매칭을 통해 최대 억제가 아닌 값을 제거하지만, 일부 변형 방식은 추론 단계에서 여전히 가벼운 필터링을 적용합니다. 핵심적인 이점은 모든 후처리 과정을 완전히 제거하는 것이 아니라, 수동으로 조정한 최대 억제 임계값을 제거하는 데 있습니다.

신화

앵커 기반 탐지 방식은 구식이며 시대에 뒤떨어졌습니다.

현실

앵커 기반 방법은 지속적으로 발전하고 있으며 여전히 높은 경쟁력을 유지하고 있습니다. YOLOv8, EfficientDet 및 최근 변형 모델들은 실시간 시나리오에서 집합 기반 방법이 아직 완전히 따라잡지 못한 탁월한 속도-정확도 균형을 달성합니다.

신화

집합 기반 감지에는 항상 변압기가 필요합니다.

현실

대부분의 집합 기반 검출기는 트랜스포머 아키텍처를 사용하지만, 집합 예측 프레임워크 자체는 아키텍처에 구애받지 않습니다. 고유한 할당을 가진 순서 없는 집합을 예측하는 핵심 아이디어는 이론적으로 다른 아키텍처로도 구현할 수 있지만, 실제로는 트랜스포머가 가장 효과적인 것으로 입증되었습니다.

신화

앵커 박스는 임의적이며 모델 성능에 큰 영향을 미치지 않습니다.

현실

앵커 설계는 앵커 기반 검출기 성능에 상당한 영향을 미칩니다. 크기, 종횡비, 긍정/부정 할당을 위한 IoU 임계값에 대한 선택은 mAP를 수 퍼센트 포인트까지 변화시킬 수 있습니다. 앵커 설계가 부실하면 특히 특이한 모양이나 크기의 객체를 놓치는 경우가 발생합니다.

자주 묻는 질문

집합 기반 객체 탐지와 앵커 기반 객체 탐지의 주요 차이점은 무엇입니까?

근본적인 차이점은 후보 객체 위치를 생성하는 방식에 있습니다. 집합 기반 검출은 트랜스포머 기반 아키텍처와 이분 그래프 매칭을 사용하여 바운딩 박스 집합을 직접 예측하며, 검출 문제를 집합 예측 문제로 취급합니다. 앵커 기반 검출은 다양한 크기와 종횡비를 가진 수천 개의 사전 정의된 앵커 박스에서 시작하여 각 박스를 분류하고 정제합니다. 집합 기반 방식은 수작업으로 앵커를 생성하거나 최대 억제(maximum suppression)를 사용하지 않아도 되도록 합니다.

DETR은 왜 집합 기반 객체 탐지 기능을 도입했을까요?

DETR은 앵커 생성 및 비최대 억제와 같은 수동으로 설계해야 하는 구성 요소를 제거하여 객체 탐지 파이프라인을 간소화하기 위해 Facebook AI Research에서 2020년에 도입했습니다. 개발자들은 모든 구성 요소에서 동일한 손실 함수를 사용하여 학습할 수 있는 진정한 엔드투엔드 탐지기를 만들고자 했습니다. 그들은 탐지를 집합 예측 문제로 재구성하고, 트랜스포머와 이분 그래프 매칭을 사용하여 각 정답 객체에 대해 고유한 예측을 보장했습니다.

집합 기반 탐지가 앵커 기반 탐지보다 더 정확한가요?

DINO 및 Co-DETR과 같은 최신 세트 기반 검출기는 대부분의 앵커 기반 방식보다 높은 COCO mAP 점수를 달성하여 63% 이상의 mAP를 기록했습니다. 그러나 정확도는 특정 모델 변형, 학습 구성 및 평가 조건에 크게 좌우됩니다. 특히 추론 속도와 정확도를 모두 고려할 때, 일부 앵커 기반 모델은 여전히 경쟁력이 있습니다.

집합 기반 검출기는 학습에 시간이 더 오래 걸리는 이유는 무엇일까요?

초기 집합 기반 모델인 오리지널 DETR은 이분 그래프 매칭 최적화의 어려움과 어텐션 메커니즘이 객체 간의 관계를 처음부터 학습해야 하는 필요성 때문에 수렴 속도가 느렸습니다. Faster R-CNN이 50 에포크 만에 학습을 완료하는 데 비해, 오리지널 DETR은 500 에포크가 소요되기도 했습니다. Deformable DETR과 DINO 같은 최신 변형 모델들은 개선된 어텐션 메커니즘, 노이즈 제거 학습, 그리고 더 나은 초기화를 통해 이러한 문제를 해결하고 학습 시간을 크게 단축했습니다.

집합 기반 검출기는 최대 억제가 아닌 다른 억제 방식이 필요한가요?

아니요, 집합 기반 검출기는 학습 과정에서 이분 매칭을 통해 비최대 억제(NMS)가 필요하지 않도록 합니다. 헝가리안 알고리즘은 각 실제 객체가 정확히 하나의 예측 객체와 매칭되도록 하여 중복을 방지합니다. 이는 집합 기반 접근 방식의 주요 장점 중 하나인데, NMS는 임계값을 수동으로 조정해야 하고 계산 오버헤드를 추가하기 때문입니다.

실시간 객체 탐지에 어떤 접근 방식이 더 나을까요?

앵커 기반 검출 방식은 현재 계산 효율성과 성숙한 최적화 기술 덕분에 실시간 애플리케이션에서 지배적인 위치를 차지하고 있습니다. YOLOv8 및 EfficientDet과 같은 모델은 속도와 정확도 측면에서 탁월한 균형을 제공합니다. 그러나 DINO-Faster와 같은 변형 모델들이 트랜스포머 아키텍처의 장점을 유지하면서 경쟁력 있는 추론 속도를 달성하며 빠르게 발전하고 있습니다.

집합 기반 방법과 기준점 기반 방법을 결합할 수 있을까요?

네, 하이브리드 접근 방식에 대한 연구가 진행되어 왔습니다. 일부 연구자들은 집합 기반 프레임워크에 앵커형 사전 정보를 통합했고, 다른 연구자들은 앵커 기반 파이프라인 내에서 트랜스포머 어텐션 메커니즘을 사용했습니다. 이러한 하이브리드 방법들은 두 접근 방식의 장점을 결합하는 것을 목표로 하지만, 연구 및 실제 적용에서는 각 패러다임의 순수한 구현 방식이 여전히 더 일반적입니다.

2024-2025년에 가장 뛰어난 집합 기반 객체 탐지 모델은 무엇인가요?

대표적인 데이터셋 기반 검출기로는 대조적 잡음 제거 학습을 도입한 DINO와 COCO 데이터셋에서 최첨단 성능을 달성한 Co-DETR이 있습니다. 효율적인 어텐션 메커니즘을 갖춘 Deformable DETR은 여전히 영향력 있는 모델입니다. 이러한 모델들은 기존 DETR의 학습 불안정성과 느린 수렴 문제를 상당 부분 해결하면서 정확도를 향상시켰습니다.

앵커 박스는 탐지 성능에 어떤 영향을 미치나요?

앵커 박스는 크기, 종횡비, 밀도 등을 통해 앵커 기반 검출기의 성능에 상당한 영향을 미칩니다. 데이터셋의 객체 분포와 잘 맞는 앵커를 선택하면 재현율이 향상되는 반면, 잘못 선택된 앵커는 객체 미검출을 유발합니다. 특징 피라미드 네트워크는 다양한 크기의 앵커를 제공함으로써 이러한 문제를 해결하지만, 앵커 설계에 대한 근본적인 의존성은 집합 기반 검출기가 피할 수 있는 한계점으로 남아 있습니다.

앵커리스 검출은 세트 기반 검출과 동일한가요?

아니요, 이 용어들은 서로 다른 개념을 나타냅니다. 앵커 없는 객체 탐지는 CenterNet이나 FCOS처럼 미리 정의된 바운딩 박스 없이 객체의 중심이나 특징점을 예측하는 방법을 포함하지만, 후처리 과정은 여전히 사용합니다. 집합 기반 객체 탐지는 특히 DETR에서 도입한 트랜스포머 기반 집합 예측 패러다임을 의미합니다. 모든 앵커 없는 객체 탐지 방법이 집합 기반은 아니며, 일부 집합 기반 개념은 이론적으로 트랜스포머를 사용하지 않는 아키텍처에도 적용될 수 있습니다.

평결

후처리 없이 엔드투엔드 파이프라인이 필요하거나, 연구 프로젝트를 진행 중이거나, 전역 추론을 위해 트랜스포머 아키텍처를 활용하려는 경우 집합 기반 객체 탐지를 선택하십시오. 광범위한 커뮤니티 지원, 빠른 학습 속도, 다양한 배포 시나리오에서 잘 이해된 동작을 제공하는 검증된 상용 모델이 필요한 경우에는 앵커 기반 탐지를 선택하십시오.