인공지능원격 감지딥러닝머신러닝지구 관측

원격 감측에서의 자기지도 학습과 지도 분류의 비교

원격 감측 분야에서 자기지도 학습은 레이블이 지정되지 않은 위성 또는 항공 이미지를 사용하여 사전 작업(pretext task)을 생성함으로써 모델을 훈련시키는 반면, 지도 분류는 사람이 레이블을 지정한 데이터를 활용하여 모델이 픽셀이나 장면을 분류하는 방법을 학습시킵니다. 두 접근 방식 모두 토지 피복 지도 작성 및 객체 탐지에 적용되지만, 데이터 요구 사항, 확장성 및 실제 정확도 측면에서 큰 차이를 보입니다.

주요 내용

자기지도 학습은 레이블이 지정되지 않은 위성 아카이브를 활용하여 주석 비용을 절감합니다.
레이블이 지정된 데이터가 풍부할 경우, 지도 분류는 여전히 정확도 측면에서 우위를 차지합니다.
자기지도 학습된 특징은 지역 및 센서 간에 더욱 안정적으로 전송됩니다.
두 가지 접근 방식을 결합한 하이브리드 파이프라인이 지구 관측 분야의 새로운 표준으로 자리 잡고 있습니다.

원격 감측에서의 자기지도 학습이(가) 무엇인가요?

모델이 레이블이 지정되지 않은 지구 관측 데이터로부터 표현을 학습하기 위해 사전 작업(pretext tasks)을 해결한 후, 후속 응용 프로그램에서 미세 조정하는 훈련 패러다임.

이 기술은 센티넬-2나 랜드샛과 같은 레이블이 지정되지 않은 대규모 위성 이미지 아카이브를 활용하여 심층 신경망을 사전 학습시킵니다.
일반적인 사전 작업에는 이미지 회전 예측, 패치 직소 풀이, 대조 인스턴스 식별 및 마스크된 자동 인코딩이 포함됩니다.
SatMAE, DINO-MC, SeCo와 같은 모델은 하위 원격 감지 작업에서 뛰어난 전송 성능을 보여주었습니다.
이는 고해상도 장면당 몇 시간씩 걸릴 수 있는 비용이 많이 드는 전문가 주석 작업에 대한 의존도를 획기적으로 줄여줍니다.
자기지도 학습으로 얻은 특징은 순수 지도 학습으로 얻은 특징보다 지리적 지역 및 센서 유형 전반에 걸쳐 더 나은 일반화 성능을 보이는 경우가 많습니다.

지도 분류이(가) 무엇인가요?

모델을 수동으로 레이블링된 원격 감지 데이터에 대해 학습시켜 픽셀, 객체 또는 장면에 범주를 할당하는 전통적인 머신 러닝 접근 방식입니다.

이를 위해서는 각 픽셀 또는 이미지 패치에 숲, 물 또는 도시와 같은 알려진 클래스가 태그된 레이블이 지정된 학습 샘플이 필요합니다.
알고리즘은 랜덤 포레스트와 SVM 같은 고전적인 방법부터 ResNet, U-Net, Vision Transformers 같은 심층 아키텍처에 이르기까지 다양합니다.
정확도는 레이블 품질, 클래스 균형 및 훈련 세트의 대표성에 크게 좌우됩니다.
이는 ESA World Cover 및 National Land Cover Database와 같은 운영 토지 피복 지도 제작 제품에서 여전히 지배적인 접근 방식입니다.
일반적으로 레이블이 지정된 데이터가 부족하거나 편향되었거나 비공식 정착촌이나 재해 피해와 같은 드문 유형을 포함하지 못하는 경우 성능이 정체됩니다.

비교 표

기능	원격 감측에서의 자기지도 학습	지도 분류
레이블이 지정된 데이터 필요	사전 교육은 거의 또는 전혀 필요하지 않습니다.	전문가가 주석을 단 방대한 데이터 세트
지역 간 확장성	지리적 간 높은 전파율	제한적이며, 종종 지역에 따라 제한적입니다.
주석 비용	Low는 원본 이미지 아카이브를 사용합니다.	높은 가격, 수동 라벨링은 비용이 많이 듭니다.
다운스트림 정확도	제한된 라벨로 경쟁력 있는	라벨이 많을 때 가장 높습니다.
훈련 컴퓨팅	강도 높은 사전 훈련, 가벼운 미세 조정	난이도는 보통이며, 데이터셋 크기에 따라 증가합니다.
희귀 클래스 처리	더 나은 방법은 광범위한 표현을 학습하는 것입니다.	약함, 균형 잡힌 샘플이 필요함
해석 가능성	하위 단계의 구실 작업은 추상적입니다.	상위 단계에서는 결정 규칙을 검토할 수 있습니다.
생산 성숙도	새롭게 부상하는, 주로 연구 단계	성숙하고 광범위하게 운영에 배치됨

상세 비교

데이터 요구 사항 및 주석 작업

지도 분류는 모든 훈련 예제에 정답 태그가 포함된, 신중하게 레이블링된 데이터 세트에 의존합니다. 고해상도 이미지에 이러한 레이블을 생성하려면 GIS 전문 지식이 필요하며, 폴리곤 하나당 몇 센트에서 수 달러에 이르는 비용이 발생할 수 있습니다. 자기 지도 학습은 Sentinel-2와 같은 위성에서 수집한 페타바이트 규모의 무료 레이블링되지 않은 이미지를 활용하여 이러한 문제를 해결합니다. 이를 통해 모델은 초기 사전 훈련 단계에서 사람의 주석 없이도 유용한 특징을 학습할 수 있습니다.

센서 및 지역 간 일반화

지도 학습만으로 훈련된 모델은 훈련 장면의 스펙트럼 및 공간적 특성에 과적합되는 경향이 있습니다. 즉, 유럽 농경지에서 훈련된 분류기가 열대림에 적용될 때 제대로 작동하지 못할 수 있습니다. 반면, 자기 지도 학습 방식은 다양한 영상에서 더 광범위한 시각적 패턴을 포착하므로, 새로운 지역이나 센서에서 얻은 소규모 레이블링 데이터 세트로 미세 조정할 때 훨씬 더 나은 전이 성능을 보입니다. 이러한 특성 덕분에 자기 지도 학습 방식은 전 지구적 규모의 지도 제작 작업에 특히 적합합니다.

정확도 및 벤치마크 성능

EuroSAT, BigEarthNet, IEEE GRSS 데이터 융합 경진대회와 같은 표준 벤치마크에서 충분한 레이블이 지정된 훈련 데이터가 주어지면 지도 학습 모델이 여전히 약간 우위를 점합니다. 그러나 2022년 이후의 연구들은 자기 지도 사전 훈련 후 선형 탐색 또는 미세 조정을 통해 단 몇 백 개의 레이블만으로도 완전 지도 학습 기반 모델과 동등하거나 심지어 능가할 수 있음을 일관되게 보여주고 있습니다. 레이블에 노이즈가 많거나, 불균형하거나, 희귀 클래스만 있는 경우 이러한 격차는 더욱 줄어듭니다.

계산 비용 및 워크플로

자기지도 학습 사전 훈련은 계산 비용이 많이 들며, 수백만 개의 이미지 패치를 처리하는 데 여러 개의 GPU가 며칠 동안 필요한 경우가 많습니다. 하지만 일단 사전 훈련이 완료되면, 모델은 최소한의 추가 훈련만으로 여러 후속 작업에서 재사용할 수 있습니다. 지도 학습 파이프라인은 이러한 부담스러운 사전 훈련 단계를 생략하지만, 센서, 지리적 위치 또는 클래스 체계가 변경될 때마다 처음부터 다시 훈련해야 하므로, 여러 지도 제품을 관리하는 조직의 경우 시간이 지남에 따라 비용이 누적됩니다.

운영 준비 태세 및 신뢰

지도 학습 기반 분류는 동작 방식이 잘 알려져 있고, 검증 프로토콜이 표준화되어 있으며, 규제 체계에서 추적 가능한 학습 데이터를 요구하는 경우가 많기 때문에 원격 감측 분야에서 여전히 핵심적인 역할을 하고 있습니다. 자기 지도 학습 방식은 아직 발전 단계에 있으며, 실무자들은 광범위한 벤치마킹 없이는 재난 대응이나 산림 벌채 모니터링과 같은 중요한 응용 분야에 적용하는 것을 주저하는 경우가 있습니다. 하지만 자기 지도 학습 기반 사전 학습과 지도 학습 기반 미세 조정을 결합한 하이브리드 워크플로우가 연구 및 산업 분야 모두에서 빠르게 주목받고 있습니다.

장단점

원격 감측에서의 자기지도 학습

장점

+ 낮은 주석 비용
+ 강력한 지역 간 전파
+ 재사용 가능한 사전 학습된 백본
+ 희귀 클래스를 더 잘 처리합니다.

− 사전 학습을 위한 고강도 연산
− 운영 성숙도가 낮음
− 해석하기 더 어렵다
− 어쨌든 하위 레이블이 필요합니다.

지도 분류

장점

+ 라벨을 사용한 높은 정확도
+ 성숙하고 신뢰할 수 있는
+ 해석하기 쉽습니다
+ 폭넓은 도구 지원

− 비용이 많이 드는 수동 라벨링
− 지리적 전송 불량
− 희귀 클래스 관련 어려움
− 재교육이 자주 필요합니다.

흔한 오해

신화

자기지도 학습은 레이블이 지정된 데이터가 전혀 필요하지 않게 합니다.

현실

자기지도 사전 학습은 초기 단계에서 레이블을 제거하지만, 후속 작업에서는 미세 조정이나 평가를 위해 여전히 레이블이 지정된 데이터가 필요합니다. 따라서 레이블이 전혀 필요 없게 되는 것이 아니라, 필요한 레이블의 수가 훨씬 줄어드는 데서 효율성이 향상됩니다.

신화

자기지도 학습 방식의 등장으로 지도 분류는 더 이상 사용되지 않게 되었습니다.

현실

지도 분류는 운영 시스템에서 여전히 지배적인 접근 방식이며, 레이블이 풍부할 때 가장 높은 정확도를 달성하는 경우가 많습니다. 자기 지도 학습은 이를 대체하는 것이 아니라 보완하는 역할을 합니다.

신화

자기지도 학습 모델은 원격 감지 벤치마크에서 항상 지도 학습 모델보다 우수한 성능을 보입니다.

현실

성능은 데이터셋, 사용 가능한 레이블링된 데이터의 양, 그리고 후속 작업에 따라 달라집니다. 레이블링된 데이터셋이 많을 경우, 지도 학습 모델은 자기 지도 학습 기반 모델과 동등하거나 그 이상의 성능을 보일 수 있습니다.

신화

레이블이 지정되지 않은 데이터가 많을수록 자기 지도 학습 모델의 성능은 항상 향상됩니다.

현실

양보다 질과 다양성이 더 중요합니다. 자율 학습 모델은 계절, 센서 또는 지역적 다양성이 부족한 상태에서 중복되거나 품질이 낮은 이미지를 입력받으면 성능이 정체되거나 심지어 저하될 수 있습니다.

신화

지도 학습 분류기는 훈련 영역을 벗어나 일반화할 수 없습니다.

현실

신중한 설계, 도메인 적응 및 다양한 훈련 샘플을 통해 지도 분류기는 여러 영역에 걸쳐 일반화할 수 있습니다. 이러한 한계는 분명히 존재하지만 절대적인 것은 아니며, 전이 학습 기법이 그 격차를 줄이는 데 도움이 됩니다.

자주 묻는 질문

원격 탐사에서 자기지도 학습이란 무엇인가?

원격 감측 분야에서 자기지도 학습은 딥러닝 모델이 방대한 양의 레이블이 지정되지 않은 위성 또는 항공 영상 데이터로부터 회전 예측, 마스크 처리된 영역 재구성, 영상 인스턴스 구분과 같은 사전 학습 과제를 해결함으로써 유용한 표현을 학습하는 훈련 전략입니다. 사전 학습 후, 모델은 토지 피복 분류 또는 변화 탐지와 같은 작업을 위해 더 작은 규모의 레이블이 지정된 데이터셋에서 미세 조정됩니다.

원격 탐사에서 지도 분류는 어떻게 작동합니까?

지도 분류는 각 픽셀 또는 패치에 숲, 물, 도시와 같은 클래스가 수동으로 레이블링된 이미지를 사용하여 모델을 학습시킵니다. 모델은 각 클래스와 관련된 통계적 패턴을 학습한 후 새롭고 이전에 보지 못한 이미지에 대한 레이블을 예측합니다. 일반적인 알고리즘으로는 랜덤 포레스트, 서포트 벡터 머신, 합성곱 신경망 등이 있습니다.

레이블이 지정된 데이터가 제한적일 경우 어떤 접근 방식이 더 나을까요?

레이블이 지정된 데이터가 부족할 때는 자기 지도 학습이 일반적으로 더 나은 선택입니다. 풍부한 레이블이 지정되지 않은 이미지를 사용하여 사전 학습함으로써 모델은 풍부한 특징 표현을 구축할 수 있으며, 미세 조정을 위해 소량의 레이블이 지정된 데이터 세트만 필요로 합니다. 그 결과, 훨씬 더 큰 데이터 세트로 학습된 완전 지도 학습 모델과 유사한 정확도를 달성하는 경우가 많습니다.

자기지도 학습법과 지도 학습법을 결합할 수 있을까요?

네, 그리고 이러한 하이브리드 워크플로는 점점 더 보편화되고 있습니다. 먼저 레이블이 지정되지 않은 이미지에 대해 자기 지도 학습 방식으로 모델을 사전 학습한 다음, 특정 작업을 위해 레이블이 지정된 데이터 세트에 대해 지도 학습 방식으로 미세 조정합니다. 이러한 조합은 일반적으로 강력한 일반화 성능과 높은 작업별 정확도라는 두 가지 장점을 모두 제공합니다.

위성 영상에 널리 사용되는 자기지도 학습 모델에는 어떤 것들이 있나요?

대표적인 예로는 Sentinel-2 영상의 마스크 자동 인코딩을 위한 SatMAE, 대조 학습을 위한 DINO 및 DINO-MC, 계절 대비를 위한 SeCo, 그리고 유럽 우주국(ESA)에서 지구 관측을 위해 개발한 SSL4EO 프레임워크 등이 있습니다. 이러한 모델들은 다양한 하위 원격 감지 응용 분야의 기반이 됩니다.

지도 분류에는 얼마나 많은 레이블이 지정된 데이터가 필요합니까?

필요한 데이터 양은 작업의 복잡성과 모델 유형에 따라 다릅니다. 랜덤 포레스트와 같은 고전적인 알고리즘은 클래스당 수백 개의 레이블이 지정된 샘플로도 작동할 수 있지만, 딥러닝 모델은 종종 수천 개의 샘플이 필요합니다. 고해상도 의미론적 분할 작업의 경우, 높은 정확도를 얻으려면 수만 개의 주석이 달린 픽셀이 필요할 수 있습니다.

자기지도 학습은 지도 학습보다 계산량이 더 많이 필요한가요?

자기지도 사전 학습은 수백만 개의 레이블이 지정되지 않은 이미지를 처리하고 대규모 배치 크기와 대비 손실 또는 재구성 손실을 사용하기 때문에 계산 집약적입니다. 그러나 후속 미세 조정 단계는 일반적으로 처음부터 지도 학습 모델을 학습하는 것보다 비용이 적게 들기 때문에 사전 학습된 모델을 여러 작업에 재사용할 경우 전체 비용을 낮출 수 있습니다.

실제 토지 피복 지도를 작성할 때 어떤 접근 방식을 사용합니까?

ESA World Cover, Copernicus Global Land Service, National Land Cover Database와 같은 대부분의 실제 토지 피복 제품은 심층 학습과 방대한 레이블링된 훈련 데이터를 결합한 지도 학습 분류 파이프라인에 의존합니다. 자기 지도 학습 방식은 연구 프로토타입과 일부 상용 제품에서 나타나기 시작했지만, 아직 대규모로 지도 학습 워크플로우를 대체하지는 못했습니다.

자기지도 학습은 다중 스펙트럼 또는 초분광 영상에서 작동할까요?

네, SSL4EO-ML 및 SatMAE와 같은 최신 자기지도 학습 프레임워크는 다중 스펙트럼 Sentinel-2 대역을 처리하도록 설계되었으며, 연구자들은 마스크드 오토인코딩 접근 방식을 초분광 센서로 확장했습니다. 핵심은 대역을 독립적인 RGB 채널로 취급하는 대신 스펙트럼 구조를 고려하도록 프리텍스트 작업을 조정하는 것입니다.

원격 탐사에서 자기지도 학습의 주요 과제는 무엇인가요?

주요 과제로는 사전 학습에 드는 높은 계산 비용, 의미 있는 지구 관측 패턴을 포착하는 사전 학습 과제 설계의 어려움, 방대하고 다양한 레이블이 없는 데이터 세트의 필요성, 그리고 작물 지도 작성이나 홍수 감지와 같은 도메인별 작업에서 자기 지도 학습 표현을 평가하기 위한 표준화된 벤치마크의 부족 등이 있습니다.

평결

레이블이 지정된 고품질 데이터가 풍부하고, 잘 정의된 지역이나 센서에 대한 완성도 높고 해석 가능한 모델이 필요한 경우에는 지도 분류를 선택하십시오. 레이블이 부족하거나, 비용이 많이 들거나, 지리적으로 제한적인 경우에는 자기 지도 학습을 선택하십시오. 또한 최소한의 어노테이션 작업으로 다양한 후속 작업에 적용할 수 있는 유연한 기반 모델을 구축하고자 할 때도 자기 지도 학습을 활용할 수 있습니다.