Object Goal Navigation 연구의 주요 목적과 데이터셋 (Gibson, MP3D, HM3D)

Object Goal Navigation(OGN) 연구의 주요 목적

OGN의 최근 연구들은 모두 1) 어떻게 프론티어를 선정할 것인지와, 2) 어떻게 목표 위치를 예측할 것인지에 초점을 두고 있다. 

1. 목적지까지 경로를 찾기 위해 우선적으로 이동할 프론티어(frontier)를 선정
2. 목표 위치를 예측

 

Object Goal Navigation(OGN) 최신 연구 동향

크게 지도 기반 프론티어 탐색, 시맨틱 지도 예측 및 추론, 학습 기반(RL/representation learning), 계층적/장면-그래프 탐색으로 나누어진다. 

분류	내용
지도 기반 프론티어 탐색	▪️에이전트가 지역 지도를 구축하여 미지 영역의 경계(frontier)를 탐색 ▪️시맨틱 정보를 이용해 프론티어(목표 객체)가 있을 법한 위치를 추론하여 이동
시맨틱 지도 예측 및 추론	▪️ 환경에 대한 사전 지식과 과거 탐색으로 얻은 관측으로, 목표 객체가 있을 법한 위치를 예측 예시) 현재까지 관측된 내용을 기반으로 나머지 지도의 영역을 예측 => 목적지로 이동
학습 기반 (강화학습/표현학습)	▪️ 강화학습 기반: 명시적인 지도 구축 대신 reward/penalty를 통해 경험을 통한 학습 ▪️ 표현학습 기반: 시맨틱 정보를 활용하여 목적지/프론티어를 예측
계층적/장면-그래프(scene-graph)	▪️공간적 객체의 관계를 장면 그래프(scene-graph)로 표현해, 탐색 범위를 좁히고, 효율 높임 예시) "보통 침대는 침실에 있다"와 같은 지식을 활용해, 목표 객체가 있는 방의 확률을 추론

 

 

Object Goal Navigation(OGN) 연구에 주로 쓰이는 데이터셋

모두 실제 실내 환경을 3D로 스캔한 시뮬레이션 데이터셋으로, 시뮬레이션 환경, 시맨틱 레이블, 객체 위치가 주어져서 연구자들이 출발위치와 목표 객체를 설정 흐, 그에 맞게 다양한 연구를 수행 가능.

데이터셋명	정보
Gibson	물리 기반 시뮬레이션 실험 가능(충돌 처리, 동적 물체 상호작용), 시맨틱 맵, 정답 레이블(객체 위치) (+PyBullet 실험)
MP3D	각 환경에 대한 RGB 이미지, 시맨틱 맵, 정답 레이블(객체 위치)
HM3D	다양한 객체 포함, 시맨틱 맵, 정답 레이블(객체 위치)

 

Gibson dataset 예