모델 학습용 데이터셋 vs 벤치마크 데이터셋

결론 요약

• 모델 학습용 데이터셋: 모델을 새롭게 학습시키기 위한 다양한 센서, 레이블을 포함한 데이터셋
• 벤치마크 데이터셋: 기존 여러 모델들의 성능을 공정하게 평가하기 위한 표준 실험 환경을 제공하기 위한 데이터셋

 

네비게이션 task에서는 다음과 같이 해석 가능:

모델 학습용 데이터셋:

• 목적: 모델을 처음부터 학습시키기 위한 데이터셋,  로봇이나 AI 에이전트가 스스로 목표를 찾고, 경로를 탐색할 수 있도록 훈련
• 특징:
  • 다양한 센서 입력(RGB 이미지, LiDAR 등)과 정답 레이블(예: 목표 객체의 위치, 경로)을 제공, 이렇게 센서 데이터와 정답이 동기화(synced)되어 있어서 모델이 정확히 무엇을 해야 하는지 학습 가능.
  • 예를 들어, Object Goal Navigation 데이터셋이면, 목표 객체의 위치를 정확히 알아야 하므로, RGB 이미지와 정답 경로를 함께 제공하여 모델이 목표 객체를 찾는 경로를 학습 가능.
  • 데이터의 다양성(예: 다양한 환경, 다양한 출발 위치 등)과 정답 경로가 중요함. 모델이 어떤 환경에서든 잘 동작할 수 있도록 많은 variation을 포함한 데이터가 필요.

 

벤치마크 평가용 데이터셋:

• 목적: 이미 학습된 모델의 성능을 비교하거나 성능을 평가하기 위한 데이터셋
• 특징:
  • 고정된 시나리오와 표준화된 실험 환경을 제공, 여러 연구자가 동일한 조건에서 모델을 테스트하고 성능 비교 가능
  • 시뮬레이션 기반으로 제공되는 경우가 많음. 
  • 테스트 케이스가 다양하게 준비되어 있으며, 연구자는 기존 모델이 어떤 환경에서도 잘 동작하는지 성능을 평가 가능

 

차이점:

• 학습용 데이터셋은 모델이 처음부터 학습할 수 있도록, 센서 입력과 정답이 잘 정리된 대용량 데이터를 제공
• 반면 벤치마크 평가용 데이터셋은 이미 학습된 모델의 성능을 비교하고 성능 평가를 위한 표준화된 환경을 제공, 이 경우, 모델이 어떤 환경에서든 잘 동작하는지 비교할 수 있도록 고정된 환경에서 테스트가 이루어짐.

 

감사합니다.