- 2019년 까지의 연구동향
Auto Iteration을 통해 하이퍼 파라미터를 최적화 하는 연구가 진행되어왔다.
하지만 최근에는 라벨되지 않는 데이터를 활용하는 방법, 데이터 증강에 대한 방식이 많이 연구되고 있음.
따라서 모델을 선택하는 부분과 데이터를 다루는 부분을 자동으로 하는 것을 메타러닝의 방식을 사용한다.
-Auto Data
라벨링을 하는 과정을 스스로 해주는 것이고, 라벨이 불분명한 경우는 스스로 사람에게 물어봐 라벨을 정정하는 과정입니다. 불분명한 라벨이란 다양한 것이 있다. cvat 이라는 기본 툴을 활용하여 auto data 를 수행할 수 있다.
-Auto Trainer
여러개의 모델들의 결과를 받아볼 수 있고, 이터레이션 반복을 거쳐 다양한 프리트레인 모델에서 성능이 안좋은 것은 배제하고 학습이 진행될 수 있도록 함.
-예시
Steel defect classification
철강 제품의 불량을 검출하는 부분
12000장 정도가 있고, 라벨링이 없다는 가정하에 100정도만 human이 라벨링을 진행하였을 때, 그때부터 auto trainer 와 auto data가 스스로 소통하며 학습을 진행함
학습 과정
오토 트레이너 (라벨된 데이터 100장) -> Auto data -> 오토 트레이너 (1.2k)
-try and error
기존에 어떠한 task에 문제를 해결하기 위해 딥러닝 모델을 사용할 때 성능을 평가하고 결과를 확인하고, 다시 하이퍼 파라미터를 조절하는 등의 방식으로 사람이 그 모든일을 진행했다. 하지만 메타러너를 통해 이러한 번거로움을 최소화 할 수 있고 본 과정을 자동으로 수행한다.
아예 모델이 없는 경우, 데이터에 라벨이 없는 경우등 다양한 경우에서 메타러너를 사용할 수 있다.
-메타러너의 장점
기존에 학습된 모델의 성능을 더욱 향상시키거나 error rate를 떨어지게 할 수 있다.
lightwight network를 사용할 수 있다.
그리고 타켓 도메인에대한 insights를 얻을 수 있다.
댓글