최근 모델 아키텍처를 자동으로 검색하고 최적화하는 방법인 Neural Architecture Search(NAS)는 image classification, object detection 등과 같은 다양한 computer vision task에서 좋은 성과를 내고 있다. 하지만, 이러한 task를 성공적으로 수행하기 위해서는 크고 다양한 데이터 세트가 필요하고 NAS는 target task에 맞게 신경망을 최적화하기 위해 상당한 컴퓨팅 리소스를 필요로 한다. 따라서 어떤 단일 task가 아닌, 다양한 task set에 NAS를 적용하는 데에는 어려움이 있다. 딥러닝 모델이 다양한 task set에서 새로운 task에 대해 빠르게 학습하는 것을 few-shot learning이라고 한다. Few-shot learning 방법론 중 task에 맞는 최적의 model parameter를 찾아가는 방식으로 경사 하강법을 사용하는 Model-Agnostic Meta-Learning(MAML)이 있다. 이에 NAS 방법론인 경사 하강법을 통해 최적의 구조를 찾는 Differentiable Architecture Search(DARTS)를 적용하여 인간과 마찬가지로 관련 task에 대한 경험을 바탕으로 새로운 task에 빠르게 적응할 수 있는 모델을 만들고자 하였다. 이번 세미나에서는 MAML 및 DARTS의 개념을 살펴보고 이를 합친 Meta-Learning of Neural Architectures for Few-Shot Learning에 대해 알아본다.

Presentation

발표자: 김지욱

References

[1] Chelsea Finn, Pieter Abbeel, Sergey Levine. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. ICML 2017.
[2] Hanxiao Liu, Karen Simonyan, Yiming Yang. (2018). DARTS: Differentiable Architecture Search. arXiv preprint arXiv:1806.09055.
[3] Thomas Elsken, Benedikt Staffler, Jan Hendrik Metzen, Frank Hutter. (2020). Meta-Learning of Neural Architectures for Few-Shot Learning. IEEE/CVF CVPR 2020.