指動作識別アルゴリズム作成に向けてNASの技術調査
Neural Architecture Searchの略
従来、人の勘、経験に依存していたDeep Learningのネットワーク設計を自動で探索するアルゴリズムの総称。
今回調査した論文は以下の通り
A comprehensive Suvey of Neural Architecture Search: Challenges and Solutions(2020.8)
従来のsurvey論文と異なり、ただ手法+精度を羅列するのではなく、NASの課題と解決策に焦点を当てたsurvey論文
「課題⇨解決策」の主題は4つ
- Global search space -> Modulra search space
- Discrete search strategy -> Continuous search strategy
- Search from scratch -> Neural architecture recycling
- Fully trained -> Incomplete training
NASには大きく分けて3つの調査領域がある
-
探索空間の決定
-
探索手法の決定
-
評価戦略の決定 ↑ここまでが従来のsurveyのまとめ方
-
最適化戦略の決定
- Reinforcement Learning
- Evolution Algorithm
- Gradient Optimization
- Random Search
- Sequential Model-based Optimization(SMBO)
- Modular search space
- Continuous search strategy
- Neural architecture recycling
- Incomplete training