[5/6] Neural Architecture Search (Part II)

[tjdtnsu]

.

[hoodong]

4/29 30분, 1-16쪽
Accuracy estimation strategy

• 지난주에는 NAS를 위한 검색공간과 검색전략이었고, 이번주는 선택된 구조의 성능을 어떻게 측정할 것인가? 성능이 안 좋으면 다시 검색해야 함
• 처음부터 학습한다면 계산량이 너무 많음 (구조선택->학습->성능평가->구조선택->...)
• 처음부터 학습하지 말고 부모 모델(?)에서 파라미터(weight) 상속 받기: 네트워크가 넓어짐(Net2Wider), 네트워크가 깊어짐(Net2Deeper)
  모델 구조를 직접 생성하지 않고 network transformation을 이용(?)

• 하이퍼네트워크는 무슨 말인지 모르겠음!

Hardware-aware NAS

• 모든 하드웨어에서 동작하는 일반적인 모델보다는 하드웨어에 최적화된 모델이 더 효율적임 (즉 NAS에서 타겟 하드웨어도 고려해야 함)
• proxy task: NAS에서 긴 훈련을 대신할 짦고 간단한 대리 작업: 작은 데이터셋, 짧은 에포크, 모델 크기 제한 등

• Hardware-aware NAS와 proxy task의 연관성을 모르겠음 (아직 의미 연결이 안됨)

[sp-v6x]

• scratch부터 모든 경우의 수를 학습하는 것은 사실상 불가능함 -> 여러 방법 사용해볼 수 있음
• Net2Wider, Net2Deeper: weight를 나누든, identity mapping을 하든가 해서 모델을 더 크게 만듦
• HyperNetwork: 각 training step마다 모델 구조 생성, 임베딩 생성해서 backprop함.
• proxy task: CIFAR-10, small architecture, few epoch training 등 작은 task로 만들어 훈련
• ProxylessNAS: 모든 path를 포함한 overparamerized network를 만들고 simplify함 (pruning)
• MACs가 실제 hardware의 latency를 반영하는 것은 아님. 그런데 기기마다 측정하기엔 그러니, latency predict할 수 있음. CPU/GPU 모델 비교하면 확연히 차이남을 확인할 수 있음
• 어쨌든 모델 학습하고 post-search하기에는 너무 비싸니, once-for-all network를 학습하고, sub-network 선택해서 accuracy와 latency 영향 없게 선택하는 방법 있음. 그러면 CPU/GPU/TPU 할거없이 그냥 학습만 잘 시키고, search만 잘 하면 됨
• prune하는 방법 여러 가지: kernel size 점진적 줄이기, layer 개수 줄이기, 채널 수 줄이기 있음.
• ZenNAS: small perturbation으로 모델 돌렸을 때 좋은 모델은 입력 변화에 민감해야 한다고 함
• GradSign: 좋은 모델은 local minima가 denser하니 각 샘플에 대한 gradient sign은 같아야 할 것임
• NAAS: accelerator architecture도 고려하는 것. 이는 buffer size, PEs, connectivity 또한 고려됨
• design space에서 loop tiling, loop order 등도 고려되는 것.