[4/1] Pruning and Sparsity (Part II)

[tjdtnsu]

• pruning 패턴 결정
• pruning 기준 결정
• 얼마나 pruning할지 결정해야 함
• pruning된 네트워크 파인 튜닝

[hoodong]

3/27목 1시간 1~29쪽

• 앞 부분은 이전 내용의 복습
• 강화학습 나오면서 흥미진진 ㅋ
• 119쪽까지 언제 다보나 ㅠ

3/31월 2시간 30~119쪽

• 그럭저럭 볼만 했음
• 하드웨어 구조 부분은 어려웠음 (컴퓨터 구조를 알아야 함)
• 마지막 TorchSparse는 시간이 없어 대충 봤음 ㅎ

[tjdtnsu]

• pruning ratio를 uniform하게 적용하면 비효율적임. 대신 channel마다 ratio를 다르게 해야 하는 것
• 이를 위해 sensitivity analysis를 할 수 있음. layer마다 ratio 적용하는 것임
• 각 layer마다 prune weight를 설정 후, accuracy를 계산함.
• layer마다 그런 sensitivity는 다름. 모든 레이어에 대해 반복함.
• automatic pruning하면 직접 하는것보다 좋음. AMC가 한 방법임
• AMC는 강화학습 기반 방법임. -error를 reward로 잡는데, error가 0에 가까울수록 좋은 것.
• NetAdapt는 각 레이어마다 특정 ratio를 prune하고 10k fine-tune함. acc가 가장 좋은 것을 선정하고 이를 반복함
• iterative pruning and fine tuning이 좋음.
• L1/L2 regularization 할 수 있는데, 특정 좋은 건 없고 실험해봐야 함
• EIE: 0 * A = 0, W * 0 = 0 이용한거고, effective함. fine-grained sparsity를 다룸. FC layer only. LLM에서 W4A16 한다는데 요즘 LLM에서 쓰기도 함
• Nvidia Tensor Core M:N weight sparsity: 2:4 씀. 연산 잘 하는듯.
• TorchSparse & PointAcc: Activation sparsity. activation 쪽을 줄이는듯. input weight 있는 부분만 연산함. sparse convolution 말 나오는듯
• PointAcc: sparse convolution을 merge sort 사용해서 잘 하는듯.

[namgyu-youn]

일단 지난 주 강의에서 계속해서 궁금했던 점은 두 가지였습니다. :

• Channel-level로 user가 계속해서 weight를 뽑아내는 것은 매우 비용이 높다. Iteration 기반의 AutoML이 있지 않을까? Trade-off/pruning-ratio는 어떻게 구현할까?
• Neural Network은 다양한 module (layer)의 결합인데, 하나의 module 안에서 low-importance라고 단정지을 수 있는가? 즉, 다양한 module의 dependency를 고려해야하는 것 아닌가?

두 번째 질문 대답은 개인적으로 논문 (DepGraph) 리뷰하면서 얻을 수 있습니다. 전체 schema를 고려해 의존성을 설계해 uniformed protocool을 설계할 수 있다는 점이 핵심입니다. 그런데 DepGraph를 리뷰한 뒤에 강의를 들으니, 전체 schema를 고려하는 연구는 전혀 소개되지 않고, model-specific theory들만 소개하는 느낌이여서 개인적으로 아쉬웠습니다.

다만 첫 번째 질문 대답은 많은 iteration이 요구되는 분야들이 그렇듯이, 강화학습 기반의 pruning (training/fine-tuning)을 통해서 얻을 수 있었습니다. 다만 AMC는 전체 schema를 고려하지 않는데, 후속 연구가 분명 있겠지..? 하는 의문이 들었습니다.

강의 중 QA - Slide 33
Q. Density of Conv1D is higher than Conv3D, why?
A. Conv1D는 입력이 그대로 출력으로 매핑된다 -> 덧셈 연산만으로 표현 가능 (Conv3D는 multiply 필요)

---

그 다음으로 넘어가면, 신경망 아니랄까봐 Sparsity가 나옵니다. 2강에서 Activation이 bottleneck 주요 원인이라고 언급했듯이 자주 등장하며, fine-grained matrix로 변환하는 연구를 위주로 강의가 진행됩니다.

특히 교수님의 자부심이 담긴 EIE가 나오는데, (v, z, p) query를 만드는 과정을 손으로 쓰면서 해보니까 Attention value가 생각나고, 신선해서 꽤 재밌었습니다. (쿼리 최고...) (See also : Slide 7~18)

3D-segmentation 덕분에 반가웠던 TorchSparse도 꽤 흥미로웠습니다. Real-world (3D point cloud)가 Bird view (2D)보다 Sparse ConV에 의존한다는 점을 지적하는 논문인데요, PointNet이 생각나서 재밌었던 것 같습니다.

TorchSparse, EIE의 내부 로직에 대한 이해가 아직 부족한 것 같아서, 과제를 해봐야할 것 같습니다.

[Saebitna]

Section 1: Pruning Ratio

• AMC: 강화학습 기반 layer 별 최적의 pruning ratio를 구합니다. 단, ratio 값을 구하되, layer 별로 어떤 channel을 pruning할지는 AMC가 정하지 않습니다. ChatGPT에 어떤 채널을 제거할지도 모델이 결정하는 연구가 있는지 물어보니 관련 연구를 알려줬는데 아직 확인은 해보지 않았습니다.

1. MetaPruning (ECCV 2020) : 각 채널의 중요도를 메타 네트워크가 학습. pruning policy도 네트워크가 생성
2. HRank (CVPR 2020) : 채널의 feature activation rank를 사용하여 학습 기반 pruning
3. AutoPruner, AutoSlim, MorphNet: pruning 또는 channel/width search 자체를 RL or NAS로 통합

• (33p) 그래프에서 Stage1 ~ Stage 4가 정확히 어떤 의미를 말하는지 궁금합니다. ResNet-50의 스테이지는 아닌 것 같은데 AMC를 스테이지 별로 진행했다는 의미인지 궁금하네요
• NetAdapt : Lookup table 기반 short-term fine-tuning을 통해 레이어 별 pruning ratio를 산출하고 최종적으로 long-term fine-tuning을 통해 모델 성능을 복구합니다.

Section 2: Fine-tuning / training

• Iterative Pruning을 통해 purning 효과를 더 올릴 수 있습니다.

System Support for Sparsity

• 개인적으로 가장 어려웠던 부분입니다.
• ELE : 실제 하드웨어 시스템에서 어떻게 pruning 이론들을 적용하는지에 대한 내용입니다. (1) Sparse Weight (0인 weight은 삭제함으로서 계산량도 줄이고 메모리 효율화도 가능) (2) Sparse Activation (ReLU 같은 activation function 이후 0인 값을 제거해서 계산량 감소) (3) Weight Sharing (비슷한 weight은 공통으로 사용해서 메모리 확보)
• (62p) physically 표가 왜 저렇게 구성되는지 이야기해보고 싶습니다.
• (68p) Architecture는 흐름만 파악했고 구체적으로는 잘 모르겠습니다.