커리큘럼 조정 관련 논의

[tjdtnsu]

스터디 기획 단계에서의 커리큘럼에는 LLM은 없었는데요, 모임 초기에 LLM 위주로 추가 커리큘럼을 구성해 보자고 제안했었습니다.
그러다 보니 NLP 위주로 구성되어 있다는 피드백을 받고 생각을 해 보니 맞는 것 같아요.

그래서 제 생각은 비전 쪽도 조금 섞어보는 게 좋을 것 같아요. 그래서 LLM/Diffusion 쪽을 컴팩트하게 구성해서 다 커버할 수 있으면 기존보다 도움이 더 될 것 같아요.
그래서 커리큘럼 중 일부 조정을 다음과 같이 제안드립니다. 순서는 제가 잘 맞추겠습니다.
특히 @namgyu-youn 님 피드백 많이 주세요.

AS IS: Lec12, Lec13, Lec14 (LLM 전반)
TO BE:

• Lec12, Lec13, Lec14-1, (LLM intro) Lec16, Lec18 (ViT, Diffusion)
• Lec11 제외 (CUDA)

논의되면 Week6 4/8부터 적용됩니다.

[namgyu-youn]

의견 들어주셔서 감사합니다. 제가 스터디에 합류하기 전에 들었던 생각은, 결국 경량화는 Vision/LLM 두 분야로 나뉠 것 같다고 생각했습니다. 두 분야 모두 워낙 무거운 모델을 다루니까요.

따라서 하나의 domain task에 맞춰서 모두가 따라가는 것은 어려울 것 같다고 생각했습니다. 그러면 모두가 함께해볼 수 있는 (도메인에 한정되지 않는) 범위는 어디까지일까? 생각해 봤을 떄, 기초 이론 (~11강)까지라고 생각했었습니다.

그래서 저는 11강까지 다함께 빠르게 학습하는 것을 목표로 하면 어떨까 생각했었습니다. (물론 Transformer 정말 중요하다는 것 이해하고, 그렇기 때문에 12강 앞부분 복습하는 것은 정말 좋은 결정이였다고 생각합니다.)

또한 가능하다면 주 1회 이상은 논문 세미나를 통해서, 11강까지 내용들과 관련된 논문들을 리뷰하는 자리가 많이 열리면 좋을 것 같다고 생각했습니다. 대신 리뷰할 논문 선택은 각자 도메인에 맞게 (더 자유도 높게) 해도 좋을 것 같습니다.

[tjdtnsu]

빠른 의견 감사드립니다! 다른 분들도 의견 주세요ㅎㅎ

[namgyu-youn]

저는 리스트업을 Pruning, Quantization 위주로 해볼 것 같습니다. 현재 리스트업한 목록은 아래와 같습니다.

• Revisiting pruning at initialization through the lens of ramanujan graph
• Pruning Self-Attentions Into Convolutional Layers in Single Path
  
• Global ViT Pruning With Hessian-Aware Saliency
  
• Structural Pruning for Dfiffusion models

[tjdtnsu]

일단 제 Note 남깁니다.
Lecture들은 대부분 intro로 이루어져 있어서, 넓고 얕게 아는 데는 큰 도움이 될 것 같습니다. 각 기술에서 어떤 부분들에 최적화되는지 알 수 있다는 점들이 있겠습니다. 다만 deep dive하지 못하는 점은 아쉽고요.
남규님이 제안해 주신 방법은 반대로 deep하게 알 수 있지만, 관심 분야가 아니면 어려운 내용이 될 수는 있겠네요.

장단점이 분명해서 양립하긴 쉽지 않을 것 같아, 방향성을 잘 정하는 게 좋을 것 같습니다.

[surisurikim]

논문 리뷰는 아쉽지만 프로젝트랑 병행하기는 어려울 것 같아서 저는 패스 하겠습니다 :)

[tjdtnsu]

넵 리뷰와 프로젝트는 택1로 하면 좋을 것 같네요.

[surisurikim]

요즘 LLM에서도 Diffusion이 핫해서, 디퓨전 공부 시작해보려던 참이라, 저는 수정 방향 좋습니다.
Lec 11 강의 같이 공부하고 싶은 주제였는데 제외되는 건 좀 아쉽긴 합니다 ㅠㅠ

[tjdtnsu]

의견 감사합니다! 기간을 한주 정도 늘리면 Lec11도 커버될 것 같은 느낌으로 추가 코멘트 남길게요~

[sw930718]

저는 비전쪽이라 ViT, Diffusion 쪽 다루는 것에는 긍정적이나, 해당 스터디가 최적화/경량화 스터디라는 점에 집중하면,
LLM 쪽이 아닌데 LLM에 시간을 쓰고, 비전쪽이 아닌데 Diffusion에 시간을 쓰는게 효과적인지에 대해 생각이 드는 것 같습니다.
( 물론 AI를 하는데 해당 분야들은 중요하고, 전반적으로 얇고 넓게 아는것은 필요하다고 생각하지만, 최적화/경량화를 이해하는데 필수적으로 선행되어야하는 요소가 아니라면, 지금은 최적화/경량화 학습이 더 우선되어야 할 것 같습니다. 특히 프로젝트 시작하고나서는 시간 투자가 더 어렵지 않을까 생각합니다 )

그래서, 제 의견은 최적화/경량화 강의와 프로젝트(or 논문 발표)에 우선하되, 각 강의에서 LLM이나 ViT, Diffusion 관련 지식이 필요한 부분이 있다면, 각자 추가로 공부하고 최적화/경량화 부분 진행과정에서 좀 더 자세히 이야기 나눠보는 정도면 괜찮지 않을까 합니다.

[Saebitna]

Diffusion-LM이 등장한 것 처럼 LLM과 Diffusion 모두 핵심 개념은 알면 좋다고 생각하고 개인적으로도 관심이 있습니다. 다같이 공부할만한 내용이 많은 만큼 우선 경량화 핵심파트 (lecture 1 ~ lecture 11)을 빠르게 끝내고 이어서 LLM과 비젼을 강의 순서대로 하거나 격주로 진행해보는 것도 좋을 것 같습니다.

[tjdtnsu]

넵 어느 정도 의견 확인했습니다.

1. 프로젝트를 우선으로 한다.
2. 핵심 파트는 모두 진행한다. (빠르게 할지는 결정 필요)

를 반영하여 앞으로 진행하도록 하겠습니다!

[surisurikim]

그럼 4월 1일 스터디는 4강 (pruning and sparsity part 2)만 진행 준비해도 될까요?

[tjdtnsu]

4/1은 원칙적으로는 그대로 진행하려고 해요 (post-training 포함). 당일 준비 상태에 따라 유동적으로 조절하겠습니다.