프로젝트 - 새빛나

[Saebitna]

목적: 실제 모델에 EfficientML 경량화 기법들을 적용/분석

1. 모델 후보

• 상용 모델 중 구조가 공개되어 있고 커스터마이징이 가능한 모델
• Google Colab 유료 서비스에서 사용이 가능한 크기의 모델
• BERT-base, GPT2-small, Qwen, TinyLaMA 등

2. Tasks 후보

• 추천
• NER (Named Entity Recognition)

3. 경량화 기법 (지속적 업데이트 예정)

• QRoLA
• GPTQ
• TensorRT

[Saebitna]

프로젝트 1주차

추천 모델을 경량화해보자

- Task: 추천
- Dataset: Microsoft MIND-small dataset
- Model : Two-tower transformer encoder model 

이번주 목표

- baseline model 생성하기 
- 경량화 기법을 적용 여부에 따른 성능 측정 지표 선정, 코드 구현하기