프로젝트 제안

[tjdtnsu]

어떤 프로젝트를 하고 싶은지 생각한 것을 적어주세요.

부담없이 막 적어주세요 ㅎㅎ

예시: MIT 강의 프로젝트 리스트
예시 외 하고 싶은 것을 자유롭게 해도 됩니다.

[namgyu-youn]

Project : Sampling Optimization for Diffusion Model

Project Concept (예상 인원 : 3~4)

• Sampler는 diffusion model에서 이미지를 생성할 때, 이미지를 생성하는 로직에서 필요합니다. 즉, 어떤 sampling 기법을 선택할 지 (어떻게 최적화 할지) 에 따라서, 생성되는 이미지의 결과가 다양합니다.
• DeepRL, Bayesian 등의 의사결정 도구를 활용해 샘플링 과정을 최적화 합니다.
• 경량화 기법에서 꼭 찾아야 하는, Trade-off(Quality & Efficiency)를 체계적으로 접근합니다. (with MLflow)

예상되는 적용 기술들

• Model Optimization : Pruning, Quantization, Knowledge distillation, HPO(Hyper-Parameter Optimization)
• Decision Making : DeepRL(ex. PPO), botorch(bayesian), Airflow 등을 고려 중이고, 확실하게 정해진 내용이 아닙니다.

Evaluation Metrics

• 계산 효율성 : MACs 감소율 (기본 모델 대비 %), 평균 샘플링 단계 수, 이미지 생성 시간(초 단위)
• 이미지 품질 : FID (Fréchet Inception Distance), CLIP score (콘텐츠 일치도)
• 모델 효율성 : Model size(MB), Memory-efficiency, 처리량(images/sec)

-> 이를 복합적으로 고려하여, Trade-off를 구현하는 역할을 맡아주실 분이 필요합니다.

Framework

• Core : PyTorch, Hugging Face diffusers, MLflow/WandB
• Workflow : Airflow, WandB, MLflow/BentoML
• Deployment & CI/CD : Docker, Poetry, Ruff
• Web UI : Gradio

-> Model versioning을 위해서, MLflow/BentoML pipeline을 구축해주실 분이 필요합니다.

See also

• pytorch - botorch : Pytorch에서 제작한, bayesian optimization library 입니다. 샘플링 및 다목적 최적화를 지원하기 때문에, 이번 프로젝트에 필요할 것이라고 생각합니다.
• HuggingFace - diffusers : HuggingFace에서 제작했으며, 이번 프로젝트에 사용할 diffusion model에 필요한 라이브러리 입니다.

[tjdtnsu]

On-device End-to-End OCR

목표: 신분증 등의 문서를 대상으로 한 On-Device End-to-End OCR 모델을 개발하고자 함

Text Detection & Recognition 모델 개발

• TrOCR 및 최신 OCR 모델을 참고하여, 신분증 등에서 텍스트를 검출하고 인식하는 End-to-End 모델을 설계
• Scene Text Recognition 및 ID 문서 OCR 특화 아키텍처를 활용

Edge Device 최적화 (On-Device Inference)

• Android/iOS 디바이스에서 실시간 추론이 가능하도록 Quantization (INT8, FP16), pruning, knowledge distillation을 수행함
• TensorFlow Lite(TFLite), CoreML 등을 활용하여 경량화된 모델을 배포함

모델 성능 개선 및 데이터 수집

OCR 성능 이슈를 분석하고, 데이터 수집 전략을 체계적으로 수립하여 모델을 지속적으로 개선함
학습 데이터 정제 및 증강(Augmentation)을 통해 다양한 입력 조건에서의 OCR 성능을 향상시킴

---

참고한 토스 JD

복붙 내용

토스 소속 정규직 합류하게 될 팀에 대해 알려드려요

ML Engineer (OCR)은 ML 플랫폼 팀에 속하여, DS와 MLOps Engineer와 함께 일해요.
ML 기술을 통해서 토스팀의 문제를 해결하고, ML을 기반으로한 서비스와 제품을 토스팀에 제공해요. 새로운 제품을 탐색하고 발굴하는 작업부터, 데이터 파이프라인, ML 모델링 및 서빙과 모니터링까지 유기적으로 커버하고 있어요.
팀에서는 개인화 추천, 검색, 광고 최적화, 생성형 AI를 활용한 어플리케이션 개발, ML 전체 파이프라인의 효율성을 위한 플랫폼 개발, MLOps 인프라 구축 등의 업무를 진행하고 있어요.
토스 데이터 조직에 대해 더 알아보고 싶다면? → 토스 Data Division 위키
합류하면 함께 할 업무에요

Text Detection / Text Recognition 관련 End to End OCR 모델을 개발해요.
eKYC 관련 인입 이미지 품질 판별과 ID Card 진위 여부 판단 모델도 개발해요.
OCR 문제를 정의하고 데이터 수집 전략을 체계적으로 수립하고 데이터를 수집해요.
Edge Device Target으로 Quantization을 수행해요.
Android / iOS Device 와 Sever Side 모델 서빙을 지원해요.
OCR 성능 이슈에 대한 근거를 파악하고 고도화 전략을 반영해 성능을 올려요.
이런 분과 함께하고 싶어요

OCR 관련 현업 서비스 경험이 있는 분이면 좋아요.
비대면 본인확인 기술(eKYC)에 대한 경험이 있으면 더욱 좋아요.
Quantization 역량과 Edge Device 서비스 경험이 있는 분이면 좋아요.
Vision 관련 이해도가 높고 Neural Network 구조(Loss Function 포함)를 유연하게 변경할 수 있으면 좋아요.
커뮤니케이션이 명확하고 유연하게 피드백을 반영하는 분이면 좋아요.
이런 경험이 있으면 좋아요.

오프라인 또는 모바일 기기에서 Vision 기술을 최적화 경험이 있으면 좋아요.
문제해결을 위한 모델을 Deep Dive하여 목표한 성능을 달성해본 경험이 있으면 좋아요.
문제 해결을 위해 원천 데이터 정제, 머신러닝 모델 개발한 경험이 있으면 좋아요.
개발된 모델을 서비스에 반영하고 실데이터 기반 모델의 이슈를 파악하고 개선 경험한 있으면 더 좋아요.
이력서는 이렇게 작성하시는 걸 추천해요

임팩트 있었던 업무 또는 프로젝트의 결과에 대해 구체적으로 작성해 주세요.
ML 모델을 개발하면서 겪은 문제와 그 문제를 어떻게 해결하였는지 구체적으로 작성해 주세요.
기술적으로 외부 공개가 민감한 사항일 경우, 해당 부분은 제외해 주세요.
토스로의 합류여정

서류 접수 > 1차 직무 인터뷰 (코딩) > 2차 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우협의 > 최종합격 및 입사

1차 직무 인터뷰에서는 간단한 코딩 테스트, 이력 체크, ML 기초지식 테스트가 진행될 예정이에요.
2차 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.
함께할 동료를 위한 한마디

"한국에서 새로운 결제수단을 만드는 일에 가슴이 뛰는 분이라면 함께 하고싶습니다."

ML 기술로 고객을 직접 만날 수 있는 제품을 함께 만들어갈 동료 분을 기다리고 있어요.
Vision 기술 뿐만 아니라 제품과 관련된 다양하고 도전적인 문제를 함께 풀어가고 싶어요!.

[tjdtnsu]

MAI 2025 아무거나 해보기

[hoodong]

3/15토
물리정보신경망에 양자화 적용해보기
1단계: 컴퓨터 시뮬레이션에서 얻은 초음파 혈류영상
2단계: 팬텀실험에서 얻은 초음파 혈류 영상
3단계: 경동맥 초음파 혈류 영상

1,2단계는 직선관에서 실험 (추후 분기관으로 확장)
지배방정식은 1차원 나비에-스토크 방정식 (변수가 r)

계속 업데이트 할 것!

[surisurikim]

1. 하나의 서비스나 어플리케이션 프로토타입 등이 완성되는 프로젝트보다는, 강의에서 이론적으로 배웠던 기술을 실제 모델에 적용하여 직접 경량화를 구현해 보고, 전후 성능을 비교하여 결과물을 정리하는 프로젝트를 해 보고 싶습니다. 거창하지는 않지만 저에게 큰 도움이 될 것으로 생각합니다.
2. 평소 LLM 위주로 일을 해서 일단은 SLM을 생각하고 있습니다. (비전쪽 모델은 커리어 상 크게 관심이 없어서 아직은 고려하지 않고 있습니다.)
3. 회사 자원을 빌려볼 수도 있을 것 같습니다. (이 경우 개인 프로젝트가 되겠습니다.)

[Saebitna]

목표:

• 강의에서 소개하는 경량화 기법들을 실제 모델에 적용했을 때 (1) 모델 성능 (2) 처리속도 (3) 연산량 (4) 메모리 사용량 등을 기존 모델과 비교 분석하기 (lecture 3의 예시들처럼)
• 데이터셋은 정형, 텍스트 데이터, 정형 + 텍스트 데이터 등 다양한 형태를 적용
• 저자원의 제한된 환경들을 가정하고 각 테스크 별 실험을 진행해서 어떤 환경에 어떤 경량화 기법이 좋은지 비교실험

우선 1단계로 대표적인 모델들과 데이터셋을 선정하고 기본 모델 학습 진행. 이후 실험 환경 시나리오를 구축할 것.

[sw930718]

진행해보고자 하는 프로젝트 :

• 모델 Task별(Image Classification, Detection, Segmentation, OCR, Image Captioning 등)
• 아키텍쳐 특성별
• 적용 기법별(Pruning(다양한 방식들), Quantization,
  Knowledge Distillation 등) 및 혼합 적용

위 조건별 성능 비교를 해보고, 왜 이런 결과가 나왔는지에 대해 논의하며, 이후 경량화를 현업 프로젝트에 적용시 이해하며 다양한 기법들을 적용해 볼 수 있도록 하고자 합니다.

[surisurikim]

기술을 실제 적용해서 결과를 정리하는 정도로 프로젝트 산출물을 만들고 싶으신 분들이 꽤 계신것 같아서, 마음 맞는 분들끼리 모여서, 각자 원하는 기술 1가지(시간이 되시는 분은 n가지)와 모델 분야를 정하고, 하나의 레포에 같이 정리하면 어떨지 제안해 봅니다 :) 각자 스케줄에 맞게 프로젝트를 개인적으로 진행하되 + 결과물은 모아서 함께 팀으로 볼 수 있지 않을까? + 100% 혼자 하는 것보다는 다른분들의 진행상황을 참고해서 조금 더 도움 받을 수 있지 않을까? 싶어요. 모델 분야가 다르면 어려울수도 있을까요?

[namgyu-youn]

좋은 의견 같습니다. EfficientML repository에서 통합해서 소스코드를 관리하면, 서로 참고하기도 좋아서 도움을 받을 수 있을 것이라고 생각합니다.

[tjdtnsu]

개인 프로젝트/논문 리뷰로 하고자 하시는 분은 개인적으로 진행하고자 하고, 나머지 분들은 분야에 따라 나눠보는 방식으로 생각하고 있어요.
개인으로 진행하고자 하시는 분은 윤남규, 박동찬 님
그 외 팀으로 나눈다면 NLP(김슬, 오새빛나) CV(박성수, 이정수) 크게 두 조로 나눌 수 있을 듯 합니다.
초기로 이렇게 나누어보았는데 코멘트 있으시면 부탁드립니다!

[tjdtnsu]

@sw930718 @hoodong @Saebitna 의견 있으시면 써주시고, 없으시면 확인 코멘트 써주세요~
코멘트 되면 @surisurikim 님은 3/28일까지 정해주시면 될 것 같습니다

[tjdtnsu]

비전 쪽은 OCR problem 쪽에서 모델과 데이터셋을 선정하고 quantization, pruning 등 적용해보는 실험해볼까 생각하고 있습니다.

[sw930718]

네 저는 팀 진행도 좋고, NLP/CV로 나눠서 진행하는것과, 위에 @surisurikim 님이 말씀하신것처럼 레포로 정리하는것 너무 좋습니다.

[Saebitna]

저도 레포로 정리하는 의견에 적극 찬성입니다. 우선 저는 LLM 쪽으로 생각하고 있습니다. 프로젝트 범위는 (1) 대표적인 llm 모델 + task 분야에 경량화 기법들을 적용할 경우 얼마나 효과가 있는가에 대한 분석 (2) 관련 논문 분석 + 과제 (그러고 보니 강의 lab이 있었군요!) 이렇게 진행할 예정입니다. 상황에 따라 (1)번 영역이 작아질 수 있습니다.

[surisurikim]

프로젝트 개인으로 진행하고, 틈틈이 같이 공유하면서 쉐어하는 방향 것이 좋을 것 같습니다 :)