[4/15] Quantization (Part II)

[tjdtnsu]

.

[surisurikim]

Post-Training Quantization (PTQ)

[1] Quantization granularity

“양자화를 얼마나 세밀하게 할 것인가?“

• Per-Tensor: 하나의 스케일로 전체 tensor를 커버 / 계산 및 저장이 단순하고 빠름 / 정확도 손실
• Per-Channel: 채널마다 다르게 스케일 적용 / 더 정확하고 정밀, 적은 오차 / 계산 복잡
• Group / Vector: 블록별로 → 최신 하드웨어와 궁합 좋음
  • VS-Qaunt : Hierarchical (계층적) Scaling Factor
    • 하나의 텐서 전체에 적용되는 Coarse-grained floating-point scaling factor (예: FP16, 32비트 float), 각 벡터마다 적용되는 integer scale factor (예: INT4, INT8)가 따로 존재. 즉 per-vector로 세밀하게 정수 스케일을 조절하고, 전체적으로는 하나의 고정밀도 스케일 사용
    • 적당한 오버헤드와 높은 정확도, 높은 연산 효율
• Micro-Exponent (MX): Mantissa는 개별 weight마다 갖고, exponent는 여러 weight가 공유

[2] Dynamic Range Clipping

• 지금까지는 weight quantization만 얘기했지만, 중간 결과로 생성되는 activation 값들 역시 메모리 사용량을 줄이거나 연산 속도를 높이기 위해 정수형으로 변환해서 처리할 수 있다.
  • weight와는 다르게 activation은 입력에 따라 값의 범위가 크게 달라질 수 있으므로
  • quantization을 적용하려면 이 activation 값들이 가질 수 있는 최소/최대값 범위(r_min, r_max)를 미리 파악해서 scaling factor S를 계산해줘야 함.
  • Calibration 세트 (Calibration Set) : **Post-Training Quantization (PTQ)**에서 정수 양자화를 하기 위해 필요한 작은 입력 데이터 샘플 모음 (모델을 실제로 학습시키는 게 아니라, 단지 activation의 범위를 추정하기 위해 사용하는 용도)
    • 모델을 직접 훈련한 게 아닌 경우 “Calibration Batches”, 즉 몇 개의 입력 데이터를 모델에 넣어보고, 그때 나오는 activation 값을 분석해서 통계를 낸 다음, 그 통계를 바탕으로 r_min, r_max 값을 정하고 → S, Z 를 계산해서 quantization을 할 수 있음.
    • 양자화 범위 설정에 딜레마 존재 / Outlier를 무시하고, 좀 더 안쪽 범위까지만 양자화에 사용하면 좋음. 이 때 클리핑 범위는 단순히 대충 정하지 않고, 수학적으로 최적화된 범위를 구함.

[3] Rounding

• round-to-nearest? X -> **가중치들은 서로 상관관계(correlation)**가 있기 때문에 양자화를 위해 그냥 반올림하는 방법은 전체 텐서 관점에서는 최적이 아님
  • 따라서 그 반올림 결과로, 원래 모델의 activation 출력을 가장 잘 재현(reconstruct)하는 것이 핵심이며, 반올림을 각 weight별로 하지 않고, 전체 weight tensor 기준으로 global하게 최적화해야 함 -> AdaRound
• AdaRound (Adaptive Rounding)
  • AdaRound는 각 weight를 따로 보지 않고, weight 전체가 만드는 출력(Wx)을 기준으로 최적으로 round-up 또는 round-down할지 학습하는 방식
  • V라는 학습 가능한 latent variable을 도입, V → h(V)를 통해 0~1 사이의 보정값을 만들고, 이 값을 통해 round-up할지, round-down할지를 학습 기반으로 결정함. 이때 h(V)가 애매한 중간값(0.4, 0.6 등)을 가지면 안 좋을 수 있으므로, 0이나 1로 되도록 강제하는 규제 항 f_reg(V)을 걸어줌.

Quantization-Aware Training (QAT)

• QAT는 학습 과정에서 양자화를 모사(simulate)하여 정확도 손실을 줄이는 방법
• 학습 중에는 full-precision 가중치를 유지하면서, 양자화된 값(Q(W), Q(Y))을 사용해 양자화 환경을 시뮬레이션 -> 학습이 끝난 후에는 full-precision 가중치는 버리고, 실제 양자화된 값만을 사용해 추론을 수행

STE

• 양자화 함수는 비미분 함수(non-differentiable)인데, How should gradients back-propagate through the (simulated) quantization? -> STE는 양자화 연산을 identity function(항등함수)처럼 취급
• 즉, 실제 학습 중에는 양자화 노드에서 gradient가 끊기게 되는데, STE는 이 노드를 그냥 통과시켜 버림으로써 학습이 계속 가능하게 만드는 것.

Binary/Ternary Quantization

[1] Binary (+1 or -1)

• 곱셈 없이 + 또는 -만으로 계산 가능, 연산 간소화
• 저장도 1비트만 사용하므로 메모리 사용량 32배 절감
• Deterministic Binarization 단순히 부호 sign을 기준으로 이진화 -> 간단하지만, 학습 성능이 떨어질 수 있음
• Stochastic Binarization 확률적으로 이진화 -> 확률을 샘플링하려면 하드웨어적으로 random bit 생성 기능 필요 → 구현 복잡도 증가
• BWN : binary 양자화된 값에 스케일링 계수를 곱해줌으로써 정확도 손실을 보정할 수 있음
• 가중치(W)와 활성값(X)가 모두 이진화(+1/-1)되었을 때 -> Binary quantization된 결과를 XNOR로 dot product처럼 계산하면, 곱셈 없이도 빠르고 정확하게 연산 가능 (FLOPS -> Bitwise)
  • XNOR -> binary 값이 같으면 1, 다르면 0을 출력 -> XNOR 계산을 위해 +1은 1으로 -1은 0 으로 변환

[2] Ternary: +1, 0, -1

• TWN은 weight를 +rₜ, 0, -rₜ 세 값으로 양자화하여 연산 효율을 높이되, 고정된 scale을 사용하므로 정확도에 한계가 있음
• TTQ는 양수와 음수에 대해 각각 학습 가능한 scale w_p, w_n을 도입해, 양자화된 weight도 학습 가능하게 만들어 정확도를 더욱 향상시킴
• 모든 것은 tradeoff.. 요즘은 이렇게까지는 안하고 거의 4bit로 정착한 것으로 보임

Mixed-Precision Quantization

• 레이어마다 민감도(sensitivity)가 다르므로, Mixed-Precision Quantization을 적용해 레이어별로 서로 다른 비트 수를 할당할 수 있음.

[hoodong]

4/13 30분, Part 1 동영상 시청

• 다양한 양자화 granularity가 소개됨
• tensor와 channel 양자화는 쉬움
• group 양자화에서 2-level 스케일링은 이해되지만 MX 양자화는 잘 모르겠음
• 동영상 강의는 이해가 잘 되는듯 느껴지지만(?) 수동적이 되고 집중도가 떨어지는 단점이 있음

4/15 1시간, 나머지 동영상 시청

• Part 2,3는 들을만 했음: activation의 dynamic range 결정방법과 가중치의 adaptive rounding
• p40: "가중치들의 상관관계 때문에 nearest rounding이 최적이 아니다 -> 왜 그런지 잘 모르겠음
• p42: 수식에서 확률변수 V가 이해 안됨 -> 왜 쓰는지? 최적화 식에서 어떻게 사용되는지?
• p44: 표가 설명 안됨 -> asymmetric은 z가 0이 아닌 거?
• 작은 모델들은 양자화 후에 정확도가 떨어짐 > 학습과정에서 양자화를 고려하자 > 기존 모델을 fine tuning (처음부터 학습하지 말 것)
• fine tuning할 때 gradient 처리 (그냥 두면 0임) > STE
• p53: 전체 과정을 제대로 이해했는지 모르겠음! forward/backward에서 차이점?
• 이후는 binat/ternary 양자화: weight와 activation 모두 2/3 레벨로 양자화
• p65: 오른쪽 binary 양자화에서 수식 모르곘음: 1이 1*2-4=-2 가 되는 이유?
• 레이어 마다 다른 정밀도(가중치/활성값 비트폭)를 사용 > 결정할게 너무 많음 > 자동화: Hardware-Aware Automated Quantization (HAQ) ?
• 질문만 가득! 진행자 아니라 마음 편함 ㅋ

[Saebitna]

1) Post-Training Quantization
1-1) Linear quantization on Weight : scale parameter를 어떻게 정의하고 구할까?

• 모델 학습이 끝나고 나서 weight 또는 activation 양자화를 진행함. QAT 보다 계산이 간단하지만 정확도 손실 가능 (특히 bit가 작은 모델에서!)
• Per-Tensor Quantization : 하나의 Tensor (Weight matrix)에 하나의 scale factor 사용
• Per-Channel Quantization : 채널 별 scale factor 사용
• Group Quantization: (1) VSQ (global scale factor 와 per-vector scale factor 사용) (2) MX (multi-level scale factors 사용)

1-2) Linear quantization on Activation

• Activation의 범위는 인풋의 영향을 받는다 -> activation statistics를 모델에 양자화를 적용하기 전에 미리 구한다
• Exponential moving averages (EMA) : 현재와 과거 range 반영 정도는 alpha로 조정
• Calibration (batch) : (1) MSE (2) KL divergence (3) MSE using NR method 기반으로 clipping할 범위를 정함

1-3) Adaptive rounding

• 반올림이 아니라 reconstruction error를 최소화하는 rounding 을 찾는다

2) Quantization-Aware Training

• 모델을 학습하는 과정에서 quantization을 적용 -> PTQ 대비 복작하고 계산량이 많지만 정확도 유지 가능
• Simulated/Fake Quantization: Forward 계산에서 실제 연산은 float이지만 weight과 activation이 양자화된 값인 것처럼 학습함 (모델이 양자화에 강건하도록 학습함)
• STE : backward 계산에서 양자화된 값은 기울기 계산을 할 수 없음 (gradient= 0). 그래서 양자화에서 round()를 identity 처럼 취급해서 update가 가능하게 함

3) Binary/Ternary Quantization

• 양자화할 때 binary weight (-1, 1) 또는 ternary weight (-1, 0 , 1)을 사용함. XNOR 기반 양자화로 곱셈 계산도 대체할 수 있음

4) Mixed-Precision Quantization

• 레이어 마다 다른 bit-width를 사용하자

[tjdtnsu]

생각보단 어렵지는 않았음

• Quantization granularity: quantization을 어떤 단위로 할건가? 채널당 값 차이 크대. 그래서 oc 축에 대해서도 할 수 있음. 각 채널 내에서도 group 단위로 둘 수도 있음. VSQ의 경우 그룹당 int4로 두고 per-channel float로 두는 방식으로 하면 그렇게 bit width가 크게 늘지는 않음
• Dynamic range: statics 기반으로 해볼 수 있음. MSE 최소화하는 r 두기, information 최소화하는 r 두기
• rounding: nearest rounding은 optimal하지 않으니, stochastic하게 해보기
• QAT: weight는 fp 상태, weight quantization으로 int 형태로 두기. activation 또한 마찬가지. 그런데 이 연산은 gradient가 흐르지 않으니, 이를 무시하고 바로 전달하는 걸로
• binary/ternary quantization: binary는 1비트. weight가 1비트이고 input은 실수임. BC는 delta가 매우 낮아지니 weight를 주는 BWN 방식 쓰면 될듯.
• activation과 weight가 모두 binarized되면 xnor 연산으로 대체.
• 1비트로 부족하면 TWN으로 3개 값으로 두기 가능.

[sw930718]

4/13 PART I 재정리 + PART II 내용 이해

4/15 PART II 정리

1. Quantization Granularity
   • Per-Tensor Quantization
     • 이전과 동일, 하나의 Scale을 사용하는 Linear Quantization
     • 특징 : large model에 대해 성능 괜찮, 작은 모델은 성능 급격히 하락, channel 별로 weight 범주가 넓은 경우 & outlier weight가 있는 경우에 성능 하락
   • Per-Channel Quantization
     • 위 한계점에 대한 해결방안, Channel 마다 최대값과 Scale을 따로 가짐
     • 특징 : Per-Channel이 기존 방식보다 floating point weight 차이가 더 적음
       하드웨어에서 Per-Channel Quantization을 지원하지 않는다면 불필요한 연산 진행
   • Group Quantization
     • Per-vector Quantization(VSQ)와 Shared Micro-exponent(MX) data type
       • Scale factor를 그룹별로 하나, Per-Tensor로 하나로 총 두개를 두는 방법
       • Memory Overhead 지표 : “Effective Bit Width” (≒ Element당 Scale bit)
         (Microsoft에서 제공하는 Quantization Approach MX4, MX6, MX9과 연관)
     • 표 : (비교군) Per-Channel Quantization vs. VSQ vs. MX4/6/9
2. Dynamic Range Clipping
   • Type 1 : During Training
     • 모든 epoch의 batch마다 r_min과 r_max를 관찰하여 smoothing 기법으로 range를 선정.
     • batch별 min max를 구하고 mean을 구함.
     • activation의 분포를 관찰하고 centroid와 가쪽의 적절한 위치를 clip해야함.
       • 너무 가쪽을 clip하면 sparsity가 커지고 small 분포를 보존하기 위해 wasting the centroid
       • 너무 centroid를 clip하면 quantization error가 너무 커짐.
   • Type 2 : Trained model에서 batch samples를 calibration
     • Activation이 gaussian이나 laplace분포를 따른다고 전제하고 closed form을 분석함. 그리고 휴리스틱하게 clipping을 정하고 sparsity와 centroid의 tradeoff를 관찰함.
     • KL Divergence를 최소화하는 방향으로, cliping하여 정보의 손실을 최소화함.
     • 적은 분포들이 다 clip되면서 activation들이 많은 분포의 값들을 선정하여 error가 증가하게 됨.
3. Rounding

   • weight는 correlated되어있으므로 each마다 하는 것은 best가 아님

   • 학습가능한 0과 1사이의 값인 delta를 각각의 weight에 더해서 반올림을 적용

   • 수식에 따르면 h()가 그 delta를 결정하고 rectified sigmoid가 사용됨

     → 해당 방법을 적용해서 W와의 차이를 최소화함

[tjdtnsu]

4.25 bit 계산 방법

4.25bit 값은 4비트 데이터와 스케일 팩터 오버헤드가 16개 원소에 대해 공유될 때, 원소당 평균 비트 수로 계산한 결과입니다.

1. 데이터 표현 (4비트)

각 원소를 4비트로 양자화(quantize)한다고 가정하면,
16개 원소를 표현하기 위해 필요한 비트 수는:
16 × 4 bits = 64 bits

2. 스케일 팩터 표현 (4비트)

16개 원소가 하나의 그룹으로 묶여서 스케일 팩터를 공유한다고 가정하고,
그룹 전체에 대해 4비트를 사용하므로 추가로 필요한 비트 수는:
4 bits

3. 원소당 평균 비트 수 계산

전체 비트 수는 데이터 비트와 스케일 팩터 비트를 합산하여:
64 bits (데이터) + 4 bits (스케일 팩터) = 68 bits

이를 16개 원소로 나누면 원소당 사용 비트 수는:
68 bits / 16 원소 = 4.25 bits per element
따라서, 각 원소당 4.25비트가 사용됩니다.

[tjdtnsu]

아래는 이론적 연구를 넘어 실제 제품과 서비스에 적용되어 성과를 보인 사례들입니다.

1. 벡터 검색 및 임베디드 AI 애플리케이션
   Vespa의 임베디드 벡터 검색 시스템
   Vespa는 대규모 텍스트 임베딩 검색에서 메모리 및 연산 비용을 줄이기 위해 이진(바이너리) quantization 기법을 도입하였습니다. Vespa의 네이티브 embedder에 Matryoshka 표현 학습(MRL)과 이진 quantization(BQL)을 결합하여, 기존의 float 기반 임베딩보다 훨씬 적은 메모리(예: SHA-512 크기에 해당하는 512비트 또는 그보다 더 작은 표현)로 검색을 수행할 수 있도록 하였습니다.
   BLOG.VESPA.AI

Qdrant를 활용한 OpenAI 임베딩 최적화
Qdrant에서는 OpenAI의 Ada-003 임베딩 등 고차원 float 임베딩의 크기를 이진 quantization 기법을 통해 크게 줄여, 벡터 검색 시 저장공간 절감과 연산속도 향상을 도모하는 실제 서비스가 운영되고 있습니다. 실제 운영 환경에서 메모리 및 CPU 자원을 절감하면서도 실시간 검색 성능을 유지하는 데 기여한 사례로, 이는 상업적으로도 상당한 효율성을 입증하고 있습니다.
QDRANT.TECH

2. 하드웨어 가속 및 임베디드 시스템
   FPGA 기반 이미지/영상 분석 시스템
   HLS4ML 라이브러리는 딥러닝 모델을 FPGA용 디지털 회로로 자동 변환하는 도구로, 여러 산업 및 연구 분야(예: CERN의 고에너지 물리학 실험, 임베디드 영상 분석 등)에서 binary 및 ternary quantization을 적용한 모델을 사용합니다. 이러한 시스템은 모델 파라미터의 정밀도를 낮춤으로써 FPGA의 리소스 사용률을 최소화하고, 전력 소모를 크게 절감하는 동시에 추론 속도를 획기적으로 향상시키는 효과를 보여줍니다.
   ARXIV.ORG

실시간 임베디드 AI (예: 스마트 카메라, 드론 등)
많은 임베디드 AI 솔루션에서, 특히 전력과 연산 자원이 제한된 모바일 및 IoT 디바이스에 배포되는 객체 인식 및 영상 처리 애플리케이션에서 binary 또는 ternary quantization 기반 모델이 사용되고 있습니다. XNOR-Net과 같은 모델은 이진 네트워크를 이용해 실시간 추론을 가능하게 하며, 실제 자율주행, 보안 카메라, 드론 영상 분석 등 다양한 상업 제품에 탑재되어 효율성을 입증하고 있습니다. (비록 구체적 제품명이나 회사명은 공개되지 않는 경우가 많지만, 산업계 전반에서 FPGA나 ASIC을 이용한 저전력 고속 처리 시스템에 적용되고 있습니다.)

결론
실제 응용 사례에서는

임베디드 벡터 검색 엔진 (Vespa, Qdrant)이 고차원 임베딩의 메모리와 연산 비용을 줄이기 위해 binary quantization을 이용하고,

FPGA/ASIC 기반 임베디드 AI 시스템 및 실시간 영상 분석 장비 등이 binary/ternary quantization 기법을 활용하여 경량 모델을 구현, 빠른 추론과 낮은 전력 소모를 달성하고 있습니다.

이와 같이, 연구 단계에서 제안된 기법들이 실제 상용 시스템과 임베디드 애플리케이션에 적용되어 효율성과 성능 측면에서 실질적인 이점을 제공하고 있음을 알 수 있습니다.