[3/11] Transformers and LLM - Transformers

[tjdtnsu]

Transformers 구조를 먼저 이해해보자. 왜 이렇게 설계했을까?

[tjdtnsu]

요건 면접에서 나올 질문들 위주로 구성했음

• Attention은 뭐임? 왜 쓰는거지? RNN/LSTM에는 무슨 문제가 있음?
• One-Hot Encoding은 NLP에서 안쓰일까?
• Tokenization은? 왜 쓰는거지?
• 트랜스포머 아키텍처의 기본 개념과 주요 구성 요소(예: 어텐션, 포지셔널 인코딩)는?
• 어텐션 메커니즘에서 Query, Key, Value의 역할은?
• 트랜스포머의 인코더-디코더 구조가 기계 번역 등 시퀀스-투-시퀀스 문제 해결에 어떻게 기여하는지?
• Self-Attention은?
• Scaled Dot-Product Attention의 수식과 각 항목의 역할은?
• 스케일링 1/root(d_k)는 왜 쓰일까?
• 멀티헤드 어텐션의 기본 개념과 단일 헤드 어텐션과의 차이는?
• 여러 개의 어텐션 헤드를 사용함으로써 모델이 다양한 표현 학습을 할 수 있을까?
• 트랜스포머에서 포지셔널 인코딩의 필요성과 기본 개념은? 간단한 수식 제시
• 트랜스포머 내 피드포워드 네트워크의 구성과 역할은? 피드포워드 네트워크가 어텐션 결과에 비선형성을 부여하는 방식과 그 중요성은?
• 왜 Layer normalization 쓰는가?
• Masked multi-head attention을 쓰는 이유는? 쓰는 예시도
• SOS (Start-of-Sequence), EOS (End-of-Sequence) 토큰은? 이를 쓰는 이유는?
• 학습/추론할 때 인코더, 디코더 단에는 어떤 입력이 들어가는가? 출력은?
• Teacher Forcing은?
• Greedy Search Decoder, Beam Search Decoder는? 알고리즘의 목적은?

[namgyu-youn]

좋은 내용 공유 감사합니다. 면접처럼 생각나는대로 빠르게 적어봤습니다. 쓰고 보니까 복습할 내용들이 많네요. 아직 많이 부족한 것 같습니다 😞

---

Q1. Attention은 machine translation task를 해결하기 위해서 등장한 개념입니다. RNN/LSTM은 이 과제에 대한 접근방식에서 아래의 문제가 있습니다. :

• sentence가 길어지면, 후반부의 sequence's context를 잃어버리는 (잘 파악하지 못하는) 문제가 있습니다.
• Recursion 안에서 Input token에 대하여 1:1 관계성을 지닌 output token을 바로 뽑아야 하므로, 언어 고유의 특징을 반영하지 못한다는 문제가 있습니다. (ex. 관사)
• RNN은 gradient vanishing/exploding 문제가 발생하며, LSTM은 이를 해결하기 위해 cell state를 사용했지만 vanishing 문제를 sigmoid function의 한계 때문에 완전히 극복하지 못했다는 문제가 존재합니다.
  따라서 학습 과정에서 attention (핵심 정보를 기억)하도록 함으로써, 기존의 한계를 극복하고자 했다는 의의가 있습니다.

Q2. One-Hot Encoding은 Token에 대하여 고유값을 지정하는 것입니다. 예를 들어서, "Pseudo-lab is community for AI research"라는 Input이 주어진다면, {"Pseudo-lab":0, "is":1, ..., "research":4} 방식으로 mapping하는 방식입니다. (NLP에서 어떻게 쓰이는지 까지는 모르겠습니다.)

Q3. Tokenization은 "어떤 요소를, 의미를 가진 무언가로 더 작게 쪼갠다"는 개념입니다. 예를 들어서 sentence는 word의 집합체로 쪼갤 수 있으며, video는 frame으로 tokenization할 수 있습니다. 이를 통해서 의미를 가진 최소한의 단위로 쪼개고, 기계가 학습하기 유연하도록 합니다.

Q4. Transformer architecture에서 중요한 개념은 다음과 같습니다. :

• RNN/LSTM과 다르게 전체 sentence를 input으로 입력 받으며, dot product & sigmoid를 활용한 유사도 측정을 통해 input token's relationship을 파악한 뒤에 encoding 합니다.
• 전체 sentence를 한 번에 처리하기 때문에 잃어버릴 수 있는 위치 정보를 positional encoding을 활용해서 저장합니다.

Q5. Q (query), K (key), V (value)는 attention value를 구하기 위해서 필요한 값들입니다.

• Q : "어떤 정보를 현재 가지고 있는가"에 해당합니다.
• K : "어떤 정보를 찾고 싶은가?"에 해당합니다.
• V : K가 Q를 통과했을 때 나온 내용, 즉 "어떤 내용을 찾았는가?"에 해당합니다.

Q6. Machine translation task는 대표적인 many-to-many sequence task에 해당합니다. 기존의 RNN/LSTM은 Q1에서 언급 했듯이, 언어 고유의 특징을 반영하지 못한다는 문제가 있었습니다. Transformer는 전체 context를 보다 높은 정확도로 파악합으로써 문제를 해결하는 데 기여할 수 있었습니다.

Q7. Self-Attention은 Attention의 후속 연구입니다. Context를 자기 자신 (하나의 sequence) 뿐만 아니라 인접한 sequence까지 활용함으로써 보다 context를 잘 파악할 수 있다는 장점이 있습니다.

Q9. Scaling은 positional encoder에서 위치 정보가 지나치게 작거나 큰 문제를 방지하기 위해서 사용되는 개념입니다. sine & cosine function의 특징을 활용해 일정 범위 안에서 크기를 제한합니다.

Q10. Multi-head attention은 sentence 안에서 다양한 (multi-head) 관점에서 학습시키는 개념입니다. 예를 들어서 "Pseudo-lab is community for AI, not bio-chemistry." 문장이 있다고 하면, "Pseudo-lab = community"라는 context에 집중할 수도 있고, "AI != bio-chemistry"라는 context에 집중할 수도 있습니다. 즉, 다양한 관점에서 파악한 context를 복합적으로 학습시킴으로써 single-head attention과 다르게 stability를 높인다고 볼 수 있습니다.

Q12. Positional Encoding의 특징은 모델이 sequence의 위치 정보를 학습하도록 한다는 것입니다. 위치 정보는 vector로 저장되며, sine & cosine function을 활용합니다. 가장 큰 특징은 scalar 기반의 삼각 함수는 주기가 반복되지만, positional encoding에서는 vector로 저장되기 때문에 고유한 값을 지닐 수 있다는 점입니다.

Q14. Feed-forward는 Neural Newtork에서 batch normalization과 유사한 역할을 합니다. 모델이 더 집중해야하는 부분에는 더 가중치를 부여하고, 그렇지 않은 부분에는 더 작은 가중치를 부여함으로써 비선형성을 부여합니다. 이를 통해서 모델은 필요한 부분을 위주로 학습하기 때문에 더 효과적으로 학습할 수 있다는 특징이 있습니다.

Q16. Masked는 "미래 정보를 가린다"고 다시 쓸 수 있을 것 같습니다. Multi-head attention을 진행할 때 future context를 함께 학습하는 현상을 방지함으로써, 모델이 현재 및 과거의 정보만을 위주로 학습하도록 돕습니다.

Q17. SOS, EOS는 일종의 dummy token입니다. 무작위로 추출한 dummy를 앞/뒤에 추가함으로써, 편향되지 않은 토큰을 목적으로 추가된 개념입니다.

Q18. Encoder에는 전체 sentence (sequence of token)가 입력되며, Decoder에도 sentence가 입력됩니다.

Q19. Teacher Forcing은 decoding을 할 때 첫 output token의 결과가 오답일 경우에, 다음에 발생하는 output token도 오답일가능성이 높다는 문제를 해결하기 위해서 등장한 개념입니다. GT를 제공함으로써 첫 문제가 틀린 경우에 다시 되돌아가도록 forcing한다는 개념입니다.

[surisurikim]

• 새롭게 알게 된 내용 : Query, Key, Value에 대한 구체화
  • 논문에 따르면
    • In a self-attention layer all of the keys, values and queries come from the same place
    • Q, K, V는 같은 벡터에서 근원하며, 여기에 서로 다른 weight를 곱(내적)해서 만들어짐
  • 강의 스크립트 유튜브 검색 예제의 Q, K, V는 서로 독립적인 데이터이지만, Self-Attention에서는 같은 입력에서 Q, K, V가 생성되는 차이점이 존재함. 따라서 Self-Attention의 Q, K, V를 위와 같은 유투브 검색 예제로 설명된 이유에 대한 설명이 조금 더 필요하다고 생각했음.
  • 이 과정에서 Q, K, V라는 작명 자체가 database query system에서 reference를 얻었다는 사실을 새롭게 알게 됨.
    • 이 사실은 논문에서 직접적으로 언급된 바는 없음(그래서 기존엔 몰랐음)
    • 그러나 3.2장에서 An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. 즉, Q를 K, V와 mapping한다고 밝히며 간접적으로 검색 시스템을 떠올리게 함.
    • Transformer에서 각 단어는 자기 자신과 다른 단어들 간의 관계를 파악해야 하고, 이를 위해 각 단어는 Q, K, V 세 가지 벡터를 가지며, 그 역할은 아래와 같음.
      • 현재 처리 중인 단어(토큰)에서 Query, Key, Value 벡터를 생성
      • Query와 Key를 내적(dot product)하여 유사도(attention score) 계산, Softmax를 적용하여 가중치(weight) 를 얻어냄
      • 이 가중치를 Value 벡터에 곱하여 최종 출력값 생성
    • 검색 시스템에서 Q, K, V의 역할은 아래와 같음.
      • Query (Q) - 검색어 (Search Query) : 사용자가 검색창에 입력하는 키워드
      • Key (K) - 색인된 문서의 키워드 (Indexed Document Keys) : 데이터베이스에 저장된 문서들이 가지고 있는 검색 가능한 키워드 또는 태그로, Query와 비교하여 얼마나 연관이 있는지를 측정하는 기준이 됨
      • Value (V) - 실제 검색 결과 (Retrieved Information) : 검색이 수행된 후 최종적으로 반환되는 문서의 내용

[sw930718]

답에 대해 찾아가며, 더 공부가 되었습니다. 감사합니다.
다만 이번 주 이사 이슈로, 시간상 전체 질문에 대한 답은 작성하지 못했습니다.

---

Q1. Attention은 뭐임? 왜 쓰는 거지? RNN/LSTM에는 무슨 문제가 있음?

어텐션은 입력 시퀀스의 모든 위치에 대해 중요도를 계산해 각 위치의 정보를 가중 평균하는 방식으로 작동합니다. RNN/LSTM은 Long-term dependency 문제와 순차적 처리를 해야 해서 병렬처리가 어렵다는 문제가 있습니다.
이 문제를 Transformer는 attention과 Positional Encoding을 이용해 병렬처리가 가능하도록 하며, 시퀀스 내 모든 위치 간에 직접적인 연결을 생성하여 Long-term dependency 문제를 해결했다고 합니다.

Q2. One-Hot Encoding은 NLP에서 안 쓰일까?

0,1 값을 이용해 단어를 벡터로 표현하는 방법인 One-Hot Encoding은 NLP에서 사용할 수는 있지만 1. 단어의 크기가 커질수록 벡터의 차원이 매우 커지는 '차원의 저주' 문제와 2. 단어 간의 의미적 유사성을 표현하지 못한다는 단점 때문에, 사용을 잘 안 하고, 대신에 단어 임베딩 등의 방식을 이용한다고 합니다.

Q3. Tokenization은? 왜 쓰는 거지?

컴퓨터가 텍스트를 처리할 수 있도록 데이터를 수치화된 형태로 변환하기 위해 더 작은 단위인 '토큰'으로 나누는 과정입니다.
Tokenization을 통해 텍스트를 모델 입력으로 사용할 수 있는 형태로 만들고, NLP 모델의 성능을 향상시킬 수 있습니다

Q4. 트랜스포머 아키텍처의 기본 개념과 주요 구성 요소(예: 어텐션, 포지셔널 인코딩)는?

트랜스포머는 Attention을 사용하여 입력 시퀀스의 모든 위치 간의 관계를 모델링하는 신경망 아키텍처입니다.
주요 구성 요소는 각 요소 간의 관계를 파악하고 중요정보에 집중하는 Attention / 입력 시퀀스에서 단어의 위치 정보를 모델에 제공하는 Positional Encoding / 입력 시퀀스를 처리하여 특징 벡터를 생성하는 Encoder / 특징 벡터를 사용하여 출력 시퀀스를 생성하는 Decoder 입니다.

Q5. 어텐션 메커니즘에서 Query, Key, Value의 역할은?

Query(쿼리): 어떤 정보를 알고싶은지에 대한 질문 표현
Key(키): 각 토큰이 가진 정보의 '특성'을 나타내는 벡터로써, 저장된 정보의 검색을 위한 인덱스 역할
Value(값): 실제로 전달되는 '정보'를 담고 있는 벡터

Q6. 트랜스포머의 인코더-디코더 구조가 기계 번역 등 시퀀스-투-시퀀스 문제 해결에 어떻게 기여하는지?

셀프 어텐션을 통한 문맥 추출 과정에서, 입력 시퀀스의 모든 단어 간 관계를 동시에 분석하여 장거리 의존성 문제를 해결에 기여하였습니다.

Q7. Self-Attention은?

입력 시퀀스의 각 요소가 다른 요소와의 관계를 고려하여 자신의 표현을 업데이트하는 메커니즘으로, 단어간의 연관을 고려하므로 문맥을 이해할 수 있도록 합니다.

Q8. Scaled Dot-Product Attention의 수식과 각 항목의 역할은?

Scaled Dot-Product Attention은 Query, Key, Value를 통해 입력 시퀀스 간의 관계를 모델링합니다. Query와 Key의 내적을 통해 어텐션 스코어를 계산하고, softmax 함수를 통해 정규화한 후 Value에 적용하여 최종 출력을 생성합니다.
쿼리 Q : 입력을 나타내며, 어떤 정보를 찾고자 하는지 정의
키 K : 입력 시퀀스의 위치에 대한 정보값 (Query와 key간의 내적을 통해 유사도를 계산해 Attention 가중치 결정)
값 V : 입력 시퀀스의 실제 정보를 가짐 (Attention 가중치를 통해 가중합된 정보 제공)

Q9. 스케일링 1/root(d_k)는 왜 쓰일까?

스케일링 1/root(d_k)는 Query와 Key 간의 내적 값의 크기를 조정하여 softmax 출력의 0,1에 가까운 극단적인 값이 나오는걸 방지하고, 그에 따라 Gradient Vanishing문제도 완화되어 학습의 안정성을 높이는 역할을 합니다.

Q10. 멀티헤드 어텐션의 기본 개념과 단일 헤드 어텐션과의 차이는?

멀티헤드 어텐션은 여러 개의 어텐션 헤드를 동시에 사용하는 방식으로, 각각의 헤드는 서로 다른 부분에 주의를 기울여 다양한 정보와 문맥을 파악 할 수 있습니다. 이에 따라, 정보 및 관계 파악 능력과 모델의 표현력, 병렬처리 효과 극대화 등의 차이가 있습다.

Q11. 여러 개의 어텐션 헤드를 사용함으로써 모델이 다양한 표현 학습을 할 수 있을까?

다양한 표현 학습이 가능해집니다. 각 어텐션 헤드는 서로 다른 가중치 행렬을 사용해서, 입력 데이터의 다양한 부분을 파악합니다. 이에따라 각 헤드는 서로 다른 문맥이나 관계를 학습 할 수 있습니다. 하지만 여러개의 어텐션 헤드를 사용하는게 항상 좋은 결과를 만들어 내는건 아닙니다. 모델복잡도가 증가하고, 연산 비용이 늘어나는 등의 문제가 발생하므로 적절한 헤드수를 선택하는게 중요할것 같습니다.

Q12. 트랜스포머에서 포지셔널 인코딩의 필요성과 기본 개념은? 간단한 수식 제시

트랜스포머 모델은 순차적인 처리가 아닌 Self-Attention 메커니즘을 사용하여 입력 시퀀스의 순서를 고려하지 않고 모든 요소를 동시에 처리하기 때문에, 단어의 위치 정보를 제공하기 위해 포지셔널 인코딩을 사용합니다. 포지셔널 인코딩은 각 단어의 위치를 벡터로 인코딩하여 모델이 단어의 순서를 알수있도록 합니다.

Q13. 트랜스포머 내 피드포워드 네트워크의 구성과 역할은? 피드포워드 네트워크가 어텐션 결과에 비선형성을 부여하는 방식과 그 중요성은?

Q14. 왜 Layer normalization 쓰는가?

Layer normalization은 각 레이어의 출력을 정규화하여 훈련 과정에서의 변동성을 줄이고, 이에 따라 학습 속도를 높이고, 더 큰 학습률을 사용할 수 있게 해줍니다. 또한 비선형 활성화 함수와 함께 사용되기 때문에 모델의 표현력을 유지합니다.

Q15.Masked multi-head attention을 쓰는 이유는? 쓰는 예시도

Masked Multi-Head Attention은 주로 디코더에서 사용하며, 현재 시점의 단어를 예측할 때 미래의 단어 정보를 사용하지 못하도록 합니다. 미래 정보를 사용하게 되면 모델이 훈련 데이터에 과적합 될 수 있어서, Masked Multi-Head Attention를 통해 정보 유출을 방지함으로써 모델이 더 일반화된 패턴을 학습할 수 있게 합니다.
예시로써는, "나는 오늘 아침에 커피를 마셨다"라는 문장에서 다음 단어를 예측할 때, 현재 단어가 "아침에"라면, 모델은 "나는", "오늘"만을 사용할 수 있고 "커피"와 "마셨다"는 사용할 수 없습니다.

Q16.SOS (Start-of-Sequence), EOS (End-of-Sequence) 토큰은? 이를 쓰는 이유는?

Q17.학습/추론할 때 인코더, 디코더 단에는 어떤 입력이 들어가는가? 출력은?

Q18.Teacher Forcing은?

Q19.Greedy Search Decoder, Beam Search Decoder는? 알고리즘의 목적은?

[Saebitna]

1. Attention은 뭐임? 왜 쓰는거지? RNN/LSTM에는 무슨 문제가 있음?

• RNN/LSTM의 long-term dependency, vanishing gradient problem이 있으며 병렬처리가 어려움
• Attention: 인풋 시퀀스에서 중요한 부분에 가중치를 부여할 수 있고 병렬처리가 가능해서 rnn 계열의 한계 해결

One-Hot Encoding은 NLP에서 안쓰일까?

• (1) 사이즈가 엄청 커지고, 단어의 의미간 관계가 반영되지 않으며, data sparse 문제 등으로 잘 사용하지 않음.

Tokenization은? 왜 쓰는거지?

• 가장 작은 단위로 쪼개서 모델이 의미를 잘 학습할 수 있도록 함

트랜스포머 아키텍처의 기본 개념과 주요 구성 요소(예: 어텐션, 포지셔널 인코딩)는?

• self-attention (입력 데이터에서 attention value 생성), multi-head (병렬처리), positional encoding (위치 정보 반영) 등

어텐션 메커니즘에서 Query, Key, Value의 역할은?

• q : decoder의 t 시점 hidden state
• k : 모든 시점의 인코더 hidden state
• v: k와 동일
• Q 와 K의 거리를 계산해서 가장 가까운 k와 맵핑되어 있는 v를 weight으로 주는 attention score 산출

트랜스포머의 인코더-디코더 구조가 기계 번역 등 시퀀스-투-시퀀스 문제 해결에 어떻게 기여하는지? Self-Attention은?

Scaled Dot-Product Attention의 수식과 각 항목의 역할은?

• Q*K^T : dot product 거리 계산
• 1 / root(d_k) : 스케일링
• softmax() : 확률 추출
• *V : weight 반영

스케일링 1/root(d_k)는 왜 쓰일까?

• 스케일링을 안하면, 매우 큰 값을 가지는 정보 때문에 작은 값들이 무시될 수 있음

멀티헤드 어텐션의 기본 개념과 단일 헤드 어텐션과의 차이는?

• 어텐션을 병렬처리함

여러 개의 어텐션 헤드를 사용함으로써 모델이 다양한 표현 학습을 할 수 있을까?

• 네! 특히 문장에서 중의적인 의미들을 다양한 각도에서 반영할 수 있음

트랜스포머에서 포지셔널 인코딩의 필요성과 기본 개념은? 간단한 수식 제시

• 정보를 한번에 반영하기 때문에 위치정보를 반영하기 위해서 사용함

(ㅠㅠ 스터디 끝나고 마저 작성하겠습니다 ㅠㅠ)