자연어 처리 트랜스포머 2강(Attention, Self-Attention, Multi-Head Attention)

트랜스포머 모델의 다중 주의(attention) 메커니즘에 대해 설명합니다. 주의(attention)는 문장 내 단어 간의 관계를 계산하여 중요한 정보를 추출하는 과정입니다. 특히, 자기 주의(self-attention)는 각 단어가 자신과의 관계를 평가하는 방식으로 작동합니다. 다중 주의는 여러 개의 주의 헤드를 사용하여 다양한 관계를 동시에 학습합니다. 이를 통해 모델은 더 나은 성능을 발휘하며, 자연어 처리에서 중요한 역할을 합니다. 마지막으로, 마스크드 다중 주의는 다음 단어 예측에서 정보를 가리는 방법을 설명합니다.