[AI소프트웨어] RNN
·
Computer Science/AI소프트웨어
# Encoding과 Decoding 간 관계입력 값으로 몇 개가 들어와도 출력 값으로의 과정 중 Attention(Blending)은 Decoding의 개수와 같다.즉, 몇 단어가 입력되어도 출력할 단어의 개수만큼 블렌딩이 일어난다는 말이다. # Attention MechanismGlobal, Selective, Dynamic Sequenece Summarization(Blending)기존 RNN의 과정은 이후의 토큰을 이전의 토큰이 알 수 없었다.Attention Mechanism은 어텐션 블록을 만들어서 언제 어느 토큰이든 다른 곳에 붙여 줄 수 있다.따라서 전체 블록 안의 토큰이 글로벌하게 붙을 수 있어서 대량의 언어 뭉치의 경우에도 성능을 유지할 수 있다. # Softmax 함수소프트맥스..