Q1. Truncated BPTT라는 개념이 있는데, many-to-many에서만 가능한 것인지, 병렬적으로 일어날 수 있는 것인지, 어떻게 계산되는 것인지 궁금합니다,

A1. Truncated BPTT : 시퀀스 길이가 길어지면 BPTT를 통한 역전파 알고리즘이 불안정해지므로 일정 길이로 잘라서 진행하는 것이다.

다 가능하다.

Q2. Seq2seq attention의 backpropagation의 원리가 궁금합니다.

A1. 자세하게 식이 어떻게 되는 지는 좀 더 정리해서 말씀 드릴게요 ,,

• 읽어봐야할 것 : hierachical attention network!

• 공부 Tip

  1. 배웠던 것들을 그때그때 블로그 & 노션에 정리하는 습관 (잘 되지 않음)

  2. 읽었던 논문도, 논문 관리하는 툴(맨들레이)을 이용해서 정리했다. → pdf만 업로드하면 논문 기본 정보들 정리해준다.

  3. 추천하는 강의 (CS 224N)

     Stanford CS 224N | Natural Language Processing with Deep Learning

  4. 논문 읽는 법

     영어 못해도 논문 잘 읽는 법

  • 처음엔 대충 섹션보고 → 두번째는 더 깊이 내용 보기
  • 비슷한 분야는 겹치는 섹션들도 많으므로 가지치기로 묶어서 보는 것도 도움이 된다.

Q3. Luong & Bahdanau 어텐션의 장단점은?

• 어텐션 처음에 낸게 Bahdanau , 이걸 좀더 보완한게 Luong
• Luong의 어텐션은 2가지
  • Global attention 은 Bahdanau 어텐션과 비슷하다.
  • dot , general attention이 여기에 속한다.

Q4. 챗봇 모델의 기존 평가 지표가 부족하다고 들었는데, 현재 어떻게 연구가 진행되고 있나요?