강의 소개 : 대표적인 자연어처리 과제와 데이터 소개

한국어에 국한되지 않고, 대표적으로 활용되는 자연어처리 태스크 및 데이터를 소개합니다.

• 질의응답, 기계번역, 대화, 요약 등의 태스크들에 대해 알아봅니다.

• 각 태스크의 대표적인 벤치마크 데이터들에 대해 알아봅니다.

• Further Questions

• Further Reading

[목차]

1. 더 알아보기 (복습)

• 언어학 , AI , 텍스트 마이닝 세 분야로 분리해서 살펴볼 수 있다.
• 언어학적인 관점( NER tag ,의미역 등 주석처리)은 자연어처리의 기초 upstream 테스크에 속하는게 많다.

2. 질의응답 Question Answering

• SQuAD _ 1.0 & 2.0
  • 크라우드 소싱을 통한 질의 응답 수집
    • 사람이 하다보니 계속 같은 답변으로 넘겨버리는 경우가 있다. 이러한 것도 가이드에서 고려해야한다.
  • 2.0 으로 가면서 대답불가한 질문을 추가함

3. 기계 번역 Machine Translation

• WMT 데이터셋

  병렬 말뭉치??

  • 데이터의 실제 형식을 보는 게 중요하다. (XML 태그명을 어떻게 가져갈 것인지 보는 것 , 원시 데이터셋과 매핑하는 ID 정보가 중요함)
  • 번역은 방향이 중요하다. 한→ 영과 영→한은 다르다! (당연한 얘기아님?..)