강의 소개 : 국내의 자연어처리 데이터 제작 흐름, 자연어처리 데이터의 유형

• 국내의 자연어처리 데이터 제작 흐름에 대해 알아봅니다.

  • 국립국어원의 21세기 세종 계획, ETRI의 엑소브레인, 그리고 최근 공개된 모두의 말뭉치에 대해 알아봅니다.
  • 국가 주도 데이터셋 구축과 대비되는, 민간 주도 데이터셋 구축에 대해서도 알아봅니다.

• 다양한 자연어처리 데이터의 유형에 대해 알아봅니다.

• Further Questions

• Further Reading

1. 국내 언어 데이터의 구축 프로젝트

• 국가 주도
  • 21세기 세종 계획 _ 국립국어원 [1997년 ~ 2007년]
  • 엑소브레인 _ ETRI [2013년 ~ 2023년]
  • 모두의 말뭉치 _ 국립국어원 , AIHUB_NIA [2016년~]
• 민간 주도
  • KLUE _ Upstage
  • KorQuAD_LG CNS
  • KorNLU_kakaobrain

2. 21세기 세종 계획과 모두의 말뭉치

• Mecab, khaii,꼬꼬마,한나눔,코모란 등에서 채택하였다.
• 구구조 분석과 의존 구문 분석(2분지) 의 파싱 방식을 통해서 성능을 올리기도 한다.

모두의 말뭉치