[P3] Day 76 (21.05.18)

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

Project

오늘의 목표 및 진척상황

• QA Conv Model 사전학습

• Question Type Labeled MRC Data 학습

직면했던 문제와 학습한 내용

1. QA Conv Model 사전 학습

   AI Hub의 Data를 활용해서 Model을 사전학습 시켰다. Loss는 QA와 Classification쪽에서 모두 발생시켜 학습시켰다. 학습이 튀는 경향을 막기 위해서 drop out rate는 0.3으로 사용했다.

2. Question Type Labeled MRC Data 학습

   단일 Task로 학습 시킨 모델은, 이전 모델과 EM Score는 동일했으나, F1 Score가 눈에 띄게 향상 되었다. 익효님이 Labeling 해준 Data를 통해 Multi Tasking Learning을 할 수 있었고, 엄청 큰 성능 향상을 볼 수 있었다. 이를 기반으로 팀 전체가 늦은 시간까지 각종 아이디어를 제공했고, EM 70%, F1 80%를 넘길 수 있었다.

추가로 진행 할 사항

• 다양한 Backbone 실험하기

Uploaded by Notion2Tistory v1.1.0