[P3] Day 77 (21.05.20)

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

Project

오늘의 목표 및 진척상황

• 개선된 QAConvModel 성능 실험

• QAConvModle 추가 개선

• Ensemble 및 최종 제출

• Code 정리 및 Github Product화

직면했던 문제와 학습한 내용

1. 개선된 QAConvModel 성능 실험

   어제 개선한 Model의 성능을 확인하기 위해 다양한 실험을 진행했다. Fine Tuning만 했을 때 이전 모델보다 성능이 떨어지길래, Pre-training까지 수행해봤다. 이후, Fine Tuning 단계에서도 Drop-out Layer를 조정하거나, Activation Function을 추가하는 등의 연산도 추가해보았다. 이전 Model의 아이디어에 착안해 Temperature 값을 높게 설정한 Softmax를 사용해보는 등 다양한 실험을 진행했다. 하지만 결국, 이전 Model의 성능을 이기지는 못했다.

2. QAConvModel 추가 개선

   무엇이 문제인지 곰곰히 생각해보다가, Question Sentence 전체의 Embedding을 Mean으로 얻는 것에 문제가 있을 것 같다는 생각이 들었다. 이에, Length축으로 Embedding Vector를 Concatenation해보는 아이디어를 적용해보았다. 실제로, 개선된 Model보다 더 안정적으로 학습하고, 더 높은 Score를 보였다. 최종적으로, 최초에 제시됐던 Model보다 좋은 성능을 보이지는 못했으나, 준수한 성능을 보여 Ensemble에 활용할 수 있었다. 조금 더 시간이 있었다면, 이 Model로 더 높은 성능을 볼 수 있었을 것 같은데, 이 점이 아쉽다.

3. Ensemble 및 최종 제출

   팀원 전체가 모여서 Ensemble에 대한 Idea회의를 진행했다. Hard Voting의 방법을 사용하기로 했고, 단일 모델의 성능을 기준으로 EM 65%가 넘는 Model만 활용하기로 했다. 백본이 다양하지 못해서, Ensemble 자체로 성능을 많이 높이지는 못했으나, 어느정도의 성과를 얻을 수 있었다. 최종적으로 Public LB에서 EM은 73%, F1은 82% 가량의 Score를 얻을 수 있었다.

4. Code 정리 및 Github Product화

   마지막 순간까지 모든 팀원들이 실험을 진행했기에, 각자 조금은 다른 Code를 갖고 있었다. 우리 팀은 늦은 시간이었지만 다시 모여서 Code를 정리하기 시작했다. Data만 있으면, sh file만으로 동일한 성능을 재현할 수 있도록 Code를 구성했다. 솔직히 정말 귀찮고, 힘든 작업이었으나, 한명도 빠지지 않고 모두 역할을 나눠서 작업했더니 생각보다 금방 끝났다.

   최종 Code는 모든 팀원의 Idea와 시도가 들어간, 우리 Team의 결과물로 만들 수 있었다.

추가로 진행 할 사항

• Solution 발표

• Wrap-up Report 작성

Uploaded by Notion2Tistory v1.1.0