[P2] Day 59

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

Project

오늘의 목표 및 진척상황

• LSTM Model 실험

• 개인 Submit 실험

• Team Ensemble 실험

직면했던 문제와 학습한 내용

1. LSTM Model 실험

   Ensemble용으로 다른 Architecture의 Model을 학습하기로 생각했다. 익효님이 올려주신 Code를 기반으로 LSTM Model을 실험을 진행했다. 기존의 Model과 달리 학습이 불안정한 모습을 보여서 LR과 Scheduler 등 Hyper-parameter에 대한 Search가 필요했다. 대회 마감까지 시간이 많지 않았기에, 최종적으로는 3개의 Fold로 학습을 진행했다. 단일 Model로서는 성능이 높지 않았으나, 확실히 Ensemble에서는 큰 효과가 있었다.

2. 개인 Submit 실험

   개인적으로 가장 높은 Score를 얻기 위해 다양한 방법을 실험했다. 먼저, 최종적으로 사용할 Model을 결정해야 했다. LB의 Score와 Architecture를 고려해서 기본 Sequence Classifier와, R-BERT, LSTM을 사용하기로 결정했다.

   처음에는 각 Model의 Logit을 Ensemble하는 Soft Voting으로 결과를 제출했다. 이 당시에는 81.1의 Score를 얻었다.

   이후, 얼마 남지 않은 제출기회를 고려해서 각 조합의 결과를 확인하기 시작했다. 류재희님의 도움을 받아서, 기존의 제출과 어떤 차이가 있는지, 더 나아질 것인지에 대해 확인을 했다. (재희님 너무너무너무너무 고마워요!!!!)

   Hard Voting 시 Soft Voting과는 25개의 차이가 있는 것을 확인했고, 성능 향상이 예상되었다. 실제로 제출해보니, 81.5의 Score를 얻을 수 있었다.

3. Team Ensemble 실험

   다른 차원에 있던 익효님이라 누구도 넘어서지 못할 것 같았는데, 0.1점 더 앞선 배아라님이 등장했다. 진심으로 익효님이 1등을 했으면 좋겠다는 마음에 다같이 모여서 Ensemble을 논의했다. 익효님과 태양님과 내 제출물을 어떻게 조합하면 좋을 지 고민했다. 재희님의 Excel Skill 덕분에 가능했던 일이었다.

   다행히도? 서버의 문제로 12시까지 대회가 연장 되었고, 약 5시간정도 모두가 진심을 담아서 고민을 했다. 수지님이 아라님께서 완전 다른 Backbone을 통해서 성능 개선을 했다는 정보를 공유해준 덕분에, 익효님이 실험했던 KoElectra Model까지 Ensemble에 추가할 수 있었다.

   익효님의 제출기회를 아끼기 위해서 내 제출기회로 해당 Ensemble을 제출했는데, 익효님의 최종 Score에서 0.2점 개선한 결과를 얻을 수 있었다. 최종적으로 익효님과 81.9점으로 1등 마무리를 할 수 있었다.

추가로 진행 할 사항

• 밀린 강의 수강 및 학습정리

• Wrap-up Report 작성

• Code 정리 및 Github Commit

Uploaded by Notion2Tistory v1.1.0