[P4] Day 92 (21.06.10)

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

Project

오늘의 목표 및 진척상황

• GRU Attention Model 실험

• Test ID 기준 Data Augmentation 실험

• User ID 기준 Validation Set Code 설계

직면했던 문제와 학습한 내용

1. GRU Attention Model 실험

   생각보다 GRU Model이 더 좋은 성능을 보여서 Attention Module을 붙여서 실험해보기로 했다. 일정 부분 성능에 개선이 있었으나, 생각보다 더 빠르게 과적합이 되는 모습을 보였다. 이에, 과적합을 막기 위해 Drop out rate를 높여봤고, Layer와 Head를 줄여보는 등의 실험을 진행했다.

2. Test ID 기준 Data Augmentation 실험

   Sequence의 길이가 짧아도 성능에 악영향이 없고, 각 User가 Test ID별로 Interaction을 발생시키고 있기 떄문에, Test ID 기준으로 Sequence를 구성하면 좋을 것이라 생각했다.

   실제로, 위와 같은 Augmentation을 추가하자 약 20배에 가까운 Data를 얻을 수 있었다. 이 Data로 학습을 시켜보니, 성능에 큰 향상이 있었다.

   팀 전체에 이 방법을 적용하였고, 실제로 팀 전체의 성능이 오르는 것을 확인할 수 있었다.

3. User ID 기준 Validation Set Code 설계

   위 Augmentation으로 성능 향상을 얻었지만, Validation에서 문제가 생길 수 있다는 생각이 들었다. Feature에 User를 식별할 수 있는 정보가 없긴 하지만, 행여나 이와 같은 Feature를 활용하는 팀원이 있거나, 내 Code에도 있을 수 있었기 때문에 Train과 Valid를 Split하는 Code를 새로 구성하기로 했다.

   User ID 기준으로 먼저 Split을 하고, Test ID 기준으로 Augmentation하여 Squence를 구성하도록 Pipeline에 Code를 적용했다.

추가로 진행 할 사항

• 다양한 Model Architecture 실험

Uploaded by Notion2Tistory v1.1.0