[P4] Day 94 (21.06.14)

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

Project

오늘의 목표 및 진척상황

• Parallel Model 후속 실험

• Feature Importance 확인 및 적용

• ItemID Feature 추가 등 실험

• Multi Task Learning 실험

직면했던 문제와 학습한 내용

1. Parallel Model 후속 실험

   기존의 Parallel Model에서 다양한 변형을 추가해 실험을 진행했다. Conv와 GRU에서 출력되는 Vector를 Sum 연산하도록 구성해보기도 했고, Activation Function을 추가하거나, Feed Forward Layer를 추가하는 등의 실험을 지속했다.

   대체로 큰 차이를 가져오지는 못했고, 이런 부분의 변화보다는 다른 실험이 필요하다고 생각됐다.

2. Feature Importance 확인 및 적용

   Permutation Feature Importance 기법으로 Feature의 중요도를 파악하고자 했지만, Code를 구성하기엔 시간이 부족했다.

   이에, LGBM으로라도 Feature의 중요도를 파악하고자 했고, 팀원에게 이를 부탁했다. 비록 다른 아키텍처의 모델이었지만, Feature의 중요도를 파악한 결과 각 Feature가 나름의 중요도를 가지는 것으로 확인 되었다. 사실 LGBM에 입력되는 것과 달리 18개의 Feature만을 사용하는 것이라 정확하지는 않았지만, 확인을 하고 사용하는 것은 유의미한 시도였다고 생각한다.

3. ItemID Feature 추가 등 실험

   Feature Importance를 확인하면서, 다른 Model 상에서는 Item ID의 중요도가 매우 높다는 것을 알게 되었다. 나 같은 경우에는, Test ID와 Order 정보를 넣고 있으니, ID 정보는 불필요하다고 생각하여 뺴고 활용했다. 실제로, 카디널리티가 높은 Feature라고 생각하여, 과적합을 방지할 수 있는 방법이라고 생각했다.

   Item ID Feature를 추가하여 학습했는데, 예상 외로, 성능이 크게 상승했다. 정말 기대를 1도 안했는데 신기한 일이었다. 팀에서 단일 Model 성능 최고를 달성할 수 있었고, 역전을 못하더라도 1등 뒤에 바짝 붙을 수 있으리라 생각된다.

4. Multi Task Learning 실험

   Item Embedding쪽에 Multi Task Branch를 달아서 학습 시키는 것을 재실험 했다. 내 Model 구조 말고도, 다른 팀원의 모델 구조를 활용해서도 진행해봤는데, Validation Score부터 영 좋지 않아서 실험을 중단했다.

추가로 진행 할 사항

• Ensemble Model 선정 및 최종 결과 제출

Uploaded by Notion2Tistory v1.1.0