[P4] Day 84 (21.05.31)

(6강) Kaggle Riiid Competition Winner's Solution 탐색

Feature Engineering

Last Query Transformer RNN

Reference

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

(6강) Kaggle Riiid Competition Winner's Solution 탐색

💡

Riiid 대회에서 사용됐던 Solution에 대해 자세히 살펴본다.

Feature Engineering

Feature Engineering을 하는데에는 다음과 같은 접근방법이 있을 수 있다.

위 방법 중 어떤 방법이 좋다기보다는, 두 방법 중 적절한 방법으로 접근하여 최대한 Model의 성능을 이끌어내는 Feature를 만드는 것이 중요하다.

Feature에 대해 단순한 예시를 들면 다음과 같다.

Feature를 만들 때에는 이와 같은 점을 주의할 필요가 있다.

문항별로 Feature를 뽑는 예시는 다음과 같다.

Last Query Transformer RNN

Transformer를 사용하면서, 시간복잡도를 줄인 Solution이 Riiid 대회에서 1위를 차지했다. 이 Solution에 대해 자세히 알아보자.

---

Reference

• Continuous Embedding

• ELO Rating

• Last Query Transformer RNN - Discussion

• Last Query Transformer RNN - Paper

• The Illustrated Transformer

---

Project

오늘의 목표 및 진척상황

• Model별 성능 실험

직면했던 문제와 학습한 내용

1. Model별 성능 실험

   Feature Engineering이 어느정도 마무리 된 것 같아, Model별 성능을 확인했다. 기존의 LSTM보다는 Attention을 추가한 Model이 잘 작동했다. Transformer Model은 예상 외로 성능이 매우 떨어지는 모습을 보였다. Data 양이 문제인 것 같다.

   이외에도, Validation Set과 Public Set의 성능이 일치하지 않는 문제가 있다. 꾸준히 이 문제가 해결되지 않고 있는 상황이다.

추가로 진행 할 사항

• Data Aug 방법 고안

Uploaded by Notion2Tistory v1.1.0