[P4] Sunday 13 June (21.06.13)

Project

Stacking Code 적용
Team 단위로 맞췄던 Validation 전략을 기준으로 Validation 예측 Logit을 만들어야 했다. 각 Fold별로, Validation용 Data를 고르고, 그 중에서도 가장 마지막 Interaction의 Logit을 필요로 했다.
구현을 하려고 생각하니 정말 막막했는데, 팀원이 구현해놓은 Code가 있어서, 이를 보고 적용하여 활용하게 되었다.
덕분에 Stacking에 활용할 Data가 크게 늘었고, 유의미한 실험이 가능해졌다.

Conv GRU Model 변형 실험
Conv GRU Model로 팀의 최고성능 근처에 도달할 수 있었다. 여기에 다양한 방법을 더해 실험을 진행했다.
마지막 Interaction만으로 Loss를 발생시켜 학습을 해보기도 했고, 뒤에 Attention Layer를 달아보기도 했다. 혹은 GRU를 아예 제거하고 Attention 구조만을 활용해보기도 했는데, 결국 기존의 성능을 뛰어넘지는 못했었다.

Parallel 연산 Model 구현 및 실험
위와 같이 실험을 하다가, 직렬적인 연산 때문에 과적합이 생기나 싶은 생각이 들었다. 이에, Conv Layer와 GRU를 같은 층에 두고, 여기서 생성된 Vector를 Attention 구조에 태우는 것을 구상하게 됐다.
생각보다 동작을 잘 했고, ConvGRU보다 좋은 성능을 보였다. 이를 기반으로 다양한 형태를 더 고안하고 실험하기 시작했다.
Activation Function이나, Normalization Layer, Skip Connection 연산 등을 추가하여 실험을 지속했다.