[P4] Day 81 (21.05.26)

(4강) Sequence Data 문제 정의에 맞는 Transformer Architecture 설계

Data Science Bowl

Riiid

Predicting Molecular Properties

Mechanisms of Actions (MoA)

Reference

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

(4강) Sequence Data 문제 정의에 맞는 Transformer Architecture 설계

💡

Sequence Data를 사용한 다양한 대회의 Solution을 살펴본다.

Data Science Bowl

DSB의 대회는 다음과 같은 형태로 진행됐다.

이 대회가 진행될 시점에서는 Transformer가 경진대회에서 많이 사용되지 않았었음.

그 중 한 유저가 Transformer의 Encoder 구조를 활용해 3위를 차지했음.

Riiid

Riiid의 대회 개요는 다음과 같다.

눈여겨 볼 Solution은 다음과 같다.

Predicting Molecular Properties

대회의 개요는 다음과 같다.

이 대회에서 상위권은 모두 Transformer를 사용하여 Solution을 제시했다.

추가로, Multi-Task Learning으로 성능향상을 도모했음.

Mechanisms of Actions (MoA)

MoA 대회의 개요는 다음과 같다.

이 대회에서는 Transformer를 활용한 Solution이 잘 작동하지 않았고, 1D Conv Model의 Solution이 새로이 제안되었다.

---

Reference

• Data Science Bowl (2019)

• Riiid (2021)

• Predicting Molecular Properties (2019)

• Mechanisms of Action - MoA (2020)

• DSB 데이터 이해하기

• Transformer solution to DSB2019 & Source Code

• Molecular 대회 3rd Place Solution

• MoA 대회 2nd Place Solution

---

Project

오늘의 목표 및 진척상황

• EDA

직면했던 문제와 학습한 내용

1. EDA

   Data의 분포와 정답간의 관계를 확인하고자, 다양한 EDA를 했다.

추가로 진행 할 사항

• Feature Engineering

Uploaded by Notion2Tistory v1.1.0