[P4] Day 85 (21.06.01)

(7강) Transformer Tuning 및 기타 모델 성능 개선

모델 성능 개선 Code

Reference

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

(7강) Transformer Tuning 및 기타 모델 성능 개선

💡

모델의 성능 향상을 위한 다양한 튜닝에 대해 알아본다.

모델 성능 개선 Code

Github Gist

---

Reference

• Understanding Fixup initialization - Towards Data Science

• How to Fine-Tune BERT for Text Classification?

• Saint 논문

• T-Fixup 깃헙 코드

• T-Fixup 논문

---

Project

오늘의 목표 및 진척상황

• Sequence Length에 따른 성능 실험

직면했던 문제와 학습한 내용

1. Sequence Length에 따른 성능 실험

   Data Augmentation의 반대로, 각 Sample의 Sequence를 늘리는 실험을 해봤다. 한 유저에 대해 더 많은 정보가 들어가는 만큼 어느정도의 성능 향상이 있었다.

   팀원들과 실험 내용을 공유했는데, 상반된 결과를 확인할 수 있었다. Validation과 성능 검증 자체에 대한 재고가 필요해보인다.

추가로 진행 할 사항

• Validation 전략 구상하기

Uploaded by Notion2Tistory v1.1.0