[P4] Day 90 (21.06.08)

(10강) End-to-end 프로젝트 수행

Reference

Project

오늘의 목표 및 진척상황

직면했던 문제와 학습한 내용

추가로 진행 할 사항

---

(10강) End-to-end 프로젝트 수행

💡

Business와 MLOps의 관점에서 AI/ML 태스크에 대해 알아본다.

---

Reference

• Airflow 공식홈페이지

• [동영상]A Chat with Andrew on MLOps: From Model-centric to Data-centric AI

• [동영상]Building (Better) Data Pipelines with Apache Airflow

---

Project

오늘의 목표 및 진척상황

• Team Validation 전략 설계

• 성능 재실험

직면했던 문제와 학습한 내용

1. Team Validation 전략 설계

   Validation 방법에 대해 모든 팀원이 문제를 공감하고 있었고, 각자만의 방법으로 그때그때 처리를 하고 있었다. 이에, 각자의 Validation 전략을 공유하고, Team 차원에서 이를 검증하고 확인하기로 했다.

   먼저, Feature에서 정답에 대한 Leakage가 생기는지를 확인했다. 이 부분에서도 많은 이야기가 오갔는데, 결론적으로는 Feature 생성 간 Target이 되는 Interaction의 정보를 Masking 하는 것으로 결론을 내렸다.

   또, Validation Set 구성 간, Leakage가 발생하는지 확인했다. User ID 별로 이를 구성해야 하는지 등에 대한 이야기가 오갔다.

   최종적으로는, 여태껏의 실험 간, Gap이 가장 적고 경향성이 좋았던 팀원의 Validation 전략을 팀 단위로 진행하고, 이를 검증하도록 했다.

2. 성능 재실험

   위 Validation 전략에 따라 Model의 성능을 재실험하기 시작했다. 다른 팀원들의 성능으로 보았을 때 꽤나 경향성이 비슷하게 나타났으나, 나의 경우 꽤나 이상하게 성능이 측정되었다. Validation 상에서는 꽤나 준수해보였으나, 실제 제출하면 이상하리만큼 성능이 낮게 나왔기 때문이다.

   Feature에 문제가 있는지 재검토 했으나, 문제가 있어보이진 않았고, 다른 부분을 검토하기 시작했다.

추가로 진행 할 사항

• Feature, Model, Code 재확인

Uploaded by Notion2Tistory v1.1.0