[P3] Day 67 (21.05.04)

(9강) Closed-book QA with T5

💡

ODQA 간 발생할 수 있는 Bias에 대해 알아본다.

기존의 QA Task는 Open-book 형식으로, Context 내에서 Question에 대한 답을 출력하는 형태였다. 이와는 달리 새로운 접근 방법으로 Closed-book QA Task가 제시되었다.

GPT-2와 같은 Model은 이와 같은 Task에 대한 가능성을 보여주었다. Zero-shot을 기준으로 한 표이며, 이후 One-shot과 Few-shot과 같은 개념이 등장했다.

Text-to-Text의 형태로 위와 같은 Closed-book QA Task를 수행할 수 있다.

Text-to-Text는 Text를 Input으로 해서, Text를 Output으로 하는 형태의 문제다. 이때, Text의 Input과 예상 Output을 조정함으로써 모든 문제를 이와 같이 치환할 수 있게 된다.

Text-to-Text Format의 Task를 모든 자연어 처리에 도입하려고 했던 시도로, T5 Model이 있다. 이는 Seq-to-Seq 형태의 Transformer 기반 Model이다.

방대한 규모의 모델을 학습시켰는데, 이때 MRC의 QA Pair를 활용했다.

T5는 Open-book 스타일의 Model보다 뛰어난 성능을 보여주었고, 모델의 크기가 커질수록 성능도 증가하는 모습을 보여주었다. 특히, Salient Span Masking의 방법론의 도입으로 성능이 크게 개선되었다.

Closed-book QA Task에서 오답으로 처리되는 것들 중에는 다음과 같은 속성의 질문이 있을 수 있다.

Closed-book QA의 한계점은 다음과 같다.

Baseline Code 이해
정말 오래오래 걸렸다. 오늘 있었던 Office Hour와 Hugging Face의 Examples를 통해서 드디어 전체 Logic이 이해가 됐다. 기존에 하려고 했던 음절단위 Tokenizing이 잘못된 접근으로 시작했다는 생각이 들었고, 이런 방향보다는 다른 방향으로 성능을 개선시켜야겠다는 생각이 들었다.

Team Code 이해
음절단위 Tokenizing 한답시고 1주일을 넘게 제대로 참여를 못했다. 그 동안 팀에서 했던 많은 실험과 Code를 이제서야 이해하려고 하고 있다. 앞으로, Team Code 위에 내 실험을 얹을 계획이기 때문에, Code를 일일히 보고 이해할 필요가 있을 것 같다. 이외에도 현재 이미 적용된 아이디어와 실험의 가설 등을 확인하고 정리해야 할 것 같다.

Wandb 연결
Team이 동시에 접근하고 관리할 수 있도록 Wandb를 연결했다. 아직 동작하는 것까지는 확인하지 못했는데, 내일 중으로 익효님 Code가 돌아가는지 확인할 예정이다.