T5におけるマルチタスクとシングルタスクの性能比較

目的

T5モデルを使用してマルチタスクとシングルタスクのファインチューニングを行い、その性能を文書分類タスクにて比較すること

データダウンロード

• amazon-multilingual-counterfactual-data
  • githubからcloneにより取得
• Multilingual Amazon Reviews Corpus (MARC)-japanese
  • 本来JGLUEのgithubを用いる予定だったが、https://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_multilingual_JP_v1_00.tsv.gzからダウンロードできなくなったためHuggingFaceのdataset(https://huggingface.co/datasets/SetFit/amazon_reviews_multi_ja)を用いることとする

結果

以下は、Single TaskとMulti Taskの結果を表にまとめたものです。

Metric	Single Task AMCD	Single Task MARC	Multi Task AMCD	Multi Task MARC
Loss	0.0648	0.1695	0.0446	0.1766
Accuracy	0.9475	0.7495	0.9518	0.7378
F1 Score (Macro)	0.8486	0.2634	0.8688	0.2198
F1 Score (Micro)	0.9475	0.7495	0.9518	0.7378
Precision (Macro)	0.8734	0.3333	0.8705	0.3
Precision (Micro)	0.9475	0.7495	0.9518	0.7378
Recall (Macro)	0.8278	0.2287	0.8671	0.1945
Recall (Micro)	0.9475	0.7495	0.9518	0.7378

+α

マルチタスク学習におけるtask_weights

AMCD Task:

Task Weights	Loss	Accuracy	F1 Score Macro	F1 Score Micro	Precision Macro	Precision Micro	Recall Macro	Recall Micro
MARC: 0.2, AMCD: 0.8	0.0735	0.9336	0.7725	0.9336	0.8834	0.9336	0.7186	0.9336
MARC: 0.3, AMCD: 0.7	0.0481	0.9497	0.8642	0.9497	0.8625	0.9497	0.8659	0.9497
MARC: 0.4, AMCD: 0.6	0.0616	0.9465	0.8478	0.9465	0.8660	0.9465	0.8318	0.9465
MARC: 0.5, AMCD: 0.5	0.0755	0.9176	0.8204	0.9176	0.7744	0.9176	0.9033	0.9176
MARC: 0.7, AMCD: 0.3	0.0738	0.9261	0.8243	0.9261	0.7914	0.9261	0.8712	0.9261
MARC: 1.0, AMCD: 1.0	0.0496	0.9486	0.8632	0.9486	0.8568	0.9486	0.8699	0.9486

MARC Task:

Task Weights	Loss	Accuracy	F1 Score Macro	F1 Score Micro	Precision Macro	Precision Micro	Recall Macro	Recall Micro
MARC: 0.2, AMCD: 0.8	0.1699	0.7402	0.2544	0.7402	0.3333	0.7402	0.2217	0.7402
MARC: 0.3, AMCD: 0.7	0.1586	0.7318	0.2362	0.7318	0.3000	0.7318	0.2026	0.7318
MARC: 0.4, AMCD: 0.6	0.1831	0.7266	0.2632	0.7266	0.3333	0.7266	0.2249	0.7266
MARC: 0.5, AMCD: 0.5	0.1724	0.7396	0.2219	0.7396	0.3000	0.7396	0.1959	0.7396
MARC: 0.7, AMCD: 0.3	0.1812	0.6992	0.3036	0.6992	0.3750	0.6992	0.2561	0.6992
MARC: 1.0, AMCD: 1.0	0.1913	0.6944	0.2342	0.6944	0.3333	0.6944	0.2034	0.6944

太字の数値は、そのメトリックにおいて最も高い値を示しています。