Language Model is All You Need: Natural Language Understanding as Question Answering
tm4roon opened this issue · comments
Takumi MARUYAMA commented
Language Model is All You Need: Natural Language Understanding as Question Answering
事前学習した言語モデルの転移学習に関する研究。従来の転移学習では、source domainをtarget domainに対応させるように調整を行っていた(下図a)。例えば、BERTで単語穴埋め + 次文予測を行ったのちに、テキスト分類タスクに調整する、など。本研究では、target domainをsource domainに対応するように変換を行う方法を提案している(下図b)。具体的にこの論文で対象としているタスクは言語理解タスク(BERT)をsource domainとし、質問応答タスクをtarget domainとしている。質問応答タスクをBERTの学習に適した形式に変換している。結果として、target domain → source domainの変換を行ったのちに学習した方が、source domain → target domainの学習よりに比べて大幅に性能を改善できることを示した。
Question Answering for Natural Language Understanding
質問応答タスクを次の2つの方法で言語理解タスクの形式に変換する。
- Slot Detection
- Intent Detection
Slot Detection
質問応答タスク(QA)では文中に含まれる特定の情報を抽出するのに対し、言語理解タスク(NLU)では、
「〇〇に関する言及はどこですか?」のような質問文を入力に追加して、〇〇の部分に関する語句を推定する。
- QA:
- "show cheap Italian restaurant"
- {"cuisine: "Italian", "price_range": "cheap", "area": None}
- NLU:
- Input: "show cheap Italian restaurant" + "what cuisine was mentioned?"
- Output: "Italian"
Intent Detection
上記と同様に、"Is the intent asking about ____?"のようなYES/NOの質問を追加して発話意図を推定させるタスクに置き換える。
Results
文献情報
- 著者: Mahdi Namazifar, Alexandros Papangelis, Gokhan Tur, Dilek Hakkani-Tür
- リンク: https://arxiv.org/abs/2011.03023
- 学会: arXiv