2022年9月28日 – arXiv最新論文の紹介

SQA(Science Question Answering)、SCIENCEQAベンチマーク

Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.2]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文参考訳（メタデータ） (Tue, 20 Sep 2022 07:04:24 GMT)
- 21kからなるマルチモーダル、マルチホップを含むQAデータセット。注釈等も付与されている。GPT-3 ＆ chain-of-thought (CoT)で正解率75.17%とのこと。
  - 既に低くないのでは？と思わなくもない。
- プロジェクトサイトはScienceQA

FairGBM: Gradient Boosting with Fairness Constraints [4.5]
公平性制約下での勾配向上決定木(GBDT)の学習フレームワークであるFairGBMを提案する。オープンソース実装は、関連する作業と比較した場合のトレーニング時間の桁違いのスピードアップを示している。
論文参考訳（メタデータ） (Mon, 19 Sep 2022 15:16:25 GMT)
- 公平性制約を入れたLightGBM、良いトレードオフを実現しているように見えるが、データによって相性の悪いものもありそう。
- feedzai/fairgbm: Train Gradient Boosting models that are both high-performance *and* Fair! (github.com)

Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder [19.4]
本稿ではRelational Graph 拡張 Hybrid table-Numerical reasoning model with RegHNT を提案する。表文ハイブリッドコンテンツに対する数値質問応答を表現木生成タスクとしてモデル化し,表文ハイブリッドQAベンチマーク(TAT-QA)で検証した。
論文参考訳（メタデータ） (Fri, 16 Sep 2022 03:15:12 GMT)
- 多くのドキュメントでテキストと表が混在しており、そのデータに対するQuestion Answeringは難しい。本件はデータをグラフ構造に変換、QAのQ部分をツリー構造に変換してグラフとの対応を取るアプローチのよう。
  - コードが公開されたら内部を追ってみたい…
- リポジトリはlfy79001/RegHNT: Code for COLING 2022 long paper: Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder (github.com)