Inner Monologue: 大規模言語モデルの計画への利用

  • Inner Monologue: Embodied Reasoning through Planning with Language Models [81.1]
    大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
    論文  参考訳（メタデータ）   (Tue, 12 Jul 2022 15:20:48 GMT)

OmniTab: 合成データを併用したTable QA

不公平なモデルをエビデンス付きで指摘するタスク:Revealing Unfair Models by mining Interpretable Evidence (RUMIE)

  • Revealing Unfair Models by Mining Interpretable Evidence [50.5]
    機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
    論文  参考訳（メタデータ）   (Tue, 12 Jul 2022 20:03:08 GMT)
    • 不公平さをエビデンス付きで明らかにするタスク・手法の提案
    • 社会実装のために重要な技術であると思う

言語モデルのリサイクル

  • Embedding Recycling for Language Models [38.1]
    我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55～86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 11 Jul 2022 16:36:14 GMT)
    • layerを凍結させるのではなく、出力をキャッシュして学習等を高速化する仕組みの提案。（当然ながら）最初にデータすべてのrepresantaionを計算する必要がある。
    • リポジトリはGitHub – allenai/EmbeddingRecycling

Video Graph Transformer (VGT) for Video Quetion Answering (VideoQA)

  • Video Graph Transformer for Video Question Answering [182.1]
    本稿では,ビデオクエリアンサー(VideoQA)のためのビデオグラフ変換器(VGT)モデルを提案する。 事前学習のないシナリオでは,VGTは先行技術よりも動的関係推論に挑戦するビデオQAタスクにおいて,はるかに優れたパフォーマンスが得られることを示す。
    論文  参考訳（メタデータ）   (Tue, 12 Jul 2022 06:51:32 GMT)
    • ビデオに対するQuestion Answeringのため動画像内のオブジェクトのグラフ構造も用いたTransformerを用いているが、こんなことが可能なんだな。。。という感想。
    • リポジトリはhttps://github.com/sail-sg/VGTとのことだが、今は404

SLaK: Sparse Large Kernel Network

DavarOCR

  • DavarOCR: A Toolbox for OCR and Multi-Modal Document Understanding [27.0]
    DavarOCRは、OCRとドキュメント理解タスクのためのオープンソースのツールボックスである。 DavarOCRは19の高度なアルゴリズムを実装し、9つのタスク形式をカバーする。
    論文  参考訳（メタデータ）   (Thu, 14 Jul 2022 06:54:47 GMT)
    • オープンなOCRツール。一般的な「Text Detection」「Text Recognition」だけでなく「Text Spotting」「Video Text Spotting」「Information Extraction」「Table Recognition」「Table Understanding」「Layout Recognition」「Reading Order Detection」「Named Entity Recognition」が含まれているのがすごい。
    • リポジトリはGitHub – hikopensource/DAVAR-Lab-OCR: OCR toolbox from Davar-Lab

DocCoder: ドキュメントを利用したコード生成

オノマトペデータセットと検出・認識・リンク

  • COO: Comic Onomatopoeia Dataset for Recognizing Arbitrary or Truncated Texts [47.5]
    日本語漫画におけるオノマトペのテキストからなる新しい漫画オノマトペデータセット(COO)を提供する。 COOは、非常に湾曲した、部分的に縮小したテキスト、任意に配置されたテキストなど、多くの任意のテキストを持っている。 我々は,オノマトペ領域を検出し,その意図した意味を捉えるために,テキスト検出,テキスト認識,リンク予測という3つのタスクを実行する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 11 Jul 2022 07:39:35 GMT)

BigBIO

  • BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing [13.3]
    バイオメディカルNLPデータセット126以上のコミュニティライブラリであるBigBIOを紹介する。 BigBIOは、データセットとそのメタデータへのプログラムアクセスを通じて、再現可能なメタデータキュレーションを容易にする。 本稿では,タスクスキーマ,データ監査,コントリビューションガイドライン,および2つの実証的ユースケースの概要について論じる。
    論文  参考訳（メタデータ）   (Thu, 30 Jun 2022 07:15:45 GMT)
    • バイオ・医療分野のデータセット。126のデータセットがありタスクカテゴリは以下の12とのこと。
      • Knowledge Base (KB)
        • Named entity recognition (NER)
        • Named entity disambiguation/normalization/linking (NED)
        • Event extraction (EE)
        • Relation extraction (RE)
        • Coreference resolution (COREF)
      • Question Answering (QA)
        • Question answering (QA)
      • Textual Entailment (TE)
        • Textual entailment (TE)
      • Text Pairs (PAIRS)
        • Semantic Similarity (STS)
      • Text to Text (T2T)
        • Paraphasing (PARA)
        • Translation (TRANSL)
        • Summarization (SUM)
      • Text (TEXT)
        • Text classification (TXTCLASS)