コンテンツへスキップ
- FormLM: Recommending Creation Ideas for Online Forms by Modelling Semantic and Structural Information [33.7]
オンラインフォームをモデル化し、フォーム作成のアイデアを推奨するためにFormLMを提示します。 モデルトレーニングと評価のために、62Kのオンラインフォームを持つ最初の公開オンラインフォームデータセットを収集する。 実験の結果,FormLMはすべてのタスクにおいて汎用言語モデルよりも優れていた。
論文 参考訳（メタデータ） (Thu, 10 Nov 2022 01:32:55 GMT)
- オンラインアンケートなどのフォーム生成を支援するためのモデルの提案、データセットから構築している。「Form Creation Ideasは過去には体系的に研究されていない」というのはその通りだと思う…実用的なタスクとPLMを用いた問題解決の方針が参考になる。
- プロジェクトサイトはhttps://github.com/microsoft/FormLMとのことだが、現時点では404。
- Discord Questions: A Computational Approach To Diversity Analysis in News Coverage [84.6]
本稿では,情報源の違いを識別し,ニュース報道の多様性を理解する上で,読者を支援する新しい枠組みを提案する。 このフレームワークはDiscord Questionsの生成に基づいている。
論文 参考訳（メタデータ） (Wed, 9 Nov 2022 16:37:55 GMT)
- ソースの違いを明確にする枠組みの提案。質問の生成→QAモデルによる回答収集→回答の統合というパイプラインを用いている。（記者の視点等が入るため）ニュースソースごとに質問応答（抽出されるデータ）は異なるはずで直感的にも効果的なアプローチのように思う。
- リポジトリはsalesforce/discord_questions (github.com)
- GREENER: Graph Neural Networks for News Media Profiling [24.7]
本稿では,ウェブ上でのニュースメディアのプロファイリングの問題について,その実態と偏見について考察する。 私たちの主な焦点は、オーディエンスの重複に基づいて、メディア間の類似性をモデル化することにあります。 予測精度は2つのタスクに対して2.5-27マクロF1ポイント向上した。
論文 参考訳（メタデータ） (Thu, 10 Nov 2022 12:46:29 GMT)
- グラフに基づくニュースメディアの分析。ramybaly/News-Media-Reliability (github.com)を使って分析しており、Alexa MetricsやTwitter、Facebook、YouTube、Wikipediaなどデータを追加していった時の動きが興味深い
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [266.0]
大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
論文 参考訳（メタデータ） (Wed, 9 Nov 2022 18:48:09 GMT)
- オープンなLLM、bigscience/bloom · Hugging Faceの論文
- オープンな巨大モデルは貴重であり自然言語処理分野での重要な研究成果。関わっている研究者も非常に多い。使用したデータセットに日本語が入っていない点は残念。ただ、Codeとして含まれていな内容を通じてか日本語も一定レベルで処理が可能であるのは興味深い。
- Multilingual Multimodality: A Taxonomical Survey of Datasets, Techniques, Challenges and Opportunities [10.7]
マルチ言語とマルチモーダル(MultiX)ストリームの統合について検討する。 我々は、並列アノテーションで研究された言語、金または銀のデータを調べ、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。 モデリングアプローチの長所と短所とともに、どのシナリオを確実に使用できるのかをよりよく理解するために、モデリングアプローチについて説明します。
論文 参考訳（メタデータ） (Sun, 30 Oct 2022 21:46:01 GMT)
- 音声認識等で用いられる音素トークンの分離、動的グラフの表現学習に関する2vecシリーズ
- token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.0]
token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
論文 参考訳（メタデータ） (Sun, 30 Oct 2022 06:38:19 GMT)
- DyG2Vec: Representation Learning for Dynamic Graphs with Self-Supervision [30.7]
動的グラフ上での表現学習のための効率的なモデルであるDyG2Vecを提案する。 DyG2Vecはウィンドウベースのメカニズムを使用してタスクに依存しないノード埋め込みを生成し、将来のインタラクションを予測する。 2つのSSL評価機構を適用して動的グラフに適用し、SSL事前トレーニングがより堅牢な時間ノード表現の学習に役立つことを示す。
論文 参考訳（メタデータ） (Sun, 30 Oct 2022 18:13:04 GMT)
- CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data [61.1]
CausalBenchは、大規模摂動単細胞遺伝子発現データに基づくネットワーク推定手法を評価するための総合ベンチマークスイートである。 CaulBenchは、摂動下で生成された単一セルデータから遺伝子制御ネットワークの推論方法を評価するために、2つの大きく、キュレートされ、公開されているベンチマークデータセットを運用している。
論文 参考訳（メタデータ） (Mon, 31 Oct 2022 13:04:07 GMT)
- 大規模な（摂動下の）遺伝子発現のベンチマーク
- How Far are We from Robust Long Abstractive Summarization? [39.3]
我々は、信頼できる要約を生成するために、長い文書抽象要約システム(モデルとメトリクス)を実装して評価する。 長期の文書評価指標について,人間の評価結果から,ROUGEは要約の関連性を評価する上で最善であることが明らかとなった。 我々は、より広い範囲の要約設定でメトリクスの開発に貢献できることを願って、注釈付き長いドキュメントデータセットをリリースします。
論文 参考訳（メタデータ） (Sun, 30 Oct 2022 03:19:50 GMT)
- 一般的に難しい長文要約の評価に関する論文。色々指摘を受けているROUGEが悪くない結果を出していて少し驚き。fine tuningの重要性からもドメイン合わせないと辛い自然言語処理の特徴が見えている気もする。
- リポジトリはhuankoh/How-Far-are-We-from-Robust-Long-Abstractive-Summarization (github.com)
- Lila: A Unified Benchmark for Mathematical Reasoning [60.0]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳（メタデータ） (Mon, 31 Oct 2022 17:41:26 GMT)
- 数学的な推論のためのデータセット。23タスク44データセットと大規模。GPT-Neo-2.7Bをfinetuneしたモデル、GPT-3/Codexのfew shotで検証されておりCodexが比較的高性能。ただ、スコアは高くない。