タグ: 対話

• Human or Machine? Turing Tests for Vision and Language [22.1]
  我々は、現在のAIを人間を模倣する能力で体系的にベンチマークする。 実験では、769人の人的エージェント、24人の最先端AIエージェント、896人の人的裁判官、8人のAI裁判官がテストされた。 その結果、現在のAIは、性別、年齢、教育レベルによって人間の裁判官を偽装できるわけではないことが判明した。
  論文  参考訳（メタデータ）   (Wed, 23 Nov 2022 16:16:52 GMT)
• 大規模なチューリングテスト。AIがチューリングテストを受けるだけでなく、ジャッジもしているのが面白い。
• チューリングテストには批判も多いが大規模実験の結果は面白い。長い対話はともかくとしてAIか人間かの判断は難しいように思えるし、その判断ですらAIの性能は高いよう。
• データ等はhttps://tinyurl.com/8x8nha7pで公開されているとのこと

• Doc2Bot: Accessing Heterogeneous Documents via Conversational Bots [103.5]
  Doc2Botは、ユーザーが会話を通じて情報を求めるのを助けるマシンを構築するためのデータセットである。 われわれのデータセットには、5つのドメインの中国の文書に基づく10万回以上のターンが含まれている。
  論文  参考訳（メタデータ）   (Thu, 20 Oct 2022 07:33:05 GMT)
  • 会話を通じた情報検索（DGDS: document-grounded dialog system）を支援するためのデータセット。中国語のデータ。
  • リポジトリはDoc2Bot/Doc2Bot (github.com)

• Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of Movie Dialogues [20.2]
  映画に登場する社会的偏見やステレオタイプは、リーチによって大きなダメージを与える可能性がある。 同一性バイアスに注釈を付けた映画脚本のデータセットを新たに導入する。 データセットには、(i) バイアスラベルに、性別、人種/民族、宗教、年齢、職業、LGBTQ、その他の7つのカテゴリのダイアログがアノテートされている。
  論文  参考訳（メタデータ）   (Wed, 1 Jun 2022 05:43:53 GMT)
  • 映画内の対話における偏見などバイアスをアノテーションしたデータセットの提案。35の映画における対話をアノテーションし、49117文のうちバイアスは1181文に存在したとのこと。
  • リポジトリはGitHub – sahoonihar/HIBD_LREC_2022

• A Conversational Paradigm for Program Synthesis [110.9]
  本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
  論文  参考訳（メタデータ）   (Mon, 28 Mar 2022 17:10:30 GMT)
  • 対話によるコード自動生成。リポジトリのビデオを見るのが分かりやすいが、非常に未来を感じるデモになっている。
  • リポジトリはGitHub – salesforce/CodeGen: CodeGen is an open-source model for program synthesis. Trained on TPU-v4. Competitive with OpenAI Codex.

• CAISE: Conversational Agent for Image Search and Editing [109.6]
  画像検索・編集のための自動会話エージェント(CAISE)のデータセットを提案する。 私たちの知る限り、これは対話型画像検索とアノテーションの編集を提供する最初のデータセットです。 アシスタントアノテーションがツールで実行する機能は実行可能なコマンドとして記録される。
  論文  参考訳（メタデータ）   (Thu, 24 Feb 2022 00:55:52 GMT)
  • 画像検索、編集を対話で行うモデル構築のためのデータセットを提案。ベースラインモデルも構築しているが、人との差は大きい。
    • Adobe Researchの論文で今後このようなインタフェースに期待大。
  • リポジトリはGitHub – hyounghk/CAISE: Code and dataset for AAAI 2022 paper “CAISE: Conversational Agent for Image Search and Editing” Hyounghun Kim, Doo Soon Kim, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Mohit Bansal

• ArgSciChat: A Dataset for Argumentative Dialogues on Scientific Papers [61.8]
  学術論文のドメインエキスパートとして科学者間の対話を収集する新しい枠組みを導入する。 我々のフレームワークは、科学者が論文を対話の根拠として提示し、論文のタイトルを気に入った対話に参加することを可能にする。新しい議論的対話データセットArgSciChatの収集にフレームワークを使用します。 41の対話から収集された498のメッセージと20の科学論文からなる。
  論文  参考訳（メタデータ）   (Mon, 14 Feb 2022 13:27:19 GMT)
  • 科学者の対話という珍しいデータセット。科学的対話は難しい領域であることがわかったとのこと。
    • 会話エージェントがうまく動作しないという結果はそんなものだと思うが、その理由がはっきりしない気がしている。。。
  • リポジトリはGitHub – federicoruggeri/argscichat_project: Official repository of paper “ArgSciChat: A Dataset of Argumentative Conversational Discussions on Scientific Papers”

• Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks [95.3]
  本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
  論文  参考訳（メタデータ）   (Wed, 16 Feb 2022 11:59:29 GMT)
  • 今後ユーザインタフェースとして普及が予想される対話システムにおいて、社内的バイアスの存在が問題視されている。その検出のためのデータセット（中国版）を作成、ベースラインを提供。
  • データセットは今後公開予定とのこと。