- Human or Machine? Turing Tests for Vision and Language [22.1]
我々は、現在のAIを人間を模倣する能力で体系的にベンチマークする。 実験では、769人の人的エージェント、24人の最先端AIエージェント、896人の人的裁判官、8人のAI裁判官がテストされた。 その結果、現在のAIは、性別、年齢、教育レベルによって人間の裁判官を偽装できるわけではないことが判明した。
論文 参考訳（メタデータ） (Wed, 23 Nov 2022 16:16:52 GMT) - 大規模なチューリングテスト。AIがチューリングテストを受けるだけでなく、ジャッジもしているのが面白い。
- チューリングテストには批判も多いが大規模実験の結果は面白い。長い対話はともかくとしてAIか人間かの判断は難しいように思えるし、その判断ですらAIの性能は高いよう。
- データ等はhttps://tinyurl.com/8x8nha7pで公開されているとのこと