2022年2月14日 – arXiv最新論文の紹介

GPTスタイルのモデルに対するニューロンタイプの同定とROME(Rank-One Model Editing)による編集

Locating and Editing Factual Knowledge in GPT [32.3]
我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合（抽象的な事実を知る、具体的な言葉を言う）と一致している。この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
論文参考訳（メタデータ） (Thu, 10 Feb 2022 18:59:54 GMT)
- GPT系モデルのうち「何かを知っている」部分と「何かを言う」部分を識別し、かつ、前者を編集する方法を提案。Fugu-MT 論文翻訳(概要): Fast Model Editing at Scale (fugumt.com)よりも優れているとのこと。XAIの文脈でも実用的な編集の文脈でも興味深い結果。
- プロジェクトサイトはRome (baulab.info)

Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.7]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文参考訳（メタデータ） (Wed, 9 Feb 2022 17:26:08 GMT)
- 事前学習モデルを用いて教師無しでトピック発見を行う手法の提案。LDA、ETMやBERTopicを上回る性能とのこと。
- リポジトリはGitHub – yumeng5/TopClus: [WWW 2022] Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations

Generating Training Data with Language Models: Towards Zero-Shot Language Understanding [35.9]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 NLUタスクのゼロショット学習に両タイプのPLMを用いる簡単な手法を提案する。提案手法は,GLUEベンチマークの7つの分類タスクに対して高い性能を示す。
論文参考訳（メタデータ） (Wed, 9 Feb 2022 16:02:18 GMT)
- GPT系のPLMをデータ生成に用い、双方向なBERT系PLMをfine tuningすることで優れた性能（Few(32)-shotを上回る性能）を達成とのこと。データ生成時の確率を使用したフィルタリング、ラベルスムージング・アンサンブル等が高精度な結果に寄与しているとのこと。
  - アプローチとしてはGPT-3を用いた教師無しのニューラル機械翻訳 – arXiv最新論文の紹介 (devneko.jp)に近いが、生成モデルの情報をより活用している印象
- リポジトリはGitHub – yumeng5/SuperGen: Generating Training Data with Language Models: Towards Zero-Shot Language Understanding

Mental Stress Detection using Data from Wearable and Non-wearable Sensors: A Review [11.1]
ヒトのストレス反応を測定する方法は、ウェアラブルと非ウェアラブルセンサーのデータを用いて観察された主観的アンケートと客観的マーカーを含むことができる。各種情報源からの関連データを利用して, ストレス検出手法が人工知能の恩恵を受ける方法について検討する。
論文参考訳（メタデータ） (Mon, 7 Feb 2022 09:48:46 GMT)
- ウェアラブル（脳波や筋電、心拍など）、非ウェアラブル（瞳孔、音声、熱など）センサーからストレス反応を検出できるかのサーベイ。本文だけで67ページと広範な内容。