コンテンツへスキップ
- Large Language Model for Science: A Study on P vs. NP [88.7]
大規模言語モデル(LLM)を用いて,P対NP問題の研究を促進・促進する。 具体的には、複雑な問題解決のためのLLMを用いた奥行き思考を促進する一般的なフレームワークであるソクラティック推論を提案する。 我々のP対NP問題に関するパイロット研究は、GPT-4が証明スキーマの生成に成功し、97の対話ターンを通して厳密な推論を行うことを示した。
論文 参考訳（メタデータ） (Mon, 11 Sep 2023 17:49:27 GMT)
- P vs NP問題を対象にLLM（GPT-4） + socratic reasoningで深い思考をしていく試行。著者らはLLM for Scienceと呼んでいるが、確かに興味深い結果。今後このように知識を深めていくスタイルが一般的になるのだろうか。
- プロジェクトサイトはAdvancing AI for humanity | Foundation of AI (thegenerality.com)
- AI Deception: A Survey of Examples, Risks, and Potential Solutions [20.8]
本稿は、現在のAIシステムが人間を騙す方法を学んだことを論じる。 我々は虚偽を、真理以外の結果の追求において、虚偽の信念を体系的に誘導するものとして定義する。
論文 参考訳（メタデータ） (Mon, 28 Aug 2023 17:59:35 GMT)
- AIが「人を欺く」方法を学んだとして、リスクとその解決策を調査した論文。事例が多く紹介されておりとても興味深い。
- 「Regulation」「Bot-or-not laws」「Detection」「Making AI systems less deceptive」の4つが解説策として挙げられている。開発側に何らかの制約をかけないと対応困難なのだろうか。
- Identifying and Mitigating the Security Risks of Generative AI [179.2]
本稿では,GenAIによるジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
論文 参考訳（メタデータ） (Mon, 28 Aug 2023 18:51:09 GMT)
- LLMなど生成AIを使った攻撃と防御に関して整理した論文。Capability, Attack, Defenceと整理されている。AttackのところではSpear-phishing、Hallucinations、Dissemination of deepfakes、Proliferation of cyberattacks、Low barrier-of-entry for adversaries、Lack of social awareness and human sensibility、 Data feedback loops、Unpredictabilityが挙げられている。Unpredictabilityに「Currently, we remain unaware of the full range of capabilities and threats posed by GenAI models.」とあるのが興味深い。
- Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment [15.7]
本稿では,大規模言語モデル(LLM)の評価において考慮すべき重要な要素について,包括的に調査する。 この調査は、信頼性、安全性、公正性、誤用に対する抵抗性、説明可能性と推論、社会的規範への固執、堅牢性の7つの主要なカテゴリーをカバーしている。 結果は、一般に、より整合したモデルは、全体的な信頼性の観点から、より良いパフォーマンスを示す傾向があることを示している。
論文 参考訳（メタデータ） (Thu, 10 Aug 2023 06:43:44 GMT)
- LLMの社会実装に関する包括的なサーベイ。reliability, safety, fairness, resistance to misuse, explainability and reasoning, adherence to social norms, robustnessが対象で大規模。
- Jailbroken: How Does LLM Safety Training Fail? [92.9]
ChatGPTの初期リリースに対する”jailbreak”攻撃は、望ましくない振る舞いを引き起こす。 このような攻撃がなぜ成功し、どのように発生できるかを考察する。 障害モードを利用した新たな攻撃は、安全でない要求の収集において、すべてのプロンプトで成功します。
論文 参考訳（メタデータ） (Wed, 5 Jul 2023 17:58:10 GMT)
- LLM（のAPIなどのサービス）に対するJailbreak攻撃に関して整理とGPT-4, Claude v1.3, GPT-3.5 Turboに対する評価結果。単純な攻撃は成功しにくいが複合的な攻撃は有効など、対策はしているが完全とは言い難いよう。Appendixも参考になる。
- A Comparative Audit of Privacy Policies from Healthcare Organizations in USA, UK and India [19.5]
本稿では,米国,英国,インドにおける医療機関のプライバシポリシを監査するための大規模データ駆動型研究を提案する。 まず、これらの国の何千もの医療機関のプライバシポリシを収集し、クラスタリングベースの混合メソッド技術を使用して、このプライバシポリシデータをクリーン化した。 第2に、各国の正確なデータプラクティスを明らかにし、重要な違いに気づくために、要約ベースの手法を採用しました。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 14:21:37 GMT)
- 医療機関のプライバシーポリシーの分析に自然言語処理を使った研究
- この手の分析にはfew-shotで高速な試行が可能なLLMが向いていそうな気がする（本研究では用いられていない）
- You Don’t Need Robust Machine Learning to Manage Adversarial Attack Risks [31.1]
機械学習モデルを不規則な予測に変換する能力は驚くべきものだ。 現行の緩和には高いコストが伴い、同時にモデルの精度が低下する。 これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するか、という視点で行われます。
論文 参考訳（メタデータ） (Fri, 16 Jun 2023 16:32:27 GMT)
- 衝撃的なタイトルだが、「Our work elucidates that not all situations require robust machine learning to defend against adversarial attacks, and that a larger risk assessment should be performed.」「In real-life deployments, the cost of adding robustness may exceed its benefits.」とのことで結論は納得のいくものとなっている。不必要に頑張る必要はない。
- DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [76.8]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 評価の結果,信頼感の脅威に対する未公表の脆弱性が判明した。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 17:24:23 GMT)
- GPT-4とGPT-3.5の信頼性を検証した論文。通常はGPT-4の方が信頼性が高いが「GPT-4 is more vulnerable given jailbreaking system or user prompts」とのこと。GPT-4は（jailbreakingされた場合も）より忠実に命令に従おうとするためかもしれないとしている。90ページと長いが、非常に詳細な検証がなされていてとても勉強になる。
- プロジェクトサイトはDecodingTrust Benchmark
- 14 Examples of How LLMs Can Transform Materials Science and Chemistry: A Reflection on a Large Language Model Hackathon [31.1]
我々は化学、材料科学などにおける大規模言語モデル(LLM)の適用についてハッカソンを開催した。 この記事ではハッカソンの一部として構築されたプロジェクトを概説する。 多様なトピックや作業プロトタイプが2日以内で生成されるという事実は、LLMが私たちの分野の将来に大きな影響を与えることを浮き彫りにします。
論文 参考訳（メタデータ） (Tue, 13 Jun 2023 07:44:32 GMT)
- 化学分野におけるLLM利用ハッカソンの報告、いろいろなアイデアがあって興味深いのとデモがあるのが凄い。「The diverse topics and the fact that working prototypes could be generated in less than two days highlight that LLMs will profoundly impact the future of our fields.」との記載が印象的。
- Multi-lingual and Multi-cultural Figurative Language Understanding [69.5]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳（メタデータ） (Thu, 25 May 2023 15:30:31 GMT)
- 多言語（多文化）な比喩表現（figurative language）のデータセット。
- 面白いデータではあるが、日本語部分に違和感がある例があるような気もしなくはない…時間があれば修正提案をしてみようかと思う
- GitHub – simran-khanuja/Multilingual-Fig-QA: Creating the multilingual version of Fig-QA