コンテンツへスキップ
- Scaling Open-Ended Reasoning to Predict the Future [56.7]
我々は、オープンエンドの予測質問の予測を行うために言語モデルを訓練する。 トレーニングデータをスケールアップするために、毎日のニュースで報告されるグローバルイベントから新しい予測質問を合成する。 トレーニングの予測によるキャリブレーションの改善は、一般的なベンチマークで一般化されている。
論文 参考訳（メタデータ） (Wed, 31 Dec 2025 18:59:51 GMT)
- 「If trained at scale for forecasting world events, Large Language Models (LLMs) may enjoy structural advantages over humans: they can ingest and synthesize vast, heterogeneous corpora across thousands of topics; and update predictions rapidly as new information arrives. Just like language models now show superhuman reasoning on some exam-style math and coding problems (OpenAI, 2025), in the future, language model forecasters may be able to come up with possibilities that humans miss.」というモチベーションの研究。難しいタスクであり、Leakageの影響も懸念されるが、かなり慎重にデータを扱っている印象。
- プロジェクトサイトはScaling Open-Ended Reasoning to Predict the Future、リポジトリはGitHub – OpenForecaster/scaling-forecasting-training: Codebase from our first release.
- Can LLMs Estimate Student Struggles? Human-AI Difficulty Alignment with Proficiency Simulation for Item Difficulty Prediction [26.4]
本稿では,多様な領域にまたがる20以上のモデルに対して,人間とAIの難易度を大規模に解析する。 以上の結果から,モデルサイズのスケールアップが確実でない体系的不整合が明らかとなった。 モデルが生徒の能力制限をシミュレートするのに苦労しているため,高い性能が正確な難易度推定を妨げている場合が多い。
論文 参考訳（メタデータ） (Sun, 21 Dec 2025 20:41:36 GMT)
- 問題の難易度を予測させるタスクに関する研究。「This study demonstrates that Large Language Mod- els currently struggle to align with human percep- tion of difficulty despite their advanced problem- solving capabilities. We find that increasing model scale does not guarantee better alignment but rather fosters a machine consensus that systematically diverges from student reality.」知h上に興味深い結果。教育目的の利用で大きな課題になるのと同時に一般的な利用においても注意すべきものに思える。
- リポジトリはGitHub – MingLiiii/Difficulty_Alignment: Can LLMs Estimate Student Struggles? Human-LLM Difficulty Alignment with Proficiency Simulation for Item Difficulty Prediction
- The Role of Risk Modeling in Advanced AI Risk Management [33.4]
急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。 これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。 先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
論文 参考訳（メタデータ） (Tue, 09 Dec 2025 15:37:33 GMT)
- 「We conceptualize AI risk modeling as the tight integration of (i) scenario building— causal mapping from hazards to harms—and (ii) risk estimation—quantifying the likelihood and severity of each pathway. We review classical techniques such as Fault and Event Tree Analyses, FMEA/FMECA, STPA and Bayesian networks, and show how they can be adapted to advanced AI.」とのこと、他分野の例や分析方法など参考になる。
- Measuring Agents in Production [133.8]
プロダクションエージェントは通常、シンプルで制御可能なアプローチで構築されています。 信頼性は依然として最大の開発課題であり、エージェントの正しさの確保と評価の難しさによって推進されます。
論文 参考訳（メタデータ） (Tue, 02 Dec 2025 16:45:10 GMT)
- AIエージェント利用に関する調査。現状は効率化や人間の補完を目指した利用が多い、課題は信頼性など納得感がある。「Production agents favor well-scoped, static work-flows: 68% execute at most ten steps before requiring human intervention, with 47% executing fewer than five steps. Furthermore, 85% of detailed case studies forgo third-party agent frameworks, opting instead to build custom agent ap- plication from scratch. Organizations deliberately constrain agent autonomy to maintain reliability.」も現状はそうだろうと思いつつ、徐々に変化していくんだろうなと思わなくもない。
- Social Simulations with Large Language Model Risk Utopian Illusion [61.4]
社会シミュレーションにおける大規模言語モデルの行動分析のための体系的枠組みを提案する。 本手法は,チャットルーム型会話を通してマルチエージェントインタラクションをシミュレートし,5つの言語的側面にわたって解析する。 以上の結果から,LSMは真の人間の行動を忠実に再現するのではなく,過度に理想化されたバージョンを反映していることが明らかとなった。
論文 参考訳（メタデータ） (Fri, 24 Oct 2025 06:08:41 GMT)
- 様々なところで試されているLLMを用いた社会シミュレーションに関する報告、「Our findings reveal that LLMs do not faithfully reproduce genuine human behavior but instead reflect overly idealized versions of it, shaped by the social desirabil- ity bias. In particular, LLMs show social role bias, primacy effect, and positivity bias, resulting in “Utopian” societies that lack the complexity and variability of real human interactions.」と否定的見解。
- Human-AI Interactions: Cognitive, Behavioral, and Emotional Impacts [0.0]
過度な信頼感、認知的オフロード、社会的および感情的な操作、および人間の代理店の曖昧な劣化と判断の潜在的なリスクが強調される。 観察によると、AIは記憶、創造性、エンゲージメントを大幅に向上させることができるが、批判的思考の減少、スキルの侵食、不安の増加といったリスクももたらしている。 本稿は、人間中心の新たなリスクと利益のバランスをとるための、縦断的研究と評価フレームワークのギャップを浮き彫りにして、責任とコンテキストを意識したAI設計の必要性を明らかにすることを目的としている。
論文 参考訳（メタデータ） (Mon, 20 Oct 2025 17:06:46 GMT)
- 人間とAIのかかわりに関してのサーベイ。リスク面で注意すべきかもしれない事例が多く紹介されている。
- How Do AI Agents Do Human Work? Comparing AI and Human Workflows Across Diverse Occupations [112.6]
エージェントが人間とエージェントの労働者の直接比較を初めて提示することで、エージェントがどのように人間の仕事をするかを考察する。 結果が88.3%速く、コストが90.4-96.2%低いことが判明した。
論文 参考訳（メタデータ） (Sun, 26 Oct 2025 18:10:22 GMT)
- 人間とエージェントの比較、様々な課題も指摘されているが「Compared to an average human worker, agents deliver work 88.3–96.6% faster and at 90.4–96.2% lower costs. Our induced workflows naturally suggest a division of labor: readily programmable steps can be delegated to agents for efficiency, while humans handle the steps where agents fall short.」との結果はやや驚き。
- 「One quarter of human activities we studied involve AI tools, with most used for augmentation purposes: integrating AI into existing workflows with minimal disruption, while improving efficiency by 24.3%. In contrast, AI automation markedly reshapes workflows and slows human work by 17.7%, largely due to additional time spent on verification and debugging (Figure 5).」はまぁそんなものか、という印象はあるが。。
- ツールキットが公開されている。GitHub – zorazrw/workflow-induction-toolkit: A toolkit to induce interpretable workflows from raw computer-use activities.
- Remote Labor Index: Measuring AI Automation of Remote Work [46.5]
AIは、研究指向の知識と推論のベンチマークを急速に進歩させたが、これらの成果が経済的価値と自動化にどのように変換されるかは、まだ不明である。 これを測定するために、実世界の経済的に価値のあるプロジェクトからなる広範囲にわたるマルチセクタベンチマークであるRemote Labor Index (RLI)を導入する。
論文 参考訳（メタデータ） (Thu, 30 Oct 2025 17:58:04 GMT)
- こちらは「RLI establishes an economically grounded measure of AI automation capacity, with 240 projects spanning 23 domains of digital freelance work, each anchored in demonstrated market value. Frontier AI agents perform near the floor on RLI, achieving an automation rate of less than 3%, revealing a stark gap between progress on computer use evaluations and the ability to perform real and economically valuable work.」と指摘。
- The Role of Computing Resources in Publishing Foundation Model Research [84.2]
我々はこれらの資源と基礎モデル(FM)の科学的発展との関係を評価する。 我々は2022年から2024年にかけて発行された6517のFM論文をレビューし、計算資源が科学出力に与える影響について229人の第一著者を調査した。 計算量の増加は国家予算配分や引用と相関していることがわかったが,研究環境との強い相関はみられない。
論文 参考訳（メタデータ） (Wed, 15 Oct 2025 14:50:45 GMT)
- 計算リソースと研究成果の関係に関する分析。「We found that projects with access to greater GPU power generally produce more advanced pre-trained models, often achieving higher performance thanks to longer training on larger models and datasets.」という示唆はそうだろうなーと思うしなかなか開示できない事情は理解しつつも「This is generally a serious reporting gap: only 16.51% of papers include GPU quantity information, 24.22% specify GPU types, and just 12.86% report inference times.」は問題だと思う。
- プロジェクトサイトはChasing Compute – Foundation Model Research
- Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.1]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (Tue, 12 Aug 2025 09:42:56 GMT)
- 「This paper offers a comprehensive overview of AI governance, addressing challenges across intrinsic security, derivative security, and social ethics.」とガバナンスについて概要がまとまった論文。リポジトリもあって良い感じ（だが、リポジトリの論文リストは更新中？）
- リポジトリはGitHub – ZTianle/Awesome-AI-SG: Awesome papers and resources related to the AI Safety and Governance
- Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report [51.2]
本報告では,フロンティアリスクの包括的評価について述べる。 サイバー犯罪、生物学的および化学的リスク、説得と操作、制御不能な自律型AIR&D、戦略的騙しと計画、自己複製、共謀の7つの分野における重要なリスクを特定します。
論文 参考訳（メタデータ） (Tue, 22 Jul 2025 12:44:38 GMT)
- 強力なAIに対するリスクの評価。最初に「Guided by the “AI-45◦Law,” we evaluate these risks using “red lines” (intolerable thresholds) and “yellow lines” (early warning indicators) to define risk zones: green (manageable risk for routine deployment and continuous monitoring), yellow (requiring strengthened mitigations and con- trolled deployment), and red (necessitating suspension of development and/or deployment). Experimental results show that all recent frontier AI models reside in green and yellow zones, without crossing red lines.」とあるが、セキュリティだと「However, none could accomplish more complex attacks, such as MH_K, MH_N, or full-chain exploitation. These findings indicate that while current models can execute simple cyber operations, they remain incapable of conducting sophisticated, real-world cyber attacks.」など具体的な内容になっている。