タグ: 社会実装

• Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce [45.3]
  作業員がAIエージェントの自動化や強化を望んでいるかを評価するための新しい枠組みを導入する。 我々のフレームワークは、ニュアンスな労働者の欲求を捉えるために、オーディオ強化されたミニインタービューを備えている。 我々はWORKBankデータベースを構築し、1500のドメインワーカーの好みとAI専門家の能力評価を収集する。
  論文  参考訳（メタデータ）   (Wed, 11 Jun 2025 21:25:21 GMT)
• 「This paper presents the first large-scale audit of both worker desire and technological capability for AI agents in the context of automation and augmentation.」という調査報告。下記４象限で見ると希望しているものと研究の方向性があっているとは言い難そう。
  • Automation “Green Light” Zone: Tasks with both high automation desire and high capability. These are prime candidates for AI agent deployment with the potential for broad productivity and societal gains.
  • Automation “Red Light” Zone: Tasks with high capability but low desire. Deployment here warrants caution, as it may face worker resistance or pose broader negative societal implications
  • R&D Opportunity Zone: Tasks with high desire but currently low capability. These represent promising directions for AI research and development.
  • Low Priority Zone: Tasks with both low desire and low capability. These are less urgent for AI agent development.
• 下記の研究結果ともあわせてAIを使い続けていくと傾向が変わったりするのか、気になるところ。

• Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task [17.6]
  本研究は、教育文脈における大規模言語モデル（LLM）の使用が認知負荷に与える影響を調査しました。54人の参加者を対象に、LLM、検索エンジン、脳のみのグループに分け、脳波（EEG）を用いて神経活動を記録し、学習効果を測定しました。結果として、LLM群は他のグループと比較して認知的なネットワーク接続が弱く、学習スキルの低下が見られ、AIが学習環境に与える影響の理解に向けた初歩的な指針を提供することを目指しています。
  論文  参考訳（メタデータ）   (Tue, 10 Jun 2025 15:04:28 GMT)
• AIの活用が人間にどのような影響を与えるか、教育関連の報告。「As the educational impact of LLM use only begins to settle with the general population, in this study we demonstrate the pressing matter of a likely decrease in learning skills based on the results of our study. The use of LLM had a measurable impact on participants, and while the benefits were initially apparent, as we demonstrated over the course of 4 months, the LLM group’s participants performed worse than their counterparts in the Brain-only group at all levels: neural, linguistic, scoring.」とやや怖い結果になっている。
• プロジェクトサイトはYour Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

• Protecting Human Cognition in the Age of AI [2.1]
  ジェネレーティブAI（GenAI）の急速な普及は、人間の認知に大きな影響を及ぼしており、情報との関わり方や思考、学習の仕方を再構築しています。本稿では、特に学生などの初心者に焦点を当て、効果的な人間とAIの相互作用を理解する重要性を強調し、批判的思考を促進する教育体験の再設計について考察しています。また、GenAIが認知能力に与える影響や、情報過多などの社会的要因との相互作用についても探求しています
  論文  参考訳（メタデータ）   (Fri, 11 Apr 2025 21:14:29 GMT)
• 短めだがSurvey的な論文。

• Understanding Gen Alpha Digital Language: Evaluation of LLM Safety Systems for Content Moderation [8.9]
  この研究は、AIシステムがジェネレーションアルファのデジタル言語をどのように解釈するかの独特な評価を提供する(Gen Alpha、2010年生まれ-2024年) Gen Alphaは、没入型のデジタルエンゲージメントと、進化するコミュニケーションと既存の安全ツールとのミスマッチの増加により、新たな形のオンラインリスクに直面している。 この研究は、ゲームプラットフォーム、ソーシャルメディア、ビデオコンテンツからの100の最近の表現のデータセットを使用して、オンラインの安全性に直接影響する重要な理解障害を明らかにしている。
  論文  参考訳（メタデータ）   (Wed, 14 May 2025 16:46:11 GMT)
• デジタルネイティブ世代とのギャップに関する研究、「Most critically, protection systems consistently lagged behind the rapid evolution of expressions, creating windows of vulnerability where concerning interactions went undetected」で「The resulting trust gap led many Gen Alpha users to avoid reporting concerning interactions, believing adults would misunderstand or minimize their experiences.」とのこと。。
• 生成AI時代はもっとギャップが広がるのだろうか・・・
• リポジトリはGitHub – SystemTwoAI/GenAlphaSlang

• Societal and technological progress as sewing an ever-growing, ever-changing, patchy, and polychrome quilt [44.5]
  我々は、道徳的多様性の持続性を見落としているようなシステムが、抵抗を引き起こし、信頼を失わせ、制度を不安定化するのではないかと心配している。 理想的な条件下では、合理的なエージェントは単一の倫理上の会話の限界に収束するという考えである。 我々は、この前提をオプション的かつ疑わしいものとみなし、紛争理論、文化進化、マルチエージェントシステム、制度経済学に基づく代替アプローチとして、適切性枠組みと呼ぶものを提案する。
  論文  参考訳（メタデータ）   (Thu, 08 May 2025 12:55:07 GMT)
• 「This paper traces the underlying problem to an often-unstated Axiom of Rational Convergence: the idea that under ideal conditions, rational agents will converge in the limit of conversation on a single ethics. Treating that premise as both optional and doubtful, we propose what we call the appropriateness framework: an alternative approach grounded in conflict theory, cultural evolution, multi-agent systems, and institu- tional economics.」から始まる論文。
• 1. Contextual grounding、2. Community customization、3. Continual adaptation、4. Polycentric governanceはその通りだと思うし「it’s recognizing the actual pattern of human history, where we’ve demonstrably managed to live together despite fundamental disagreements, not by resolving them」は（実際は良くないことも多々起こっているけど）とても大枠として事実そうかもしれないが、具体的にどうやっていくべきかは頭を抱えるという現実がありそうな。色々と考えさせる論文という印象。
  • 「For the latter, we have to shift from seeking agreement to managing conflict and enabling coexistence through shared practices and norms. This doesn’t imply “anything goes”.」とは書かれているが・・・

• The Leaderboard Illusion [30.2]
  アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。 我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
  論文  参考訳（メタデータ）   (Tue, 29 Apr 2025 15:48:49 GMT)
• Chatbot Arena に対する問題点の指摘と改善提案
• 「We find that undisclosed private testing practices benefit a handful of providers who are able to test multiple variants before public release and retract scores if desired.」、「At an extreme, we identify 27 private LLM variants tested by Meta in the lead-up to the Llama-4 release.」は確かに問題
• リーダーボードの設計、運用はとても難しいが、できるところは改善を期待したい

• MMDT: Decoding the Trustworthiness and Safety of Multimodal Foundation Models [101.7]
  MMFM(Multimodal foundation model)は、自律運転、ヘルスケア、バーチャルアシスタントなど、様々なアプリケーションにおいて重要な役割を果たす。 既存のマルチモーダルモデルのベンチマークは、主にこれらのモデルの有用性を評価するか、公平性やプライバシといった限られた視点にのみフォーカスする。 MMFMの安全性と信頼性を総合的に評価するために,最初の統合プラットフォームMMDT(Multimodal DecodingTrust)を提案する。
  論文  参考訳（メタデータ）   (Wed, 19 Mar 2025 01:59:44 GMT)
• Multimodal foundation modelsの信頼性評価フレームワークの提案。主な対象はsafety, hallucination, fairness, privacy, adversarial robustness, out-of-distribution (OOD) robustness。MMFMsということでT2I、I2Tの両方が含まれる。
• プロジェクトサイトはMMDecodingTrust Benchmark、リーダーボードも存在するMMDecodingTrust Benchmark。公開モデルより商用モデルの方が平均的にはスコアが高そうだが、評価軸によって状況が大きく異なるのが興味深い。