コンテンツへスキップ
- FlexOlmo: Open Language Models for Flexible Data Use [184.9]
我々は、データ共有なしで分散トレーニングをサポートする新しい言語モデル(LM)であるFlexOlmoを紹介します。 FlexOlmoはエキスパートの混成アーキテクチャを採用しており、各専門家はクローズドデータセットで独立して訓練される。 我々は、公開データで訓練された一般専門家と、他のデータ所有者から独立した訓練を受けた専門家とを効果的に組み合わせることができることを示す。
論文 参考訳（メタデータ） (Wed, 09 Jul 2025 16:54:21 GMT)
- 「Standard MoEs train all experts and the router jointly on all data. In contrast, FLEXOLMO trains experts independently by teaching them to coordinate (§3.3.1) and merges them at inference using a domain-informed router (§3.3.2).」と連合学習やMoEと聞いて思い浮かべるが現実的には難しいそれぞれの場所で構築されたAIが統合的に動作するフレームワークの提案と効果検証。
- 「Organizations in regulated industries require LMs that can leverage their closed datasets while maintaining strict data privacy and access controls. Healthcare institutions, financial firms, and other entities possess valuable domain-specific data but cannot share it externally due to HIPAA, GDPR [14, 15], data sovereignty laws [16], and intellectual property (IP) protections. These organizations need training paradigms that enable AI improvement on their sensitive data while ensuring such sensitive data never leaves certain environments and can be removed from the model after training, e g , when data usage rights expire. In such settings, modular training approaches, where individual experts are trained independently and asynchronously on locally maintained data, are essential.」はまさにその通りで非常に有用な技術に思える。
- プロジェクトサイトはIntroducing FlexOlmo: a new paradigm for language model training and data collaboration | Ai2、リポジトリはGitHub – allenai/FlexOlmo: Code and training scripts for FlexOlmo
- Federated Learning for Cyber Physical Systems: A Comprehensive Survey [49.5]
近年,フェデレートラーニング(FL)が普及している。 この記事では、FLが、インテリジェントトランスポートシステム、サイバーセキュリティサービス、スマートシティ、スマートヘルスケアソリューションなど、重要なCPSアプリケーションでどのように利用されるのかを精査する。
論文 参考訳（メタデータ） (Thu, 08 May 2025 01:17:15 GMT)
- 連合学習とサイバーフィジカルシステムに関するサーベイ
- 確かに相性はよさそう
- Tree-based Models for Vertical Federated Learning: A Survey [71.8]
ツリーベースのモデルは、その有効性、堅牢性、解釈可能性により、幅広い現実世界のアプリケーションで大きな成功を収めている。 木質モデルの違いと進歩を実証的に観察するための一連の実験を行った。
論文 参考訳（メタデータ） (Thu, 03 Apr 2025 05:16:09 GMT)
- Vertical Federated Learning （VFL refers to the setting where parties’ data samples are overlapped but their feature spaces are different and complementary）かつツリーベースな研究に関するサーベイ
- 実用上は大事なパート
- Federated Analytics: A survey [21.8]
Federated Analytics(FA)は、複数のリモートパーティでデータ分析を計算するための、プライバシ保護フレームワークである。 本稿では,フェデレーション分析の特徴と,フェデレーション学習との違いについて論じる。
論文 参考訳（メタデータ） (Thu, 2 Feb 2023 18:56:24 GMT)
- プライバシー保護や資源の節約などの理由で限られたデータのみを集約して分析するFederated Analyticsのサーベイ。基本的な話から始まり、Taxonomy、Algorithm、Challenge & Open Oppotunityと整理されている。
- federated analyticsは federated learningよりより一般化されたもので、基本的な分析を含むとのこと。
- “You Can’t Fix What You Can’t Measure”: Privately Measuring Demographic Performance Disparities in Federated Learning [78.7]
フェデレートされた学習は、デバイスが機械学習モデルのトレーニングに協力することを可能にする。 フェデレートラーニングで訓練されたモデルが、異なる人口集団に対して異なるパフォーマンスを示すのではないかという懸念が高まっている。 本研究では,ユーザのグループメンバーシップのプライバシを保護しながら,このようなパフォーマンス格差を計測できる可能性を検討する。
論文 参考訳（メタデータ） (Fri, 24 Jun 2022 09:46:43 GMT)- 連合学習を行ったときその中のグループ内で性能差（≒格差）が生じるという指摘を扱った論文。プライバシーの保護と格差の測定を提案。
- Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.6]
6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 22 Apr 2022 17:27:00 GMT)- 大規模に連合学習を用いて希少な腫瘍の自動検出を行ったという研究。著者リストで4ページと参加者が非常に多い。連合学習のユースケースとして非常に重要な結果。