コンテンツへスキップ
- SafeWorld: Geo-Diverse Safety Alignment [107.8]
大規模言語モデル(LLM)を評価するために特別に設計された新しいベンチマークであるSafeWorldを紹介する。 SafeWorldには2,342のユーザクエリが含まれており、それぞれ50か国と493のリージョン/ラストから、高品質で人間認証された文化規範と法的ポリシーを基礎としている。 トレーニングされたSafeWorldLMは、GPT-4oを含む競合モデルの3つの評価次元を大きなマージンで上回ります。
論文 参考訳（メタデータ） (Mon, 09 Dec 2024 13:31:46 GMT)
- 安全性評価のためのベンチマーク、「SAFEWORLD encompasses 2,342 test user queries, each grounded in high-quality, human-verified cultural norms and legal policies from 50 countries and 493 regions/races.」と文化的側面に注意が払われている。
- リポジトリはGitHub – PlusLabNLP/SafeWorld
- Survey of Cultural Awareness in Language Models: Text and Beyond [39.8]
大規模言語モデル(LLM)を様々なアプリケーションに大規模に展開するには、LCMはインクリビティを確保するために、ユーザに文化的に敏感である必要がある。 文化は心理学や人類学で広く研究され、近年、LLMをより文化的に包括的にする研究が急増している。
論文 参考訳（メタデータ） (Wed, 30 Oct 2024 16:37:50 GMT)
- 「Culture has been widely studied in psychology and anthropology, and there has been a recent surge in research on making LLMs more culturally inclusive in LLMs that goes beyond multilinguality and builds on findings from psychology and anthropology.」という近年重要性が増しているLLMと文化についてのサーベイ。
- リポジトリはGitHub – siddheshih/culture-awareness-llms