コンテンツへスキップ
- Can Unconfident LLM Annotations Be Used for Confident Conclusions? [34.2]
大規模言語モデル (LLMs) は、様々なタスクにおいて、人間と高い合意を示してきた。 信頼性駆動推論(Confidence-Driven Inference)は、LCMの信頼度インジケータを組み合わせて、どのアノテーションを収集すべきかを戦略的に選択する手法である。
論文 参考訳（メタデータ） (Tue, 27 Aug 2024 17:03:18 GMT)
- LLMと人間が手分けしてアノテーションをする状況下で、LLMのアノテーション及びLLMの信頼度を使って人間がやるべきアノテーションを選択する手法の提案。「We demonstrate the effectiveness of CONFIDENCE-DRIVEN INFERENCE over baselines in statistical estimation tasks across three CSS settings—text politeness, stance, and bias—reducing the needed number of human annotations by over 25% in each.」とのこと。
- リポジトリはGitHub – kristinagligoric/confidence-driven-inference
- Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [64.0]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳（メタデータ） (Sun, 5 Jun 2022 22:31:45 GMT)
- Re-Examining Human Annotations for Interpretable NLP [80.8]
我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 10 Apr 2022 02:27:30 GMT)- アノテータによってアノテーションの品質が大きく変わるなどアノテーションに関する包括的な報告。「Surprisingly, providing example annotations does not increase the agreement among annotators.」など非常に参考になる。
- TagLab: A human-centric AI system for interactive semantic segmentation [63.8]
TagLabは、大規模な画像に注釈をつけるための、オープンソースのAI支援ソフトウェアである。 画像アノテーションをスクラッチから支援ツールを通じてスピードアップし、カスタムの完全自動セマンティックセグメンテーションモデルを作成し、自動予測の迅速な編集を可能にする。 研究結果は,海洋生態学と建築遺産の2つの異なるシナリオで報告した。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 23 Dec 2021 16:50:06 GMT)