アノテーションエラー検出手法の検証

  • Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [64.0]
    我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
    論文  参考訳(メタデータ)   (Sun, 5 Jun 2022 22:31:45 GMT)

アノテーションの品質

  • Re-Examining Human Annotations for Interpretable NLP [80.8]
    我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
    論文  参考訳(メタデータ)  参考訳(全文)  (Sun, 10 Apr 2022 02:27:30 GMT)
    • アノテータによってアノテーションの品質が大きく変わるなどアノテーションに関する包括的な報告。「Surprisingly, providing example annotations does not increase the agreement among annotators.」など非常に参考になる。

TagLab: アノテーション支援ツール

  • TagLab: A human-centric AI system for interactive semantic segmentation [63.8]
    TagLabは、大規模な画像に注釈をつけるための、オープンソースのAI支援ソフトウェアである。 画像アノテーションをスクラッチから支援ツールを通じてスピードアップし、カスタムの完全自動セマンティックセグメンテーションモデルを作成し、自動予測の迅速な編集を可能にする。 研究結果は,海洋生態学と建築遺産の2つの異なるシナリオで報告した。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 23 Dec 2021 16:50:06 GMT)