- Re-Examining Human Annotations for Interpretable NLP [80.8]
我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 10 Apr 2022 02:27:30 GMT)- アノテータによってアノテーションの品質が大きく変わるなどアノテーションに関する包括的な報告。「Surprisingly, providing example annotations does not increase the agreement among annotators.」など非常に参考になる。