機械学習研究会で読んだ論文のメモ https://github.com/mlnagoya/surveys/tree/master/20181018_reports
Empirical Methodology for Crowdsourcing Ground Truth
疑問
- アノテータで合意を取るのは一般的？
- Knowledge base curation?
Finally, expert annotators are not always available for specific tasks such as open domain question-answering or news events, while many annotation tasks can require multiple interpretations that a single annotator cannot provide
This is a novel approach for crowdsourcing human annotation that, instead of enforcing agreement between annotators, captures the ambiguity inherent in semantic annotation through the use of ambiguity-aware metrics for aggregating crowdsourcing responses.
用語
- Amazon Mechanical Turk
- Figure Eight
- CrowdFlower
- CrowdTruth : https://github.com/CrowdTruth/CrowdTruth-core
- triangle of disagreement model
- ground truth : the accuracy of the training set's classification https://en.wikipedia.org/wiki/Ground_truth#Statistics_and_machine_learning
- gold standard https://en.wikipedia.org/wiki/Gold_standard_%28test%29
英語
- aquire : 学ぶ
- readily : たやすい
- tedious: 退屈な
- viable : 実行可能な
- gain populararity : 人気を得る
- over and over : 何度もなども
- heritage : 遺産
- hypothesis: 仮説
- inherent : 固有の
- address: 取り扱う
- harness : 利用する
- the aim is to: 目的は
- intrinsically : 本質的に
- applicable : 適切な、利用可能な
- as a consequence : 結果として
- deduce : 推測する
- redundancy : 冗長性
- majority vote: 多数決
感想
- 論文のメインであるGroundTruthという手法の中身がよく分からなかった。たぶんF値が影響すると思うんだけど。。。
- 論文が長くて、読みきれなかった。もう少し短い論文を選び、内容をしっかり理解できるようにしよう。
- 今回論文を読むのに使った時間は、約5時間。
