...
Ongelmaksi crowdsourcingissa, kuten lähes kaikessa viestinnässä, muodostuu noise. Julkisella kyselyllä spammaajat voivat antaa väärää dataa (osa hyvinkin hienostuneesti, koska voivat oppia oikeankaltaisia vastauspatterneja. Toisaalta, voidaanko ajautua tilanteeseen, jossa koneet keskustelevat keskenään ja "spammaaja" tarjoaakin lopulta oikeaa tietoa?). Myöskin crowdille annetut tehtävät voivat olla huonoja. Kolmas potentiaalinen ongelma on vastaajien kokemattomuus kysytystä aiheesta. Hyvä vertaus haasteellisuudesta: Yritä arvostella koe, johon ei ole valmista vastauspohjaa, jonka aiheesta ei ole kattavaa tietoa eikä aiheesta ole julkaista välttämättä mitään virallista tietoa. Kuulostaa melko hankalalta, eikö?
Mechanical Cheat: Spamming Schemes and Adversarial Techniques on Crowdsourcing Platforms
...