Quality and Usability

CrowdMAQA - Motivation and Automatic Quality Assessment in Paid Crowdsourcing Online Labor Markets

Description:

    Crowdsourcing auf Basis von Microwork‐Web‐Plattformen eröffnet einmalige Vorteile, um große und spezifische Daten für die Marktforschung bzw. für Entwicklung und Forschung zu generieren. Hauptvorteile sind die hohe Geschwindigkeit der Erhebung, die flexible Ausgestaltung, und die geringen Kosten. Gleichzeitig können die generierten Daten aber auch einen höheren Rauschanteil aufzeigen, d.h. unter Umständen eine geringe Reliabilität oder Validität aufweisen. Die Sicherstellung einer geeigneten Datenqualität wird vor allem dann relevant, wenn die Arbeiter der Crowd dafür bezahlt werden.

    Ausgehend von der wachsenden Verfügbarkeit und steigenden Popularität von CrowdsourcingDaten will das Projekt CrowdMAQA zentrale Fragen zu Qualität und Eigenschaften mittels Crowdsourcing erhobener Daten beantworten. Das Projekt konzentriert sich dabei auf die Beurteilung, Vorabschätzung, Überwachung und Sicherstellung der resultierenden Qualität und untersucht Faktoren, die die Motivation der Arbeitnehmer beeinflussen. Um solche Qualitätseinbußen auszuschließen werden im vorgeschlagenen Projekt automatische Qualitätssicherungsmodelle, die mit Hilfe des maschinellen Lernens erstellt werden, konzipiert, implementiert und evaluiert. Solche Modelle können bspw. die Reihenfolge der Aufgaben für die Befragten auswählen oder die Qualität der generierten Daten anhand von Konsistenten und/oder geloggten Zeitangaben vorhersagen und somit über die Bezahlung mitentscheiden. Darüber hinaus sollen Faktoren ermittelt werden, die die Motivation und deren Einfluss auf die Arbeitsleistung ausdrücken. Dabei ist zu berücksichtigen, dass die Qualität der Arbeit und die Motivation des Arbeiters (Probanden) von einer ganzen Reihe verschiedener Faktoren beeinflusst werden können.

    Die Untersuchung dieser Faktoren ist ebenfalls insofern Bestandteil des hier vorgeschlagenen Projekts, als dass die empirisch ermittelten Resultate Rückschlüsse auf Einflussfaktoren zulassen.

     

    Time Frame: 4/2012 - 3/2015

    Team Members: Babak Naderi

    Software Campus Partners: TU-Berlin, Deutsche Telekom AG

    Funding by: Bundesministerium für Bildung und Forschung - BMBF