Sjef van Beers

MTurk Images

datum
14 december 2019
categorie
Social Aspects
share story
Info

Voor het werk ben ik een dataset gaan maken met beelden van de binnenstad van Nijmegen met behulp van Mechanical Turk. Ik betaalde $0,14 per foto, zodat de werkers op MTurk een uurloon van een tientje zouden verdienen. De werkers moesten dan bij foto in drie woorden of korte zinnen beschrijven wat erop te zien was.

Daarnaast heb ik een enquête opgesteld met een aantal vragen over werken op MTurk en beeldherkenning. Deze enquête heb ik ook op MTurk gezet en iedereen die een video instuurde waarin ze de vragen beantwoordden kreeg daar $5 voor.

 

De film bestaat uiteindelijk voornamelijk uit de video’s van de MTurk werkers. Daarnaast zijn er sequenties waarin ik de binnenstad van Nijmegen gefilmd heb en ondertussen foto’s maak. Deze foto’s worden door een beeldherkenningsalgortime gehaald, dat getraind is met de dataset die ik heb aangelegd. Ook zijn er schermopnames te zien van foto’s uit de dataset waarbij antwoorden getypt worden. Ik heb de film een inleiding gegeven met video’s van YouTube die een aantal grondbeginselen van mijn onderwerpen uitleggen.

bio

Sjef van Beers is een kunstenaar en ontwerper wiens werk zich focust op technologie en het internet. Ook is hij als mede-oprichter en dj betrokken bij de Arnhemse clubavond Syntax. In zijn werk kijkt hij kritisch naar de digitale interfaces die wij dagelijks gebruiken. Hij probeert hierin knelpunten te vinden. Aan de hand hiervan probeert hij deze interfaces te ontleden en te herschikken, zodat de toeschouwer inzicht wordt geboden of er een nieuw perspectief ontstaat.

www.sjefvanbeers.nl/

turkers

De meeste grote techbedrijven in Silicon Valley zijn tegenwoordig bezig met toepassingen waar beeldherkenning voor nodig is. Denk aan augmented reality-accessoires of bijvoorbeeld zelfrijdende auto’s. Dit soort projecten worden veelal gepresenteerd als hoogstaande technologie waar slimme, geavanceerde computers al het werk doen. Maar, om goed werkende beeldherkenningssoftware te hebben is een grote verzameling aan afbeeldingen met daaraan gekoppelde beschrijvingen nodig. Deze zogenaamde datasets moeten door mensen gemaakt worden.

Zowel universiteiten als bedrijven laten deze datasets veelal maken met behulp van Amazon Mechanical Turk. Hier kunnen mensen zogenaamde HITs “Human Intelligence Tasks uitvoeren. Dit zijn klusjes die computers (nog) niet kunnen doen, maar die voor mensen makkelijk zijn. Een klus kan bijvoorbeeld zijn het uittypen van gesproken tekst of het opschrijven van steekwoorden van een paar zinnen. En dus ook het classificeren en beschrijven van afbeeldingen.
De “turkers”, zoals de werknemers genoemd worden, worden per taak betaald. En de vergoeding voor het beschrijven of classificeren van een foto is meestal niet meer dan een paar cent. Het uurloon van de turkers is daarom doorgaans ver beneden minimumloon.
 

database

Voor Social Aspects #6 heb ik een film gemaakt over de mensen die voor Amazon Mechanical Turk werken en hun relatie tot beeldherkenningssoftware. Mijn aanvankelijk plan was het concept van de “mirrorworld” te gaan onderzoeken. Dit is een overkoepelend concept voor een aantal (aanstaande) technologische ontwikkelingen, bedacht door Kevin Kelly. Hij beschrijft een platform waarin alle objecten in onze wereld een soort digitale tweeling krijgen. Zijn ideeën zijn op dit moment vooral nog toekomstmuziek, maar ook enigszins voor de hand liggend. Augmented reality-brillen zijn namelijk een groot onderdeel van dit platform, en bijna elk groot techbedrijf is deze nu aan het ontwikkelen. Of de mirrorworld er uiteindelijk gaat komen valt nog te bezien, maar dat bedrijven geld steken in het ontwikkelen in de technologie die dit mogelijk gaat maken valt niet te ontkennen.

Naast de hardware-kant (AR-brillen) leunt het idee van de mirrorworld wat software betreft enorm op beeldherkenning. Hier was eind van de zomer al wat om te doen toen kunstenaars Kate Crawford en Trevor Paglen een werk maakte waarin ze ImageNet, de grootste dataset van afbeeldingen, bekritiseerden. De structuur waarop onderwerpen ingedeeld zijn is gebaseerd op een woordenstructuur uit de jaren 80. Hier zaten veel ongewenste generaliserende termen en vooroordelen in.

Ik ging uitzoeken waar deze dataset vandaan kwam. Het was een project dat tien jaar geleden op Stanford University begon. Er staat een lezing van de professor die het project initieerde op YouTube. Hierin vertelt ze onder andere over hoe de dataset aangelegd werd. Hierin speelde Amazon Mechanical Turk een grote rol. Dit is een platform waar mensen taken uitvoeren die computers (nog) niet kunnen, voor doorgaans enorm lage vergoedingen. Ik was al enigszins met dit platform bekend, maar ben me er voor dit project meer in gaan verdiepen. Het platform is naar mijn idee bij het grote publiek nog niet bekend. En er het werd in het werk van Crawford en Plagen ook niet op ingegaan. Terwijl het een grote rol speelt in huidige technologische ontwikkelingen.

 

met dank

Dit onderdeel van Social Aspects wordt mede mogelijk gemaakt door de provincie Gelderland, Gemeente Nijmegen en het Mondriaan Fonds. Het Mondriaan Fonds droeg middels het experimenteerreglement bij aan het honorarium van de kunstenaars.