De medewerkers van de universiteit, Hiroharu Kato en Tatsuya Harada, omschrijven dit proces in een onlangs gepubliceerde paper.
Via verschillende experimenten lukte het hen om afbeeldingen te reconstrueren, maar ook om geheel nieuwe te maken via een natuurlijke omschrijving als “boot op een strand” of “bus op een veld”.
Het duo maakte hiervoor gebruik van een populaire techniek binnen beeldherkenning door computers, de ‘bag of visual words’, waarin een afbeelding als het ware wordt ontleed aan de hand van groepjes pixels.
Die kunnen vervolgens vergeleken worden met de visuele woorden van andere afbeeldingen, wat het automatisch sorteren en omschrijven van foto’s mogelijk maakt. Google lanceerde onlangs nog een aparte foto-app die op een soortgelijke manier zelfstandig foto’s kan groeperen en daar een naam aan geeft.
Reconstructie
Kato en Harade wilden dit proces echter omdraaien en op basis van de visuele informatie het oorspronkelijke beeld zo goed mogelijk reconstrueren.
Dat is volgens hen lastig, omdat de bag of visual words-techniek geen locatie toekent aan de geïdentificeerde pixelgroepen. Hieruit kan dus niet worden afgeleid wat hun oorspronkelijke positie binnen een afbeelding was.
Om alsnog de originele afbeelding te benaderen, bedachten zij verschillende benaderingen. Een daarvan gaat uit van de relatieve positie van de zogeheten visual words. De pixelgroepen gaan in een afbeelding veelal natuurlijk in elkaar over en zouden zo als een soort puzzel goed gelegd kunnen worden.
De andere techniek gaat uit van een absolute positie. Zo is het aannemelijk dat een groep pixels die de lucht weergeeft aan de bovenkant van de afbeelding thuishoort. Voor die informatie beroepen de algoritmes zich op een externe database van afbeeldingen.
Hoewel het algoritme soms onherkenbare afbeeldingen produceerde, denken de Japanse wetenschappers dat er wel toekomst zit in geautomatiseerde afbeeldingen.
