Handys verschlagworten Fotos mit Umgebungssensoren

Bei dem Verschlagwortungssystem Tagsense sorgt eine Gesichtserkennung dafür, dass die fotografierten Personen erkannt werden. Sind sie schon mit Namen bekannt, werden - auf freiwilliger Basis - deren Mobiltelefone dazu genutzt, die Fotos besser zu kategorisieren.

So kann zum Beispiel durch die Auswertung eines Beschleunigungsmessers erkannt werden, ob sich die Person zum Aufnahmezeitpunkt bewegte. Auch die Uhrzeit, der Standort über GPS oder das Wetter kann in die Kriterien einfließen, mit denen das Foto einsortiert wird.

• 

Tagsense - erstellte Schlagworte (Bild: Duke Universität/Universität South Carolina)

Informatiker Xuan Bao und Chuan Qin haben die App zusammen mit Romit Roy Choudhury an der Duke Pratt School of Engineering entwickelt. Qin und Bao absolvieren derzeit ein Sommerpraktikum bei Microsoft, hob die Uni ausdrücklich hervor.

Mobiltelefone haben zahlreiche Sensoren, die man nutzen kann, sagte Qin. Sie sammeln Informationen wie Töne, Bewegungen, Orte und den Lichteinfall. Diese Informationen gilt es auszuwerten und geschickt zu verknüpfen, um die Fotos zu beschreiben und Attribute zu finden, die etwas über ihren Inhalt aussagen.

Durch die Umgebungsinformationen wollen die Studenten genauere Beschreibungen von Fotos erzielen, als sie alleine durch eine Gesichtserkennung möglich sind. Je genauer die Fotos beschrieben werden, desto besser lassen sie sich später auch wieder über eine Stichwortsuche auffinden.

Beispielsweise kann man über den Beschleunigungsmesser erkennen, ob eine Person still steht oder tanzt. Lichtsensoren in der Kamera erkennen, ob die Aufnahme im Freien bei Sonnenschein, Bewölkung oder im Gebäude gemacht wurde. Wetterinformationen für den Standort können auch übers Internet abgefragt werden. Über das Mikrofon kann erkannt werden, ob eine Person lacht oder still ist. Zusammen lässt sich schon ziemlich gut beschreiben, was während der Aufnahme passierte.

Tagsense ist darauf angewiesen, nicht nur das Handy des Fotografen zu nutzen, sondern auch die der Fotomotive. Wenn sich die Gruppe kennt, dürfte es natürlich leichter sein, die Personen zu überreden, ihre Handys ebenfalls mit Tagsense auszurüsten und die gewonnenen Sensorinformationen zu teilen, meint Bao.

Tagsense wurde von Studenten der Duke Universität und der Universität South Carolina entwickelt und auf der Konferenz Computing Machinery International Conference on Mobile Systems, Applications and Services (Mobisys) vorgestellt. Die Experimente des Teams wurden auf acht Google Nexus One mit rund 200 Fotos vorgenommen. Die derzeitige App ist ein Prototyp - ein kommerzielles Produkt ist erst in einigen Jahren zu erwarten, teilten die Forscher mit. Die Veröffentlichung "Tagsense: A Smartphone-based Approach to Automatic Image Tagging" kann als PDF heruntergeladen werden.