Sketchsynth: Synthesizer zum Aufmalen

Der US-Student Billy Keyes hat sich schon früh für Bedienfelder voller Knöpfe, Schalter und Regler interessiert. Er erinnert sich, dass er bereits in der Grundschule während gemeinsamer Busfahrten vorgegeben hat, mit selbst auf Pappstücke gezeichneten Instrumententafeln imaginäre Maschinen zu steuern.

Solche selbst gezeichneten Steuerpulte erweckt Keyes nun mit seiner Software Sketchsynth, einer Webcam und einem daran befestigten Picoprojektor zum Leben. Die Software erkennt auf Papier oder Pappe mit einem Filzstift gezeichnete Bedienelemente und ob der Anwender mit ihnen interagiert.

Mit dem Projektor wird dem Nutzer dann angezeigt, ob Knöpfe und Schalter aktiviert sind und wo der Schieberegler sich gerade befindet. Das Papier wird damit zum Touchscreen. Um Kamera und Projektor aufeinander abzustimmen, muss der Nutzer bei Programmstart auf die vier Ecken eines auf das Blatt projezierten Rechtecks klicken.

Keyes' Software Sketchsynth leitet die Steuerbefehle als OSC-Nachrichten (Open Sound Control) an andere Anwendungen weiter. In diesem Fall ist es ein einfacher Sound-Synthesizer. Das macht laut Keyes nicht nur Spaß, sondern zeige auch, wie sich digitale Interaktion auf gezeichnete und sonstige nicht-digitale Interfaces übertragen lässt.

• 

Sketchsynth - auf Papier aufgemalte Bedienelemente werden mit einem Projektor interaktiv. (Bild: Billy Keyes)

Den Quellcode der Linux-Software Sketchsynth hat Keyes auf Github veröffentlicht. Sketchsynth basiert auf Openframeworks und nutzt ofxCv-Addon von Kyle McDonald, das die OpenCV-Bibliotghek in Openframeworks einbindet.