Multimodaler Notenständer - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:21

Der Multimodal Music Stand (MMMS) ist eine neue Möglichkeit, Audiosynthese und Effekte beim Spielen eines traditionellen Instruments (Saxophon, Flöte, Violine, was auch immer) zu steuern, und bietet einige zusätzliche Möglichkeiten für erweiterte Techniken, die beim Spielen verwendet werden können ! Es gibt bereits eine Webseite über unser Gruppenprojekt an der UC Santa Barbara, in dem wir das MMMS entwickelt haben, also werde ich, anstatt das hier zu wiederholen, den Link posten - check it out!Multimodal Music Stand WebsiteEin kurzer Clip des MMMS in Aktion ist hier, aber es gibt bessere Videos auf der obigen Website… Multimodal bezieht sich auf die Fähigkeit, Eingaben in mehr als einer Modalität zu erfassen (Audioeingabe, Videoeingabe und sensorbasierte Eingabe). Der Audio- und Videoeingang ist ziemlich einfach und beinhaltet ein normales Mikrofon und eine Webcam, die an Ihren Computer angeschlossen sind, aber der Sensoreingang ist etwas komplexer, daher dieses anweisbar … Wir verwenden die CREATE USB-Schnittstelle, eine einfache Schaltung, die ich für eine Klasse entwickelt habe Ich unterrichte an der UCSB, zusammen mit dem ThereminVision II-Kit für E-Feld (auch bekannt als kapazitives Sensing), wie hier gezeigt: USB-Schnittstelle ERSTELLENThereminVisionII-KitWenn Sie nicht wissen, was ein Theremin ist, tun Sie sich selbst einen Gefallen und suchen Sie auf Youtube, Sie haben gewonnen lass dich nicht enttäuschen! Das MMMS entspricht im Grunde 2 Theremins, da es neben dem Audio/Video-Eingang natürlich 4 E-Feld-Sensing-Antennen hat. Wenn Sie Ihre Spieltechniken mit Ihrem Instrument durch die Interaktion mit einem Computer erweitern möchten, aber keine einfachen Fußpedale verwenden möchten, bauen Sie sich einen Multimodalen Notenständer und fangen Sie an, damit zu üben!

Schritt 1: Über die CREATE USB-Schnittstelle

Das CREATE USB Interface (CUI) ist ein einfacher PIC-basierter programmierbarer Schaltkreis, der entweder komplett selbst gebaut werden kann, oder Sie können einen vorgefertigten von mir direkt für $50 (+ 5 für Versand) erhalten, und Sie werden ihn nicht brauchen einen PIC-Programmierer zu kaufen, da ich den Bootloader für Sie installiert habe … siehe die Website für Details, oder senden Sie mir einfach eine E-Mail, um einen anzufordern: CREATE USB Interface Website Die CUI kann so viele verschiedene Dinge funktionieren und wurde inzwischen in Hunderten von verwendet interessante Projekte auf der ganzen Welt… ein paar Beispiele von Studenten der UC Santa Barbara finden Sie in diesem Konferenzpapier (PDF). Die CUI kann über das USB-Kabel mit dem Bootloader umprogrammiert werden, weshalb sie so leicht anpassbar ist - einfach die Firmware wechseln und schon ist es was anderes. So lässt sich die CUI einfach mit einem von die Bluetooth-Module von Funkenspaß - wenn jemand daran interessiert ist, posten Sie eine Notiz in den Kommentaren, in der Sie eine andere Anleitung anfordern. Die CUI verfügt über 13 Kanäle mit 10-Bit-Analogeingängen und 16 universelle Eingangs-/Ausgangspins. Die mit den CUI v1.0-Boards gelieferte Standard-Firmware sendet sie alle als Eingaben an den Host-Computer und funktioniert gut mit interaktiven Kunstumgebungen wie Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck usw Eines der CUI v1.0-Boards, um den multimodalen Notenständer in diesem anweisbaren zu bauen. Als Umgebung verwenden wir Max/MSP/Jitter, können dies aber auf jeden Fall an Pd oder die Software Ihrer Wahl anpassen. Ich bin ein großer Open-Source-Fan (die CUI selbst ist Open Source), und es hilft sehr, wenn wir uns alle auf die Schultern stellen und die Dinge, die wir machen, verbessern!

Schritt 2: Über das ThereminVision II-Kit

Das ThereminVision II ist sowohl als Bausatz (50 US-Dollar) als auch vorgefertigt (80 US-Dollar) von der Anbieterseite RobotLand erhältlich und auch Open Source - das ThereminVision II-Handbuch (PDF) enthält die Schaltpläne. Für das MMMS habe ich das Kit gekauft und mich dann diesmal für das vorgefertigte entschieden (dies ist das zweite MMMS, das ich gebaut habe). Kit-Form des CREATE USB-Interfaces, weil der CUI-Bootloader mit einem herkömmlichen PIC-Programmer programmiert werden muss, bevor neue Firmware über USB gesendet werden kann - ansonsten würde ich definitiv ein Kit anbieten, obwohl es mit SMD-Löten verbunden wäre… Also zurück zu das ThereminVision II - wenn Sie es im Bausatz-Formfaktor gekauft haben, folgen Sie den (großartigen!) Anweisungen im PDF: ThereminVision II-HandbuchEs gibt viele schöne Diagramme der Verkabelung, die Sie tun müssen - das einzige, was es nicht zeigt ist die Verbindung zum CREATE USB Interface, also werde ich die Fotos die ich bei den nächsten Schritten gemacht habe posten… oh, und ich habe die Antennen für das ThereminVision (nicht im Lieferumfang enthalten) von All Electronics bekommen.

Schritt 3: Vorbereiten des Notenständers

Machen Sie Ihren Multimodalen Notenständer aus einem schönen Notenständer wie dem hier gezeigten "Dirigentenständer" oder verwenden Sie alles, was Sie zur Hand haben - besser noch, machen Sie es selbst!

Egal welchen Ständer Sie verwenden, es werden isolierte Halterungen für die vier Antennen an den Ecken des Ständers benötigt. Beginnen Sie mit dem Bohren von Löchern in den Ecken - die Befestigungsteile, die ich mit einem 1/4 Bohrer herumgelegt hatte, werden wahrscheinlich anders sein. Versuchen Sie, die Vorderseite der Oberfläche so bündig wie möglich zu halten, um Störungen mit Noten zu vermeiden.

Schritt 4: Anschließen der ThereminVision-Sensormodule

Das Anschließen der ThereminVision-"Sensor"-Module (555 Zeitschaltkreise) an das ThereminVision-"Prozessor"-Modul wird auch im ThereminVision II-Handbuch genauer beschrieben, aber hier sind ein paar Bilder des Vorgangs…

Schritt 5: Anschließen des ThereminVision an die CREATE USB-Schnittstelle

Wie wir im letzten Schritt gesehen haben, gibt es 4 Drähte, die jedes der Sensormodule mit dem ThereminVision-Prozessormodul verbinden. Es gibt auch 6 Drähte, die das ThereminVision-Prozessormodul mit der CREATE-USB-Schnittstelle verbinden - dies sind Strom, Masse, Sensorausgang, Sensorauswahl A, Sensorauswahl B und Sensorstopp.

Da das ThereminVision II über das CREATE USB Interface mit Strom versorgt wird (das wiederum über USB mit Strom versorgt wird), habe ich mich entschieden, die Stromversorgung für jedes der ThereminVision Sensormodule direkt an das CREATE USB Interface anzuschließen - dadurch ist es etwas weniger eines Vogelnests auf der Verkabelung, da bereits viele Kabel auf die TherminVision-Prozessorplatine gehen. Verbinden Sie "+" am ThereminVision mit "5V" am CUI Verbinden Sie "-" am ThereminVision mit "GND" am CUI Verbinden Sie "4" (der durch 4 geteilte Ausgang) am ThereminVision an "D7" am CUI Connect „SEL B“am ThereminVision an „D5“am CUI anschließen „SEL A“am ThereminVision an „D4“am CUI anschließen „S“am ThereminVision an „D6“am CUI anschließen

Schritt 6: Alles an den Ständer montieren

Die Elektronik ist also fertig, jetzt nur noch am Ständer montieren - dafür gibt es viele Methoden, und vielleicht möchten Sie Ihre Elektronik in eine Schutzbox usw.

Hier sind einige Fotos von einigen der einfachsten Montagemethoden.

Schritt 7: Bootladen der Firmware für das ThereminVision in die CUI

Das ThereminVision sendet Zeitsignale für seine Sensoren anstelle von analogen Ausgängen (oder einem der standardmäßigen digitalen Protokolle wie I2C oder SPI). Es war also eine benutzerdefinierte Firmware erforderlich, um das Timing dieser Signale zu messen … Die erste Version der Multimodal Music Stand-Firmware befindet sich in der Zip-Datei unten, sowohl der Quellcode als auch die kompilierte Hex-Datei sind enthalten (zusammen mit einem Testpatch für Max/ MSP/Jitter):CUI-ThereminVision FirmwareDer Screenshot unten zeigt das OS X Programm Boot Down von Craig Schimmel - ein Macintosh Bootloading Utility für die CUI. Unter Windows ist es am einfachsten, das Microchip-eigene Tool PDFSUSB.exe zu verwenden, das von ihrer Website heruntergeladen werden kann oder in diesem Beispielcode für die CREATE USB-Schnittstelle enthalten ist. Um die CUI in den "Bootloader-Modus" zu versetzen, halten Sie gedrückt die Programmtaste und drücken Sie die Reset-Taste (oder stecken Sie einfach das USB-Kabel ein, während Sie die Programmtaste gedrückt halten). Die Status-LED der CUI blinkt kontinuierlich und zeigt damit an, dass sie sich im Bootloader-Modus befindet. Jetzt können Sie Boot Down verwenden, um die Datei CUIEfieldBootDown.hex an das CREATE USB Interface zu senden CUI auch hier.

Schritt 8: Testen des multimodalen Notenständers in Max/MSP/Jitter

Öffnen Sie den Beispiel-Patch in Max/MSP/Jitter (eine 30-Tage-Demo kann von www.cycling74.com heruntergeladen werden, und es ist auch eine "Runtime"-Version erhältlich, die das Speichern von Patches nicht zulässt) oder folgen Sie den Konventionen im Max-Patch und erstellen Sie Ihren eigenen Patch in PureData (Pd)…Jitter wird verwendet, um die 3D-Position von Gesteneingaben anzuzeigen, wobei die Z-Achse (in Richtung und vom Ständer weg) auf die Gesamtintensität aller 4 Antennen abgebildet wird - nicht sehr wissenschaftlich, Aber es funktioniert! Die Daten der einzelnen Sensoren werden auch als OSC an 127.0.0.1 (localhost) zur Nutzung durch andere Anwendungen bei Bedarf gesendet. Ein nützliches Objekt in Max/MSP/Jitter zum Herausfiltern von Spitzen aus den Sensordaten (verursacht durch elektrische Störungen) ist Tristan Jehans "smoother", das hier heruntergeladen werden kann:smoother max objectTristans Site hat auch eine Reihe von MSP-Externen für Max, die wir für die Audioanalyse des Eingangs des multimodalen Notenständers verwenden - sie umfassen Tonhöhe ~, Lautstärke ~, Helligkeit ~, Rauschen~ und das All-in-One-Analyzer~-Objekt. Sobald Daten in Max eingehen, müssen Sie die Empfindlichkeit der ThereminVision-Sensoren mit einem kleinen Schraubendreher individuell einstellen. Führen Sie dies aus, indem Sie die Antennen ganz ausfahren, dann den blauen Trimmpotentiometer gegen den Uhrzeigersinn drehen, bis er in den "Rückwärtssensor"-Modus geht - dann im Uhrzeigersinn zurückdrehen, bis Sie wieder im normalen Erfassungsbereich sind. Kleine Anpassungen (Abstimmung der Empfindlichkeit, genau wie beim Stimmen einer Gitarre) können durch Ändern der Länge der Antennen vorgenommen werden, sodass Sie den winzigen Schraubendreher nicht zu Gigs mitnehmen müssen.

Schritt 9: Verwenden des multimodalen Notenständers in der Performance! (und erweitern)

Vergessen Sie nicht, dass die neuen Aufführungstechniken, die der multimodale Notenständer ermöglicht, geübt und neue Mappings und Ideen für das, was Sie damit steuern möchten, entwickelt werden müssen! Auch wenn Sie Ihr MMMS um andere Arten von Sensoren erweitern möchten, in zukünftigen Versionen der MMMS-Firmware wird es möglich sein, die 13 analogen Eingänge der CUI zusätzlich zu den ThereminVision-Sensoren zu verwenden, also mit einigen einfachen Sensoren (Schieber/Knöpfe/Fußpedale) oder anderen Sensortypen (IR/Ultraschall/etc), können diese zusammen mit dem Audioeingang und Video für den Computer verwendet werden. Derzeit verwendet die Firmware ein "Serial-over-USB"-Protokoll, aber schließlich ist geplant, auf das "HID" (Human Input Device)-Protokoll umzustellen, das normalerweise von der CREATE USB-Schnittstelle verwendet wird. Bitte zögern Sie nicht, zu den Bemühungen beizutragen… Es gibt ein ähnliches Open-Source-Projekt für die E-Feld-Erfassung (auch als kapazitives Sensing bekannt), das die gleiche Schaltungstopologie (basierend auf dem ThereminVision-Design) namens CapToolKit verwendet - es verwendet den "kleinen Bruder". " des PIC18F4550, des PIC18F2550, der nicht so viele analoge Eingänge hat (10 statt 13). Die Firmware für das CapToolKit unterscheidet sich geringfügig, da sie nicht die ThereminVision-Prozessorplatine verwenden an den Aspekten der Computer Vision oder Audioanalyse und -synthese der Forschung unserer Gruppe interessiert sind, lesen Sie bitte die Papiere auf der Website des Multimodal Music Stand. Und posten Sie bitte Ihre Erfahrungen, wenn Sie einen multimodalen Notenständer bauen… Wir haben jetzt zwei davon bei UCSB, wie auf dem Foto unten gezeigt – es wäre großartig, mehr Kompositionen, Performances und Musiker zu haben, die sie verwenden! Dr. JoAnn Kuchera-Morin schrieb die erste Komposition mit MMMS, die im März 2007 von der Flötistin Jill Felber an der Eastman School of Music aufgeführt wurde.