KI/ComfyUI und Notenblätter

[samuelclemens]

Ich hab kürzlich versucht mittels ChatGpt Notenblätter so zu modifizieren das mir die KI unter oder oberhalb der Noten auf den Notenblättern den entsprechenden Buchstaben einsetzt.
Natürlich kann man das auch manuell machen oder ausdrucken und handschriftlich ergänzen. Das ist aber etwas aufwand und da ich gern auch immer mal wieder mit neuen Ideen für KI Anwendungsgebieten herumspiele.
ChatGpt lieferte leider keine zufriedenstellenden Ergebnisse. Außerdem ist die Bildgenerierung in der free Version stark eingegrenzt.

Ich würd das gern mit ComfyUI umsetzten. Doch dazu fehlen mir die tieferen Kenntnisse da es hier unter anderem auch um ganz spezielle Nodes geht die stark in die Musiktheorie gehen.
Außerdem nehme ich an das es sich hier empfiehlt per API auch Ollama mit speziellen LLM Modellen einzubinden.

Hat jemand in der Richtung Erfahrung oder ideen wie man das am besten umsetzt?
Vielleicht gibt es ja sogar schon solche Workflows?

Unten zwei Beispielbilder wie es aussehen könnte. Der Text kann außer acht gelassen werden.

 

[frames p. joule]

Ich kann nichts zu ComfyUI beitragen, aber vielleicht kannst du nochmal erklären, wofür du das brauchst, vielleicht gibt es einen anderen Weg?

 

[Azghul0815]

Ich würde das gar nicht über ComfyUI oder irgendein LLM lösen.

Der einfachste Weg wäre aus meiner Sicht:

PDF / Scan / JPEG
→ Audiveris
→ MusicXML
→ MuseScore
→ NoteNames-Plugin
→ neues PDF

Audiveris erkennt die Noten aus dem Scan und erstellt daraus eine MusicXML. Die öffnest du dann in MuseScore. Dort lässt du das NoteNames-Plugin drüberlaufen, das dir automatisch C, D, E, F usw. an die jeweiligen Noten schreibt.

Danach exportierst du das Ganze einfach wieder als PDF.

Wenn dir das zu umständlich ist, lass die Finger von ComfyUI. Abgesehen davon ist ComfyUI das falsche Tool dafür. Es ist für generative Medienerstellung gebaut worden, nicht um Text auf vorhandere PDFs oder Bilder zu drucken und vorher Noten zu interpretieren:

ChatGPT Plus:

Für so ein einfaches Blatt wie dieses: geringer Aufwand.

Ich kann die Noten direkt aus dem Bild lesen, die Tonhöhen bestimmen und die Buchstaben dazuschreiben. Bei einer einstimmigen Melodie mit Violinschlüssel und ohne viele Vorzeichen ist das ziemlich unkompliziert.

Der Haken ist eher die Zuverlässigkeit der Bildbearbeitung: Wenn ich das Bild generativ bearbeiten lasse, kann es passieren, dass dabei Noten, Linien oder Abstände ungewollt verändert werden. Für ein Lernblatt ist das oft okay, für musikalisch exakte Unterlagen würde ich deshalb lieber:

Originalbild unverändert lassen + Buchstaben als Overlay darüberlegen.

Das ist technisch auch für mich machbar und wäre sogar sauberer als die eben erzeugte Variante.

Schwierig bzw. aufwendiger wird es erst bei mehreren Stimmen, Akkorden, Bassschlüssel, vielen Vorzeichen, komplexen Rhythmen oder mehreren Seiten.

Für dieses konkrete Bild: sehr überschaubar.

 

[Geckoo]

Denke auch dass comfyui dafür absolut nicht die beste Lösung ist. Falls(!) du aber trotzdem damit rum probieren willst, vielleicht auch um noch andere Dinge auf die Notenblätter zu generieren, würde ich vorher eine Maske (ist bei schwarz auf weiß einfach) erstellen. Dadurch wird der originale Teil der Noten nicht abgeändert, sondern quasi nur der Hintergrund.

 

[samuelclemens]

@frames p. joule Im Prinzip nur für Übungsblätter für den Eigengebrauch. Es ist außerdem spaßig sich neue Anwendungsgebiete mit KI zu erschließen außerhalb von KI Slop produzieren den eh niemand sehen will.

@Geckoo Ja, eventuell hätte ich noch Erweiterungen für die Ausgangsidee im Auge. Vielleicht zb lochdarstellungen für die Blechflöte. Meinst du man sollte die Noten maskieren oder den Bereich der editiert werden darf? Ich hab das mit den Masken in ComfyUI immer noch nicht ganz kapiert.🤔

@Azghul0815 ChatGpt hat das ja zum teil richtig hinbekommen. Also ist es machbar mit KI und dem richtigen LLM.
Es ist nur eine frage welche Bildmodelle, llm's und nodes ich dafür für eine lokale KI Lösung benötige.

Dein Workflow mit alternativen Tools ist dennoch interessant. 🤔
Hat mich auf eine zusätzliche Möglichkeit aufmerksam gemacht indem man eine OCR Texterkennung in den ComfyUI workflow einbaut.
Da muss ich mich aber Erstmal einlesen.
Könnte ich später vielleicht auch für mein "Comic" Projekt anwenden...hmm...

Letztendlich ist die effektivste Lösung einfach das Rohmaterial ausdrucken und mit nem Filzstift bearbeiten.
Aber das wäre ja die einfache und effektive oldschool lösung die ich bereits anwende.

Und ja, ich habe absichtlich ein sehr einfaches Beispielbild genommen nach dem Prinzip: erstmal einfach zum laufen bringen bevor man an kompliziert ran geht.

 

[Azghul0815]

Nur weil es AI gibt, ist es nicht der richtige Weg.
AI ist der Hammer und mittlerweile ist jedes Problem ein Nagel...

Du wirst mir ComfyUi wesentlich mehr Probleme bekommen und viel mehr Zeit investieren müssen.

 

[samuelclemens]

Du wirst mir ComfyUi wesentlich mehr Probleme bekommen und viel mehr Zeit investieren müssen.

Aber viel dabei lernen das man auch in anderen Projekten vielleicht anwenden kann.
Und ComfyUI ist ein sehr interessanter Baukasten zum spielen!
Wie ich bereits sagte, ein Ausdruck und ein Filzstift langen zur effektivsten Problemlösung. Nebenbei bemerkt lernt man das Notenlesen so ganz nebenbei wenn man das ein paar hundert mal gemacht hat.😓

 

[Geckoo]

Meinst du man sollte die Noten maskieren oder den Bereich der editiert werden darf?

Ich hatte erstmal im Kopf mit einem node eine Maske zu erstellen (über threshold schwarz->weiß). Welche da am besten wäre, weiß ich nicht, habe bisher wenig mit sowas experimentiert. Und dann musst du die Maske einfach mit einbauen, ja nachdem welche nodes du benutzt wird sich das ein wenig unterscheiden wie genau. Falls die Maske genau falsch herum funktioniert, kannst du sie problemlos mit einem node invertieren.

 

[Der_Dicke82]

Eine KI für Erkennung der Noten zu benutzen kann ich noch verstehen, aber ich würde die Noten dann nicht mit etwas generativen "zum Dokument" bringen.
Wenn es dich wirklich interessiert könntest du ein sehr sehr kleines Modell trainieren um Noten zu erkennen, das würde dann deutlich weniger Energie brauchen und du würdest richtig was lernen!

Aber ehrlich gesagt lohnt es sich das ganze von Hand zu machen, weil sich der zeitliche Aufwand fürs KI-Projekt erst nach sehr vielen Stücken lohnt.

 

[samuelclemens]

sehr kleines Modell trainieren um Noten zu erkennen, das würde dann deutlich weniger Energie brauchen und du würdest richtig was lernen!

Das trainieren von modellen stünde auch noch irgendwo auf meiner todo liste. Das mit Notenerkennung zu machen wäre zumindest ein sehr überschaubarer erster Ansatz.
Aber momentan noch ein Buch mit sieben siegeln. Bisher hab ich Grad mal Personen LoRas trainiert.
Der Spielplatz ist einfach zu groß!

 

[Spawn182]

So wie es OCR gibt, gibt und gab es auch schon vor den LLMs Optical music recognition kurz OMR. Google da mal nach.

Das ist genau was du suchst, Noten einscannen und umwandeln z.B. das oben genannte Audiveris beherrscht dies.

Ergänzung (Samstag um 23:46)

Vielleicht ist das nicht genau das, was du suchst. Eventuell kannst du dann aber mit dem Output und einem LLM genauere Ergebnisse Produzieren.

Sorry, ich hatte irgendwie @Azghul0815 Antwort nicht voll wahrgenommen, das ist ja genau, was ich meinte. 😉

 

[madmax2010]

Was Noten und LLMs angeht, hat für mich latex immer am besten funktioniert

 

[samuelclemens]

PDF / Scan / JPEG
→ Audiveris
→ MusicXML
→ MuseScore
→ NoteNames-Plugin
→ neues PDF

Der Workflow funktioniert so ganz passabel. Jedoch ist je nach vorlage immer noch sehr viel Handarbeit notwendig. Audiveris war der schritt der mir noch fehlte. Den rest hatte ich auch schon so ausprobiert. Teilweise kann man ja den schritt mit der Bildvorlage auslassen wenn man ne gescheite midi findet.
Leider landet man extrem oft vor einer Paywall!
Im Prinzip kann man sich einfache Stücke in MuseScore auch selbst schnell zusammenbauen.
Aber ComfyUI ist dennoch gold wert bei der vorbereitung der Vorlage für Audiveris. Upscaling von kleinen Vorschaubildern, entfernung von Wasserzeichen usw...
MuseScore ist aber das Herzstück des Workflows. Insbesondere da man das ganze direkt als audio note für note abspielen kann und so sehr viel einfacher erkennt wo es ne falsche note gesetzt hat.

Ich werd mich dennoch beizheiten mit OCR, OMR und llm per API direkt in ComfyUI befassen. Schon aus interesse für die anwendung in anderen Projekten.

 

[Azghul0815]

Solange du Spass hast, ist alles gut Hoffe du kommst zu einem guten Ergebnis für dich

 

[dms]

lochdarstellungen für die Blechflöte

Spannend, meint eine Whistlw oder Trommelflöte oder Klappenflöte oder...

P.S. ich male bunte Punkte oder mal ein bunter X (Seufz)

Die Noten als MIDI besorgen ist keine Option?

 

[samuelclemens]

Die Noten als MIDI besorgen ist keine Option?

Wie erwähnt. Wenn man eine gescheites Arrangement für blutige Anfänger findet, ja.
In den meisten fällen erntet man ein viel zu aufwändiges tohuwabohu. Sind für ein anderes Instrument gedacht oder mehrstimmig oder ...usw....

Übrigens meinte ich ne Tin Whistle. Aber anderes Thema.

 

[dms]

für die Mitleser zur Infos was Trommelflöten meint (für die Tenorflöte oben sind meine Hände zu klein)

so wie ich deine Ode an die Freude Noten sehen, transponierst du doch mit einer Whistle dann immer - oder hast dort wirklich auch ein tiefes G usw?

die obere und die untere Flöte ist von Sander - anbei zur Info was mit den Flötenlöschern gemeint ist - deren Grifftabelle

Ergänzung (Gestern um 13:00)

uU suchste ja sowas

https://halter.de/de/noten-katalog/.../marschbuch-spielmannszuege-fanfarenzuege-dtb

Ergänzung (Gestern um 13:03)

und hier kannst ja via Instrument eingrenzen

https://musescore.com/user/35368283/scores/6473252

aber schon komisch wenn das mit Bindung gespielt wird (was nicht im Notensatz ist)

schaue mal hier

https://www.flutetunes.com

 

[samuelclemens]

so wie ich deine Ode an die Freude Noten sehen, transponierst du doch mit einer Whistle dann immer - oder hast dort wirklich auch ein tiefes G usw?

Nene, dafür verwende ich bisher nur Lochdarstellungen. Meist aus Tutorials und so.
Das ist mir bisher zu aufwändig Noten die für ein anderes Instrument gedacht sind umzusetzen.
Das direkt nach noten zu spielen wäre mir auch zu heftig bisher. Da muss man dreimal um die ecke denken bei jeder Note weil man die ja intern von note zu letter und dann zu lochgrafik umdenken muss.
Ich habs mal versuch mit transponieren, kam aber nur quark bei raus. Da steck ich noch nicht tief genug in der materie.
Wenn du mit tiefes G das normale G meinst wird das auf der D-Dur ja mit abgedeckten oberen 3 löchern gespielt. Ein hohes G ist der gleiche Griff nur halt mit überblasen.
Die hohen Töne werden entsprechend mit nem + markiert.

https://www.tinwhistletab.com/de/finger-chart

Ich hab immer das hier zum üben verwendet:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[dms]

ne ich meinte nicht das überblasen hatte mich komisch ausgedrückt,
sondern mit ner D-Whistle kommst doch nicht in G-DUR oder C-DUR durch die Noten....

 

[samuelclemens]

@dms Mit G-Dur hab ich mich nicht beschäftigt da ich nur eine C und D-Dur Flöte besitze.
Vielleicht weiss einer hier ja bescheid?
Aber so wie ich die google KI verstehe kann man mit einer D-Dur auch G-Dur spielen wenn man wie du sagst die töne entsprechend transponiert.

Übrigens, mitunter wegen solcher Einschränkungen hab ich auch das Keyboard dazugeholt. Die Stückauswahl ist auch sehr eingeschränkt und eher auf irische schnelle Stücke fokussiert.