KI generierte Musik wird auch immer besser...

[CountSero]

Ich habe mir am WE auch mal YUE2 angeschaut, ist wirklich ein interessantes Modell, muss ich zugeben.

Leider habe ich keine gute Dokumentation gefunden und musste viel durch Ausprobieren herausfinden. Aber wie sagt man so schön, der Weg ist das Ziel! ^^

Ich werde in Zukunft zwar weiterhin meine Musik kaufen, aber ich sehe hier definitiv Potenzial, sich für den privaten Gebrauch selbst etwas zu erstellen.

Hier ist mal mein Erguss ^^
Meine Gaming-Hardware-Reise als Song.
Ich bin kein Songwriter, also nimm es mir nicht übel, wenn sich manches ein bisschen auf Krampf gereimt wurde.

Ein bisschen Trip-Hop \ Alternative Hip-Hop

[EDIT]
Das Format war wohl nicht ideal gewählt von mir nun nochmal als MP3

Hier noch die Style Angaben die ich genutzt habe:

trip hop, alternative hip hop, soulful female vocals, atmospheric beats, dark cinematic strings, brooding underground groove, 95 bpm, clear German diction

Atmospheric, gloomy vinyl crackling noises on intro, Cinematic strings swell and beat withdraws minimally on pre-chorus, Soulful, moody, deep groove on chorus, Mystical, echoing vocals, sluggish underground groove on bridge, The beats slow down, only reverberated strings, spoken outro

Nicht alles wird von YUE2 in jedem Seed übernommen, da musste ich was experimentieren. Manchmal sind auch Änderung von Satzeichen oder Wörtern sehr ausschlaggebend wie sich das Endergebnis anhört .


So habe ich mir ComfyUI eingerichtet

[Edit 2]

Ach so, habe noch vergessen zu erwähnen das [interlude] und [guitar solo] wohl auch funktionieren.

 

[blubberbirne]

@CountSero Ich suche noch Tester für meine APP. Wäre schön wenn Du sie dir einmal anschauen könntest.

 

[CountSero]

@blubberbirne Ich schau später mal ob ich es unter Linux zum laufen bekommen. Kann aber nichts versprechen ^^

 

[blubberbirne]

@CountSero Für Linux gibt es keinen Installer. Werde ich heute Abend mal basteln lassen von Claude.

 

[CountSero]

Also bis hier läuft es :

git clone https://github.com/sunnyfunny1977-alt/yue2-music-studio.git
cd yue2-music-studio
python3 -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip
pip install uv
# Ist die nightly Pytorch für ROCm die ich auch für ComfyUI Nutze
uv pip install --pre --upgrade --force-reinstall torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm10.1
#Prüfen ob Radeon Karte erkannt wird,
python3 -c "import torch; print('PyTorch-Version:', torch.version); print('ROCm-Version:', torch.version.hip); print('AMD-Karte erkannt:', torch.cuda.is_available())"
uv pip install -r requirements-app.txt
#Soundfile fehlt in den requirements (ich weiss nicht wie das unter windows ist)
uv pip install soundfile

Die Oberfläche und die Anbindung zu Ollama funktioniert.

Auch das Generieren funktioniert. Ich habe verschiedene Modelle getestet und bei Manchen habe ich nach 7-8 Minuten abgebrochen, weil es mir zu lange gedauert hat.

Vorgabe war "Song über Guildwars 2 im Pop Punk Style"
Ein energetischer Pop-Punk-Song über die Abenteuerwelt von Guild Wars 2. Die Musik ist schnell und laut, mit verzerrten Gitarren und einem motivierenden Gesang, der das Gefühl von Kameradschaft und freiem Willen in Tyria einfängt.
Titel : Tyria Rush
German, energetic female vocal, pop punk, rebellious, 160 BPM, distorted electric guitar, punchy drums, driving bass, clear diction

Spoiler: Lyrics

[Verse]
Wir laufen durch die Wälder von der Stadt
Wir suchen nach dem Licht am Ende der Nacht
Die Level steigen, wir werden schneller stark
Kein Monster hält uns noch zurück und macht
Und weiter geht's durch Schatten und Licht

[Pre-Chorus]
Der Weg ist kurz, der Kampf zu lang
Wir laufen weiter, bis wir uns verfang
Die Zeit vergeht so schnell wie in einem Flugzeug
Wir brechen durch das alte Eis und starr

[Chorus]
Wir sind bereit für den nächsten Kampf
Kein Ende siegt, die Zeit ist wie ein Spiel
Das Herz schlägt schnell im Takt des Blutes
Wir sammeln Kraft für den Sieg und Ruhm
Tyria ist unser Ziel, wir rennen schnell
Durch das Feuer und den Regen durch den Wind

[Verse]
Die Rüstung glänzt unter der Sonne prall
Der Schatten tanzt auf dem alten Wall
Wir brechen jede Kette und jeden Tor
Kein Held allein im Wald steht fest
Und weiter geht's durch Schatten und Licht

[Pre-Chorus]
Der Weg ist kurz, der Kampf zu lang
Wir laufen weiter, bis wir uns verfang
Die Zeit vergeht so schnell wie in einem Flugzeug
Wir brechen durch das alte Eis und starr

[Chorus]
Wir sind bereit für den nächsten Kampf
Kein Ende siegt, die Zeit ist wie ein Spiel
Das Herz schlägt schnell im Takt des Blutes
Wir sammeln Kraft für den Sieg und Ruhm
Tyria ist unser Ziel, wir rennen schnell
Durch das Feuer und den Regen durch den Wind

[Bridge]
Die Magie fließt uns in den Brustkorb fest
Wenn alle fallen, bleiben wir steh'n
Dann gibt es einen neuen Weg zu geh'n

[Chorus]
Wir sind bereit für den nächsten Kampf
Kein Ende siegt, die Zeit ist wie ein Spiel
Das Herz schlägt schnell im Takt des Blutes
Wir sammeln Kraft für den Sieg und Ruhm
Tyria ist unser Ziel, wir rennen schnell

[Outro]

Das gewählte Modell war wohl nicht Kreativ genug ^^

Das Problem ist YUE2 das Bekomme ich nicht Installiert:

#Geht nicht
uv pip install "yue2-infer @ git+https://github.com/multimodal-art-projection/YuE.git@yue2-v0.1.6"

#Geht nicht
UV pip install git+https://github.com/multimodal-art-projection/YuE.git@yue2-v0.1.6

#Geht auch nicht
python -m pip install huggingface-hub==0.36.2
hf download m-a-p/YuE2-3B yue2_infer-0.1.5-py3-none-any.whl --local-dir .
python -m pip install ./yue2_infer-0.1.5-py3-none-any.whl

Bricht beim erstellen dann einfach ab, denke dann müsste ich Entwickler Tools installieren aber das wäre mir zu viel aufwand.

Denke das Problem wird auch Pytorch ROCm sein.

 

[samuelclemens]

Ich überlege grad ob man damit auch Team Ansprachen und ähnliches etwas aufpeppen könnte?
Vielleicht auch die nächste Anfrage um ne Gehaltserhöhung oder mehr Urlaub!?
Oder generell wenn man jemandem ein un/angenehme Botschaft vermitteln möchte!🧑‍🎤🎶

 

[CountSero]

@samuelclemens

ich habe mal Gemeni gefragt lol

[Pre-Chorus]

(Tempo zieht an, Bass läuft im Viervierteltakt)
Ich hab' die Faxen dicke, ich mach' hier nicht mehr lang,
Heute spreche ich dich an!
[Chorus]

(Volles Brett, extrem eingängig und laut)
Ich will zehn Prozent mehr Kohle auf dem Konto jeden Monat!
Und fünf Tage Urlaub mehr, das ist doch keine Notat!
Ich will einfach mal entspannen, ohne Stress im Kopf,
Bevor ich hier noch explodiere wie ein alter Topf!
Ohohoh, zehn Prozent!
Ohohoh, und mehr Urlaub, verdammt!
[Verse 2]

Du guckst mich skeptisch an und redest von der Krise,
Und von schwerer Zeit und roter Firmen-Wiese.
Doch der Chef fährt Porsche und die Bude brummt,
Während hier mein Rücken unter Überstunden stummt!
Vergiss die Reden, ich will Fakten seh'n,
Lass uns über Zahlen reden, ehe ich geh'!
[Pre-Chorus]

(Wieder etwas druckvoller Aufbau)
Ich hab' die Faxen dicke, ich mach' hier nicht mehr lang,
Heute spreche ich dich an!
[Chorus]

(Volle Lautstärke, Mitsing-Faktor)
Ich will zehn Prozent mehr Kohle auf dem Konto jeden Monat!
Und fünf Tage Urlaub mehr, das ist doch keine Notat!
Ich will einfach mal entspannen, ohne Stress im Kopf,
Bevor ich hier noch explodiere wie ein alter Topf!
Ohohoh, zehn Prozent!
Ohohoh, und mehr Urlaub, verdammt!
[Bridge]

(Nur Schlagzeug-Beat und Palm-Muted Gitarren, stimmungsvoller Aufbau)
Kein „Das geht grad nicht“, kein „Wir schauen mal im Mai“.
Entweder jetzt und hier, oder ich bin bald vorbei!(Break)
Eins, zwei, drei – let's go!
[Guitar Solo]

(Schnelles, melodisches Pop-Punk-Gitarrensolo)
[Chorus]

(Noch einmal mit maximaler Energie)
Ich will zehn Prozent mehr Kohle auf dem Konto jeden Monat!
Und fünf Tage Urlaub mehr, das ist doch keine Notat!
Ich will einfach mal entspannen, ohne Stress im Kopf,
Bevor ich hier noch explodiere wie ein alter Topf!
[Outro]

(Schnelles Schlagzeug-Outro, Gitarren klingen aus)
Zehn Prozent...
Fünf Tage mehr...
Oder ich kündige heute noch per Briefverkehr!
Yeah! (Letzter harter Gitarrenakkord)

 

[samuelclemens]

@CountSero Mach doch ein Song draus. Villeicht ein Cover in der art:
So als wink mit dem Zaunpfahl!

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Oder was von EAV! Die haben auch teilweise ziemlich derbe Texte!

 

[CountSero]

@samuelclemens ne das ist nicht mein Text, da lass ich die Finger von ^^ Habe nur aus Spaß mal Gemeni gefragt.

Wenn dann will ich die Texte Selber Schreiben so wie mein erstes da oben ^^

 

[CountSero]

Ich habe mal weiter mit YUE2 herumgespielt und verschiedenes ausprobiert.

Ich habe getestet, wie es aussieht, wenn man einer KI sagt "Hey, bau mir mal einen Song!" 99 % von dem, was dabei ausgespuckt wird, kann man in die Tonne kloppen.

Meine Schreibkünste sind scheiße, keine Frage, aber dennoch finde ich es besser als das, was GPT, Gemini und Co. so für mich ausspucken. Lokale Modelle finde ich da noch schwächer, wobei Gemma hier besser abschneidet als Qwen.

Das Maximum, was dabei herumkommt, ist meiner Meinung nach ein schwaches Gerüst eines Songs, mehr nicht. Also eher ein kleiner Ideenspender.

Ich nehme mir auf jeden Fall eher selber die Zeit, auch wenn es hier Tage dauert, bis so was dabei herumkommt. ^^

Angelehnt an CP2077

Viel Spaß beim Hören und Kritik ist erwünscht! (Und ja, ich weiß, das Ding ist nicht perfekt. Es ist ein Unicorn, weil ich es durch ein Systemupdate auch nicht mehr reproduzieren kann )

 

[samuelclemens]

@CountSero Stell dir einfach vor du hättest deinen persönlichen Steve Jobs. Gib ihm tolle innovative Ideen und er macht dir ein verkaufsfertiges massentaugliches Produkt draus. 🙄
Selbstverständlich wirst im Falle eines Erfolges keinerlei Rechte haben oder nennenswerte Einnahmen aus der Geschichte ziehen können!
Moment reden wir noch über KI oder...!?🤔

 

[CountSero]

@samuelclemens hehe nice one ^^ Aber kannst ja mal selber Testen und dann die Lyrics durchlesen, bei mir kamen das nur bescheidene Versuche bei raus ^^.


Und nein, kommerziell würde ich nie was veröffentlichen, für meine Private Sammlung hingegen ist es allemal gut genug^^ Und wie sagt man so schön über Geschmack lässt sich nicht streiten für mich reicht es halt^^

Aktuell teste ich auch das BF16 Model mal sehen dabei so entsteht ^^

 

[samuelclemens]

Songtexte waren noch nie so wirklich mein Ding. Reimschemas, Struktur und Aufbau gehorchen ganz eigenen Gesetzmäßigkeiten. Zumindest dann wenn sie markttauglich sein sollen.
Bisher hab ich lediglich ein paar meiner Kurzgeschichten von ChatGPT in Songtexte ummünzen lassen.
Mein Metier ist eher das Geschichten erzählen.
Wenn man so will dann eher in Richtung Ballade. Wenn es denn was eigenes sein soll...

Aber mir geht es wie dir. Alles nur für privat. Selbst wenn ich wollte, alles läuft heute über Selbstvermarktung in Socialmedia. Ohne Reichweite wird man nichts verkaufen können.
Und leider bin ich eingefleischter „Social-Media-Phobiker“.😱

 

[BFF]

Viel Spaß beim Hören und Kritik ist erwünscht!

Das garnicht mal so schlecht klingt und vermutlicht besser waere wenn in englisch.
Aber da da eh AI im Spiel ist kann ich auch tippen, das Dein Ding halbwegs so klingt vom Stil/Melodie den ich mal per Suno erzeugt habe als Trilogie bzgl. der Werke von Isaac Asimov. Die sind in den BPM hoeher wie Dein Konstrukt passen aber melodisch irgendwie zusammen.

 

[CountSero]

Also, das Ding ist entstanden, weil ich vor ein paar Tagen versucht habe, mal zu schauen, wie das Songwriting funktioniert, wenn ich KI nutze. Hier habe ich GPT(Luna), Gemini, Google AI, Qwen und Gemma genutzt, und alle haben da echt nur Murks erstellt beim Thema Cyberpunk 2077.

Da habe ich es einfach mal selber versucht zu basteln, sprich: Die Lyrics sind von mir, aber das Audio kommt von YUE2 mit diesen Style-Vorgaben:

Style:
cyberpunk, dark electro-industrial, lo-fi synthwave, 130 BPM, heavy distorted bass, aggressive pulsing synthesizer, sharp electronic drums, gritty electric guitar riffs, dark dystopian mood, power female duett, raw female lead vocal, moody soulful female co_lead vocal, raspy and intense tone, rebellious energy

Ich habe bis jetzt erst einen englischen Song geschrieben, der ist aber noch nicht rund, und ich weiß nicht, ob ich ihn je teilen werde, weil das Thema sehr depri ist.

[UpDate]

Die The AI Paradox Trilogy ist sehr nice

 

[Keuleman]

@CountSero Ich feier das Ding.

Nachtrag: geht mir auch oft so...

 

[CountSero]

Nur mal so für die Statistik > vom "Binären Traum“ habe ich 42 Versionen gebaut, und die Version da oben ist die Nr. 34.

Bei "Wir werden zur Legende“ habe ich sogar 60 Versionen erstellt, aber die Version, die zwischen zwei System-Updates entstanden ist, war für mich die beste. Das war Nr. 32.

Warum so viele Versionen? Ich würde sagen, die ersten 20 bis 30 Versionen waren Textänderungen und Anpassungen, weil man bei deutschen Texten mit englischen Begriffen oder Abkürzungen oft nachhelfen muss. Das musste ich aber erst lernen ^^

So wird aus dem VC20 dann der "fau C zwanzig“, aus C64 wird "C vierundsechzig“ oder aus 8086 dann "achtzig sechsundachtzig“. Oder ich stelle ganze Verse um, weil mir die Reihenfolge nicht passte oder lösche Parts und schreibe diese neu.

Bei "Wir werden zur Legende“ gab es auch einige Stellen, an denen ich kreativ werden musste. Da wurde aus Run dann "Ran“, aus Fuck dann "Fack“, aus Rogues dann "Rohgs“ oder aus Terminal dann "Törminell“.

Für die Lyrics habe ich sogar extra zwei Verse geschrieben und die beiden Pre-Chorus-Parts eingefügt, wie zum Beispiel den hier:

[Pre-Chorus]
[Soft, fading whisper]
Verdammt, Johnny ist ein Arsch...
Ich glaub, unsere Reise wird ein Todesmarsch.

Der erste Vers und den Ersten Chorus habe ich z.B. erst ganz am Ende geschrieben weil mir etwas fehlte, dadurch wurde es am ende aber viel länger ^^

Durch die beiden Songs habe ich mega Respekt vor Songschreibern bekommen. Das ist echt eine harte Arbeit, und ich habe manchmal einfach nach Ohr entschieden oder danach, was ich sagen wollte. Das heißt aber auch, dass ich Silben und sowas nicht immer gezählt habe, wenn es für mich am Ende akustisch gepasst hat.

Dafür kann ich aber sagen, das sind meine Texte, und nur die songliche Verwurstung ist AI. ^^

 

[BFF]

Das was Du beschreibst fuer die Aenderungen an Deinen Werken ist absolut das was voellig normal ist, wenn man sich damit beschaeftigt ein am Ende schluessiges Werk zu generieren.

Manches ergibt in Text und Ton sofort ein gutes Ergebnis, manches braucht viel Handanlegen.
Ich hab hier einen Titel, welcher im Text fuer mich passt aber es der Ton aka KI nicht schafft mir zu gefallen. Den fasse ich seit Monaten alle Monatsenden mal an um ihn wieder zu Seite zu legen. 😁

Und ja. Oft muss die KI "gezwungen" werden so zu "sprechen" wie es richtig ist oder wie man es erhofft. Richtig putzig wird es dann, wenn man einen bestimmten Dialekt haben will. 🤣

 

[samuelclemens]

Leider gelingt es nach wie vor nicht richtig individuelle Stimmen zu klonen. Auch nicht beim Covern wo man ja eine Referenz Audio mit angeben kann.
Ich mag oft Songs von Leuten die nicht ganz so richtig oder "perfekt" singen. Also iwie aus dem "sauberen" Klang Schema fallen. Schwer zu beschreiben.
Das scheint der KI nicht so recht zu gelingen das nachzumachen. Die scheint gerne alles was unperfekt oder extrem individuell an einer Stimme ist glattzubügeln.
Das ist wie bei diesen Gesangswettbewerbsshows wo richtig individuelle Charakterstimmen kaum ne Chance haben und da wo einer doch mal weiterkommt wird der so lang durchs Coaching gejagt bis alles einzigartige rausgebügelt wurde. 😒

Für vieles was ich so Werkle brauche ich authentische individuelle Stimmen mit echtem Wiedererkennungswert. Nicht nur im Songbereich.

 

[BFF]

Das scheint der KI nicht so recht zu gelingen das nachzumachen. Die scheint gerne alles was unperfekt oder extrem individuell an einer Stimme ist glattzubügeln.

Das ist so gewollt. @samuelclemens
War jedenfalls die Aussage von Suno.

Da hilft am Ende nur, dass Du die Stimme nachträglich einbaust ausserhalb der KI.