Bericht Die Ratatouille-KI: Claude Code im Langzeittest – wo es vibed und wo es hakt

[Andy]

Agenten sind der aktuelle KI-Hype. Autonom komplexe Aufgaben erledigen ist das Versprechen. Was mit einem Agenten-System wie Claude Code oder Cowork derzeit möglich ist und welche Sicherheitsrisiken bestehen, analysiert ComputerBase. Ein Bericht über Erfahrungen aus einem über Wochen laufenden Langzeittest.

Zum Bericht: Die Ratatouille-KI: Claude Code im Langzeittest – wo es vibed und wo es hakt

 

[Ned Flanders]

Für mich eine der großen Revolutionen der Computergeschichte.

Im Grunde ist das nicht weniger als die Demokratisierung der Softwareentwicklung. Jeder, wirklich jeder kann Programme erstellen, die helfen ihre oder seine Probleme zu lösen.

Beruflich ist der Punkt Datenanalyse einfach unglaublich. Wofür ich noch vor einem Jahr Spezialisten anbetteln musste, kann ich heute selbst erledigen.

Codex hat bei mir einen eigenen headless DeskMini mit Linux Mint bekommen und es ist wirklich fantastisch was da möglich ist. So reduziert sich auch das Sicherheitsrisiko, denn auf dem Gerät befindet sich nichts privates.

 

[Silencium]

Selbst diese Technik nutzen sehe ich dies wie immer mit einem lachenden und einem weinenden Auge.
Es macht unfassbar Spaß selbst in der Lage zu sein Software entwickeln lassen zu können - wichtig "lassen"! Ich kann nicht coden, ergo kann ich weder etwas zur Codequalität sagen noch bei spezifischen Fehlern selbst diese diagnostizieren oder gar beheben.
KI ist sau teuer, Claude wird von Quartal zu Quartal teurer, im Dezember gab es angeblich mehr Nutzung, damit über die Weihnachts- und Neujahrszeit die Ressourcen ausgelastet werden. Aber oh Wunder - danach berichteten viele über teurere Prompts. Selbes Spiel letzten Monat und wer versteht was KI-Betrieb kostet, der weiss: das ist noch lange nicht das Ende der Fahnenstange in Bezug auf Kosten.
Auf der anderen Seite versuchen sich alle an der Reduktion dieser Nutzungskosten und folglich wird hoffentlich irgendwann eine annehmbare Möglichkeit der privat zu betreibenden KI existieren.

Womit wir zum größten Sorgenpunkt von mir kommen. KI ist trainiert auf bestehendem Material. Wenn wir uns ausruhen und selber keine Software und oder Dokumentation mehr entwickeln, dann ist das nicht zu unserem Vorteil. Ressourcentechnisch ist es auch sinnbefreit die 39ten RSS-Feed-Application zu schreiben - schaut euch an was auf r/macapps los ist. Da wächst bloatware wie Pilze aus dem Boden. Jede Menüapp die alles können will, 50x einen Usage/Tokenzähler für Claude etc.
Ich hoffe qualitative Apps verschwinden hier nicht irgendwann. Vielleicht ist es ja sogar gut für uns Verbraucher und ich sehe noch nicht diese Perspektive: evtl. bringt es diese ganzen SaaS-Anbieter dazu mal wieder ordentliche, native Apps mit vernünftigen Lizenzmodellen anzubieten - ich schiele zu euch AgileBits!

Danke euch für den Artikel und die Be-/Durchleuchtung des Themas, wobei Durchleuchtung hier natürlich nur ein zusammengefasstes Ankratzen war ☺️
Dennoch, danke.

Oh, eins noch: OpenAI löscht eure Daten nachweislich nicht - selbst wenn ihr den Account löschen lassen wollt! Bei anderen kann ich es nicht belegen, bei OpenAI schon. Ich bin froh dem Laden den Rücken gekehrt zu haben und dass die über den Preis gehen müssen zeigt eigentlich auch schon alles was man wissen müsste.

 

[testwurst200]

Habe vorhin zufällig claude zum ersten mal installiert und mal schauen wie es sich schlägt.
Die anderen üblichen Verdächtigen machen zumindest bei mir peinliche Fehler, behaupten Dinge welche einfach nicht stimmen und ignorieren klare Anweisungen.

"dEiN pRoMpT IsT nIcHt RiChTiG"

Wie soll das prompt denn aussehen? Muss da noch eine Drohung rein falls es meine Anweisungen missachtet?

 

[Vigilant]

Danke für den Artikel und Erfahrungsbericht.

Ähnliches kann ich insoweit bestätigen, als dass wir uns auch in unserem Business-Bereich zumindest damit beschäftigen (müssen) und schon jetzt absehbar ist, dass KI-Agenten in Teilbereiche langsam einsickern werden.

Ob wir das gut oder schlecht finden, spielt dabei keine Rolle. Die Ambivalenz ist aber ständiger Begleiter.

Was heute noch nicht gut funktioniert, wird in naher Zukunft besser funktionieren, wenn der bisherige Fortschritt schlicht linear nach vorne projiziert wird. Auch wenn Rückschläge einkalkuliert werden.

Vermutlich wird es in Zukunft sehr drauf ankommen, die eigene Fach-Expertise noch schneller zu entwickeln und gleichzeitig komplexe Agentensysteme managen und überwachen zu können.

Heute sich nur darauf zurückzuziehen, dass die Dinge noch unausgereift sind, Fehler machen, unsicher sind, halte ich für falsch.

Interessant finde ich den Aspekt, dass der Markt für Programmierer-Einsteiger jetzt schon dünner wird. Das wirft irgendwie die Frage auf, wer in Zukunft die Senior-Programmierer sein sollen, wenn der Nachwuchs schon auf der Startlinie nicht vom Fleck kommt.

Die weiteren Implikationen für den Arbeitsmarkt sind am Horizont bereits als leichtes Flimmern erkennbar. Man könnte meinen, es bestünde noch reichlich Zeit, um sich als Gesellschaft darauf vorzubereiten.

Das Problem dabei: Wenn ein Objekt in gerade Linie auf jemanden zurast, ist es schwer, die zunehmende Beschleunigung zu erkennen.

 

[sNo0k]

Je mehr ich also meine Arbeitsprozesse anpasse, desto mehr kann ich erreichen.

Jetzt wird also die Arbeit auf die Werkzeuge angepasst? Merkwürdige Entwicklung, normalerweise werden/wurden Werkzeuge entwickelt, um die Arbeit zu erleichtern.

 

[aluis]

Ich finde die Entwicklung sehr gut. Leute die mit KI Code erstellen, aber kein Seniorentwickler sind, machen massive Fehlentscheidungen in Architektur, Wartbarkeit usw. Es gibt mittlerweile den Begriff KI-Schulden aus dem Bereich der technischen Schulden.

Mittlerweile tauchen immer mehr Projekte auf meinem Tisch auf, wo alles wegen KI gegen die Wand gefahren wurde. Weil der Projektmanager dachte, er wäre ein Entwickler. Die Stundensätze sind enorm, ich freue mich auf die Zukunft! Es wird unendlich Arbeit für mich geben.

Wie soll das prompt denn aussehen?

Wenn man die Uni als Informatiker verlässt, ist ein wichtiger Skill, dass man sich wissenschaftlich präzise ausdrücken kann.

 

[Domi83]

Beruflich ist der Punkt Datenanalyse einfach unglaublich. Wofür ich noch vor einem Jahr Spezialisten anbetteln musste, kann ich heute selbst erledigen.

Da war ich noch "Old School" (wenn man das im schnellen Wandel der Zeit so nennen kann) unterwegs. Ich hatte immer den Browser, statt den Agenten verwendet. Gerade so sniffing oder debugging Analysen wieso etwas nicht geht. Strg + F, nach gewissen Dingen gesucht... hier nimmt man sich den Teil, anonymisiert ihn, haut ihn bei einer Ki rein und wums, bekommst du die Info was da sein könnte.

Thema Claude Code... immer wieder hatte ich irgendwo gelesen, was Ki Agenten so können, diese wurden dann immer mit Visualstudio (oder wie es heißt) verwendet. Dann hab ich vor kurzem gesehen, es gibt einen Einzeiler für die Installation unter Linux. Also eine VM aufgesetzt, alles vorbereitet, den Einzeiler rein gehauen, "claude" eingegeben und dann ging das Teil schon.

Vorsichtig probiert was der so macht und kann... später habe ich ihm mal eine Web Applikation gegeben, die ich vor Jahren gebaut und letztes Jahr durch ChatGPT habe schöner machen lassen und da sagt mir Claude Code "ich sehe hier und da Sicherheitslücken, soll ich das mal fixen?" und dann ging der Bär los.

Natürlich muss das "prompting" (so nennt es sich ja) gelernt sein. Ähnlich wie google, wobei ich hier sagen muss, wenn ich Wort-findungs-Störungen habe, kann ich der Ki was hinwerfen und die hilft mir weiter. Den Rest kann ich dann via Google und der Ki in Kooperation, zusammensuchen.

Das erleichtert mir ein wenig den Tag. Die Kommunikation in Foren wie diesen etc. geht dabei etwas zurück (denke ich), aber wenn ich mir dadurch lästige Kommentare wie "hast du denn noch gar nicht Google gefragt?" erspare, frage ich lieber die Ki. Denn JA, ich habe Google gefragt... aber ich suche anders als die Person die da vielleicht gerade antwortet. Das nervt einen und hilft einfach nicht weiter.

ABER, die Informationen von Ki etc. sind mit Vorsicht zu genießen, wie überall schon mal erwähnt, sie halluzinieren gerne mal und wenn man das falsche eingibt, bekommt man auch das falsche zurück.

Interessantes Thema, und danke für den Artikel.

Nachtrag:

Mittlerweile tauchen immer mehr Projekte auf meinem Tisch auf, wo alles wegen KI gegen die Wand gefahren wurde.

Genau, hier muss man halt aufpassen... wer keine Ahnung von dem hat, was er da bauen lässt und komische Dinge der Ki mitteilt, bekommt komische Anwendungen zurück. Hier muss man auch selbst ein wenig verstehen, was da passiert und was da gemacht wird.

Wenn man die Uni als Informatiker verlässt, ist ein wichtiger Skill, dass man sich wissenschaftlich präzise ausdrücken kann.

Das betrifft aber auch alle Bereiche... nicht nur die Informatik. Ich kann nicht bei Google nach Kochrezepten verlangen, wenn ich "Backofen" suche. Darum war für mich das simple suchen mit Google immer etwas anstrengender als jetzt mit der Ki an der Seite. Aber da tickt auch jeder anders

 

[pseudopseudonym]

Interessant finde ich den Aspekt, dass der Markt für Programmierer-Einsteiger jetzt schon dünner wird. Das wirft irgendwie die Frage auf, wer in Zukunft die Senior-Programmierer sein sollen, wenn der Nachwuchs schon auf der Startlinie nicht vom Fleck kommt.

Ich glaube, dass der Einfluss von KI hier größer gemacht wird als er ist. Die Jobmarktprobleme sehe ich auch in Bereichen, die eher wenig von KI betroffen sind.
Das geht so weit, dass Unternehmen über Jahre Doktoranden ausgebildet haben, die relativ spezialisiert für die Unternehmensanforderungen sind, diese dann jetzt aber nicht mehr über nehmen können (und insgesamt viel feuern). "Wir brauchen weniger wegen KI" klingt aber natürlich besser als "Wirtschaftlich läuft es nicht".

 

[steirerblut]

Danke für den ausführlichen Bericht. Viele lassen dabei gerne die Sicherheit und Probleme aus.

Der Mehrwert ist in der Programmierung und Datenverarbeitung unbestreitbar und die Adaptionsrate mittlerweile so enorm das Anthropic, Google, OpenAI, Microsoft beginnen reihenweise Free Use komplett zu eliminieren und Token Usage Fenster zu primären Geschäftszeiten zu drosseln. Fairerweise muss man dazu sagen dass keiner der Anbieter aktuell ausreichend Hardware nachbeschaffen kann. Lieferzeiten von 18-24 Monaten sind gängige Praxis.
Anthropic ist da leider auch sehr schlecht in der Kommunikation, Anreize wie 2x Token Usage ausserhalb der Kernzeiten werden schnell kommuniziert um Traffic umzuleiten. Andererseits gibts Infos zu Kürzungen nur von inoffziellen X Accounts. Selbst im Max Abo hast dein 5h Kontingent zu normalen Arbeitszeiten teils in 30-60 Minuten durchgerödelt. Die ersten Entwickler beginnen schon damit ihre Arbeitszeiten anzupassen -> gehen in die Nachtschicht. Dann ließt davon der reine Compute Rechenwert des 200$ Max Abos bei voller Nutzung der verfügbaren Token über 5000$ liegt. Also hier massivst Subventioniert wird.
Das sind alles keine neuen Themen. Extreme Nutzungspeaks und Einbrüche Abseits der Geschäftszeiten gibts seit Anbeginn von SaaS. Subventionierung für schnelle Adaption war auch immer üblich.
Unabhängig davon gibt es Zig Alternativen, viele Unternehmen setzen auch jetzt schon auf selbstgehostete Lösungen.

Vollautomatisierte KI Projekte brauchen auch weiterhin Menschlichen Input und Kontrolle.
Was mich wirklich stört ist die Einstellung vieler Unternehmen hierzulande. Positionen für Junior Entwickler werden gerade massenweise gestrichen, der Senior Entwickler soll immer mehr zum "AI Engineer" umfunktioniert werden. Zeitgleich rechnet man damit das die Projektanzahl mit KI Unterstützung enorm zunehmen wird weil sich auch Sektoren die sich traditionell keine Eigenentwicklungen leisteten (zB im Agrarsektor) nun eigene Software anschaffen könnten. KI hat aber aktuell einfach nicht die Kapazität um den gesamten Projektumfang zu verstehen; im Gegenteil je abstrakter/größer/Verschmutzer der Content wird desto schlechter wird das Ergebnis.
Ich denke der Personalbedarf wird rasch ansteigen, Technisches Verständnis und Programmierkenntnisse werden auch weiterhin essentiell zur erfolgreichen Umsetzung und Instandhaltung der Projekte sein.

 

[Vigilant]

Jetzt wird also die Arbeit auf die Werkzeuge angepasst? Merkwürdige Entwicklung, normalerweise werden/wurden Werkzeuge entwickelt, um die Arbeit zu erleichtern.

Wird es ja auch weiterhin. Während gelernt wird, mit neuen Werkzeugen zu arbeiten, wird das Werkzeug währenddessen (nach Feedback und Erfahrung) weiterentwickelt.

Also alles wie immer.

@pseudopseudonym
Möglich. Weswegen die weitere Entwicklung auch eher schwer zu bewerten ist. KI wird einen Impact haben. Wie stark und wie schnell? Unsicher.

 

[Domi83]

Ich glaube, dass der Einfluss von KI hier größer gemacht wird als er ist. Die Jobmarktprobleme sehe ich auch in Bereichen, die eher wenig von KI betroffen sind.

Mein "like" war eher auf diese Aussage von dir betroffen... Denn ich sehe, dass auch in diversen anderen Bereichen die noch nicht so KI lastig sind, Personalmangel herrscht. Hier ist es aber auch ein zweischneidiges Schwert... Der Arbeitgeber bietet XY und der Arbeitnehmer will aber noch viel mehr... also wirklich viel mehr.

Das ist teilweise utopisch... aber, der Markt gibt es teilweise her.

 

[Kuristina]

Jetzt wird also die Arbeit auf die Werkzeuge angepasst? Merkwürdige Entwicklung, normalerweise werden/wurden Werkzeuge entwickelt, um die Arbeit zu erleichtern

Wenn es neue Wege gibt, um effektiver die Ziele zu erreichen, warum sollte man die nicht nutzen? Ob es nun Werkzeuge sind, die einen bisherigen Weg erleichtern oder Werkzeuge sind, die einen neuen, effektiveren Arbeitsweg aufzeigen, ist am Ende des Tages nicht wirklich wichtig. Solange das Ergebnis stimmt.

Danke für den Artikel. Hab auch wirklich alles gelesen. ^^

 

[RolloFy]

Deckt sich mit meinen Erfahrungen, dass der Bedarf an sehr guten Senior-Entwicklern nur noch weiter steigt, da sie gebraucht werden, um hochwertige Prompts mit hochwertigen Architekturvorgaben zu schreiben und die große Menge an Output zu bewerten und zu steuern.

Junior-Entwickler brauchen wir damit eigentlich gar nicht mehr, sie bremsen nur noch mehr als vorher. Woher die Senior-Entwickler irgendwann mal kommen sollen, wenn wir keine Junioren ausbilden, wissen wir noch nicht.

 

[ABCD.]

Ich finds immer interessant wie AI von manchen so runtergespült wird. Für mich ist das ein wahnsinns Fortschritt. Technische Schulden gab es schon vorher und diese waren deutlich schlimmer. Was ich an legacy shit code gesehen hab wird dir Opus 4.6 im Subagent Modus nie und nimmer fabrizieren. Lerne das Werkzeug richtig zu nutzen und häng die Blasen-Schwurbler ab!

 

[njal]

Claude Code mit seinen Agents, Skills, Hooks, Rules und vor allem mit seinem Plan Mode (AskUserQuestion) sind ein mächtiges Tool. Wenn man weiß damit umzugehen und wie man seine Business Idee samt Informationen dafür aufbereitet, dann kann man in sehr kurzer Zeit eine produktive Software erstellen.

Durch Claude Code habe ich den Sprung vom angestellten Software Entwickler in die Selbstständigkeit gewagt. Die Entwicklung der Software hat mich ca. 3 Monate gekostet. Eine Business Idee und Kunden zu finden war auch nicht schwer.

Nach meiner jetzigen Erfahrung gehe ich davon aus, wenn sich mehr Software Entwickler intensiv mit den LLMs und vor allem dazu noch mit der Software Architektur und Planung befassen, dass wir ein Zeitalter der Clone-Software sehen werden. Die Hürden sind nicht groß, trotz DE/EU Gesetze, Rechte und Normen. Auch könnte jeder angestellte Software Entwickler, der seinen Arbeitsplatz verliert, ein potentieller Konkurrent werden. Know-How ist vorhanden. Fehlt Wissen, kann die KI helfen.

 

[leckerbier1]

Wer besitzt am Ende die Rechte für die programmierten Sachen?
Wenn man die Daten beim KI Betreiber speichert, hat der doch bequem Zugriff.
Für mich hat das nichts mehr mit eigenständiger Entwicklung zutun.

 

[Booth]

Für mich eine der großen Revolutionen der Computergeschichte.
Im Grunde ist das nicht weniger als die Demokratisierung der Softwareentwicklung. Jeder, wirklich jeder kann Programme erstellen, die helfen ihre oder seine Probleme zu lösen.

Nein. Eben nicht jeder. Denn Du musst ne Menge Zeit in die LLMs stecken um sinnvolle Ergebnisse zu bekommen (was explizit im Artikel erwähnt wird!). Hinzu kommt: Was hat das mit Demokratisierung zu tun, wenn wir eine neue Technik als neues Produkt bezahlen müssen? War die Erfindung des Staubsaugers eine "Demokratisierung"? Denn wirklich jeder kann seitdem seine Wohnung einfach sauber halten.

Demokratisierung wirst Du vorwiegend durch mehr Bildung erreichen! Wie LLMs im Coding zu mehr Bildung führt, ist mir schleierhaft. Demokratisierung bedeutet, an Macht-Prozessen in der Gesellschaft teilnehmen. Das hat mit Programmieren erstmal wenig zu tun.

Zum Artikel:
Mal wieder viel zu unkritisch. In einem Absatz wird gar die absurde Behauptung aufgestellt, es gäbe keine "Halluzinationen", aber es gab Fehler. Jeder Fehler ist im Prinzip eine Halluzination. Gerade der Absatz mit Excel fand ich gruselig. Das besondere an ALLEN bisherigen, klassischen Apps ist: Wir alle erwarten 100% Fehlerfreiheit. Man überlege sich bei einer Liste mit 1000 Einträgen, die ich per Pivot anpasse, dass ich alle 1000 Zeilen überprüfen muss, weil vielleicht in Einzelfällen eine Mehrwertsteuer (wie im Artikel) falsch berechnet würde. Das könnte katastrophal enden.

Und DAS würde ich von einem kritischen Artikel erwarten. Nicht Vibe Coding weil es sich geil anfühlt! Sondern eine gewissenhafte Untersuchung auf Fehlerfreiheit. Offenbar ist hier kaum jemand im IT Raum bereit. Wieso? Ich habe keine Ahnung. Das wäre meine Frage an den Autor.

 

[Tornhoof]

Ggf. interessant in der ganzen Diskussion, Anthropic greift jetzt durch und verbietet die Verwendung ihrer Abo Modelle für Claude mit Themen ala OpenClaw.
https://news.ycombinator.com/item?id=47633396

 

[Vigilant]

Demokratisierung bedeutet

Mit Demokratisierung ist kein politisch-gesellschaftlicher Kontext gemeint, sondern die breite Nutzung von Skills (über KI-Agenten), die dem Anwender bisher nicht oder nur nach (langem) Lernprozess zur Verfügung standen.