Code Review, Analyse und Bugfixing mit KI Unterstützung

[e-hahn]

Ich nutze KI hauptsächlich für Code Review, Analyse und Bugfixing, ein wunderbares Werkzeug dafür, aber auch irgendwie nervig und nicht ganz günstig.

Claude findet Probleme, auf die ich so nie gekommen wäre, oder zumindest nicht so schnell gekommen wäre.
Frustrierend, man könnte denken, man macht da einen oder zwei Durchläufe und gut ist, aber nein, du kannst da 10 Durchläufe machen, er findet immer irgendwas und fast immer ist es plausibel und reproduzierbar für mich.

Bei Claude habe ich auch gemerkt, dass es stark abhängig vom gewählten Modell ist, Sonnet 5 beispielsweise findet nie was, immer alles tip top, Opus hingegen schon, aber der Token Verbrauch ist hier so riesig, dass eine Session pro Durchlauf oft nicht reicht.

Ich hab jetzt die letzten drei Tage nichts anderes gemacht und mein Wochenlimit ist schon fast aufgebraucht im Pro Plan.
Abhängig von der Tageszeit scheint der Token Verbrauch auch zu sein, am späten Abend geht alles weg wie nix, früh am Morgen nicht, aber das kann ich mir auch einbilden …

Wie macht ihr das so, habt ihr eure Prompts dafür schon entsprechend perfektioniert bekommen?

 

[Drewkev]

Abhängig von der Tageszeit scheint der Token Verbrauch auch zu sein, am späten Abend geht alles weg wie nix, früh am Morgen nicht, aber das kann ich mir auch einbilden …

Das Gefühl habe ich tatsächlich auch.

Wie macht ihr das so, habt ihr eure Prompts dafür schon entsprechend perfektioniert bekommen?

Ich bin auf eine Lösung umgestiegen, bei der ich den System Prompt anpassen kann.

Kein Code ist perfekt, da lässt sich immer was aus-/verbessern. Aber das heißt ja nicht zwangsläufig, dass das auch getan werden muss.

 

[br3adwhale]

Natürlich findet das Ding ständig etwas, die Frage ist halt, wie relevant der Fund am Ende wirklich ist.

Ich würde deshalb weniger versuchen, den einen perfekten Review-Prompt zu bauen, sondern eher mit festen Fehlerklassen arbeiten. Also z. B. erst Logikfehler und falsche Annahmen, dann Edge Cases und Fehlerbehandlung, danach vielleicht Security/Race Conditions usw....

Es braucht halt auch ein Abbruchkriterium. Sonst kannst du Opus 27 mal über denselben Code schicken und es findet beim nächsten Durchlauf wieder irgendeinen Sonderfall, der technisch nachvollziehbar ist, aber praktisch kaum noch eine Rolle spielt.

Ich glaube ein sauberer Review-Prozess bringt da mehr als immer weiter am Prompt zu feilen.

 

[Wo bin ich hier]

Ich werfe mal caveman in den Raum, um das "Geschwätzige" von Claude einzudämmen und Token zu sparen
https://github.com/juliusbrussee/caveman

 

[chr1zZo]

Gibt viele Repos um Token zu Sparen. Schlank und Effizient: https://github.com/bassprofressor-lab/openwolf-enhanced

Aber mit dem Pro Plan würde ich nur im Dreieck springen. Ich lutsche permanent Max 20x leer und Knechte via OpenRouter auch alle Free Modelle zu Tote.

 

[Micha-]

du kannst da 10 Durchläufe machen, er findet immer irgendwas

Klar, du hast ihm ja auch den Auftrag gegeben was zu finden.

und fast immer ist es plausibel und reproduzierbar für mich.

Bei meinen letzten Versuchen in dieser Richtung wurden aber auch oft Design-Entscheidungen als Mangel ausgewiesen. Das ist dann schon nervig.

Und echte Probleme - schlechte Performance weil die Daten 1024x gelesen wurden statt sie zu cachen oder gleichen oder ähnlichen Code 10x implementiert - das hat er nicht gefunden. Da muss man schon gezielt den Prüfauftrag formulieren.

 

[therealcola]

Falsche Modell ausgewählt. Benutz CHAT GPT LUNA 5.6 auf max.

ist smart genug und hast viel mehr Verbrauch.

Diese Information hättest du aber auch selbst heraus finden können.

Warum sag ich das?


Weil nen 25€ Monats abo für coden absolut unbrauchbar ist.



Es geht ab 100€ los wenn man was machen will, alles andere kannste eigentlich knicken.


Ich empfehle Chat GPT 100€ ABO fürs Coden oder ein Äquivalent von Antrophic.

ABer mit 25€ sollte jedem klar sein das man damit nicht wirklich was anfangen kann.

 

[e-hahn]

Weil nen 25€ Monats abo für coden absolut unbrauchbar ist.

Ach das ist doch Unsinn.
Auch das reicht locker für einfachen Kram vollkommen aus, auch für die Analyse, vor allem für die gezielte Fehlersuche.
Man muss die Tokens nur gezielt einsetzen und das lernt man nicht von heute auf morgen...

 

[Micha-]

Es kommt halt auf den Anspruch an. Für den Profi ist das nichts, aber für Gelegenheit Programmierung reicht es.

 

[e-hahn]

@Micha- Wie definierst du hier Profi?
Profi im promten und der KI alles machen lassen? Dann braucht man natürlich das höchste Abo das es gibt...

 

[Micha-]

KI als Programmierer hauptberuflich einsetzen. Also 8 Stunden am Stück.

 

[e-hahn]

Also die KI programmiert und du gibst die Anweisungen? Ansonsten versteh ich deine Definition hier nicht.
Ja, natürlich, wenn man vielleicht nicht in ein Limit laufen will an einem Arbeitstag, ist ein höheres Abo Modell sicher ratsam. Aber 8h eine KI die Arbeit machen lassen, würde ich auch wiederum nicht als professionelles programmieren bezeichnen...

 

[Micha-]

So arbeiten heute aber viele. Weil du dann 10x soviel schaffst. Mehrere Aufgaben gleichzeitig beaufsichtigen. Hier was coden, da auf Sicherheitslücken prüfen, der nächste Task arbeitet den Test Harness ab, ein weiterer aktualisiert die Doku.

 

[floq0r]

Alles andere ist inzwischen leider nicht mehr sinnvoll, weder inhaltlich noch wirtschaftlich. Trotzdem erfordert das Orchestrieren einen befähigten Menschen.

 

[e-hahn]

Professioneller KI Manager, vielleicht gibt es diese Berufsbezeichnung ja bald, oder was ähnliches, von Software Architekten ist ja schon die Rede...
Ich bin da noch nicht soweit, aber muss ich zum Glück auch noch nicht sein.

 

[Micha-]

Trotzdem erfordert das Orchestrieren einen befähigten Menschen.

Das ist durchaus anspruchsvolle Sache. Nicht unbedingt weil jeder einzelne Schritt so komplex ist, sondern weil die Taktrate so hoch ist und man vieles gleichzeitig macht. Ist halt wie das Beaufsichtigen eines Teams von 5 Programmierern. Nur das Du hier nie weißt welcher gerade einen schlechten Tag hat. Also musst du alles kritisch kontrollieren.