ElisaMüller schrieb:
Ich habe die AI macht produktiver Behauptung nicht aufgestellt, ihr müsstet mir eigentlich Studien linken.
Warum erkennst du eine Studie so sehr als Beweis an? Oft verstehen Leute in einer Studie die dahinterliegende Methodik gar nicht oder können die Aussagekraft nicht beurteilen und richten sich lediglich danach, was die Autoren in ihrem reißerischen Texten formulieren und folgen den Urteilen darin blind.
ElisaMüller schrieb:
Ich habe mir jetzt einfach mal die erste verlinkte Quelle von dir genauer angeschaut:
1. N = 16. Deren Aussagekraft in ihrem cluster setting ist gering und unterliegen immenser Unsicherheit. Es hat seine Gründe wieso in der Statistik in cluster settings diese doppelt so groß oder mehr sein sollte um relevante Aussagen treffen zu können. Durch dieses Designkonzept wird in in ihrem Ergebnissen ein schlechtes Konfidenzintervall resultieren, den sie bisher nicht einmal veröffentlicht haben.
Ferner sagen sie:
"the 246 total completed issues give us (just enough) sufficient statistical power to reject the null hypothesis of zero speedup/slowdown." Alleine diese Formulierung zeigt mir, dass deren ganze Methodik auf einem Kartenhaus steht, welches direkt zusammenfällt, sobald statistisch relevante Fragen gestellt werden, wenn es um die Argumentation geht die du mit dieser Studie anstrebst zu beweisen. Um diese Tatsache wissen sie.
2. Die Studie ist offensichtlich biased was korrekt angegeben wurde: "For example, there may be experienced, open-source developers who decided to not participate because they believe they have significant positive speedup from AI, and they didn’t want to be forced to not use AI on 50% of their tasks.".
3. "Cursor does not sample many tokens from LLMs, it may not use optimal prompting/scaffolding". Das ist bewusst gewählt und wundert mich nicht.
4. "We do
not provide evidence that: AI systems do not currently speed up many or most software developers". Korrekt, können sie mit ihrer Studie auch nicht. Die Autoren haben das korrekt angegeben und damit fällt diese Studie für deine Argumentation komplett durch.
Da frage ich mich wirklich ob du die Studie gelesen und verstanden hast oder, wie oben angedeutet, nur auf die reißerischen Schlussfolgerungen aus bist um deine narrative zu stützen.
Ich glaube auch, dass dieses Thema hier Fehl am Platz ist. Wenn ernsthaftes Interesse am Thema besteht können wir das gerne in einem eigenen Thread dazu näher behandeln.
edit: Auch deine anderen Quellen weisen inhaltliche Mängel auf. Du kannst mir nicht sagen, dass du sie gelesen hast. "The interviews were transcribed using an AI tool", fand ich amüsant.
Ciero