Austausch unter IT-Professionals - Erfahrungen, Tipps, Fachsimpelei

[Towatai]

Nach gut 20 Jahren Direktbestellung bei Dell haben wir letztes Jahr mal über den Tellerrand geschaut und am Ende bei https://www.serversource.co.uk/ bestellt. Deren Angebot war, wenn ich mich recht erinnere, inkl. 5 Jahren 24/7 Mission Critical Garantiepaket um fast 50% günstiger als bei Dell direkt! Selbst nachdem wir Dell das Angebot haben zukommen lassen, haben die sich nicht wirklich bewegt... Kommunikation und Lieferung funktionierten einwandfrei.

 

[Ranayna]

Als Kunde in Deutschland?
In der Vergangenheit hatten wir schon mal Probleme mit dem DELL Support, wenn wir Server zentral in Deutschland bestellt und eingerichtet haben, die dann aber ins nicht-EU Ausland verschickt worden sind, zB in die Schweiz.

 

[Skysnake]

Nach gut 20 Jahren Direktbestellung bei Dell haben wir letztes Jahr mal über den Tellerrand geschaut und am Ende bei https://www.serversource.co.uk/ bestellt. Deren Angebot war, wenn ich mich recht erinnere, inkl. 5 Jahren 24/7 Mission Critical Garantiepaket um fast 50% günstiger als bei Dell direkt! Selbst nachdem wir Dell das Angebot haben zukommen lassen, haben die sich nicht wirklich bewegt... Kommunikation und Lieferung funktionierten einwandfrei.

Konsequenzen ziehen und auslasten und nen anderen Hersteller verwenden. So habt ihr Ihnen nur gezeigt das ihr hilflose Opfer sind die man melken kann.

 

[Snakeeater]

Der Service wird dann über DL aus Deutschland abgewickelt? Spannend, ist ja nichtmal EU.

 

[Towatai]

Jepp, beim Service ANGEBLICH der gleiche DL und kein Unterschied gegenüber der Bestellung bei Dell. Wir werden dort bei anstehenden Erneurungen auf jeden Fall wieder vorbeischauen und ggf. auch bestellen.

 

[Skysnake]

Um welche Größenordnung geht es denn bei euch?

 

[Mac_Leod]

Ab 400k aufwärts bei mir.
2TB RAM und 2x L40S GPUs sind eine extrem preisintensive Nummer bei meinen Kunden.
2x100G + 4x25G Nics.
H100/200 kann sich ja sowieso kaum wer leisten...

Ich schau mir den Laden mal an, danke für den Tipp

 

[Skysnake]

Für ein System oder was?

Naja H100/H200 sind deutlich günstiger als B200. Vor allem weil du die 4er Kisten dort nicht mehr bekommst. Alles nur noch 8er GPU Systeme.

L40s ist ganz nett wird es so aber auch nicht mehr geben. Was du beschreibst ist für mich ein login bzw pre- postprocessing Knoten. Dann aber nur mit einer GPU. Das reicht dafür.

So alle 20 bis 200 Compute Knoten ein solcher Knoten kann man je nachdem rechnen wie viel interaktiv gemacht wird.

 

[Pringel]

Die L40s bleibt aber erstmal noch eben so wie sie ist. Wenn man nicht an CUDA hängt, 350P. Lässt sich auch in einem 450W setting fahren

 

[Skysnake]

Hat bei euch LiteLLM auch zugeschlagen?

Wenn ja welche Konsequenzen hat es bei euch gehabt? Wir sind wohl nicht betroffen aber dafür andere Bereiche des Konzerns.

Ich schüttel einfach nur noch mit dem Kopf wie man unter so einer Gesamtlage die IT kosten einfach mal Pauschal um einen zweistelligen Prozentsatz kürzen kann.

 

[Snakeeater]

Müssen wir jetzt rätselraten was du mitteilen möchtest? Ihr seid eine Programmiererbude und es wurden alle gefeuert für irgend eine LLM oder was?

 

[Ranayna]

LiteLLM wurde unterwandert in einem sogenannten Supplychain Angriff.
LiteLLM hat dann Zugangsdaten, API Keys, generell Daten abgegriffen und an den Angreifer exfiltiert.

Dieses LLM wird anscheinend von einer sehr, sehr grossen Zahl teils sehr rennomierten Firmen verwendet.
https://www.heise.de/news/LiteLLM-Angriff-Mehr-als-2500-Unternehmen-betroffen-11412654.html

Wo ich arbeite ist nicht direkt betroffen, aber wir sind Kunden einiger der betroffenen Firmen.
Mal schauen was da noch kommt.

 

[Skysnake]

Genau das. Hätte jetzt nicht erwartet, dass das an einem vorbei geht.

Bei uns sind auch mehrere Zulieferer Betroffen.

Ich weiß gar nicht der wievielste Vorfall das bei einem bzw bei Zulieferern in diesem Jahr schon ist

Bei einem Zulieferer hat es jetzt binnen weniger Wochen schon zweimal geknallt.

Man schüttelt nur noch mit dem Kopf. Ich warte ja darauf, das unser System aktiv angegriffen wird und down geht bzw verschlüsselt wird.

Ich will gar nicht wissen wie lange es dann dauert bis alles wieder sauber läuft.

Total Gaga in meinen Augen.

 

[WhiteHelix]

Wenn ich bei DuckDuckGo LiteLLM reinwerfe, ist der Heise-Artikel Platz 7. So weit hatte ich im ersten Moment nicht gescrollt, kann gar nicht schnell genug in Flammen aufgehen die Bubble.

 

[Pringel]

Müssen wir jetzt rätselraten was du mitteilen möchtest? Ihr seid eine Programmiererbude und es wurden alle gefeuert für irgend eine LLM oder was?

Wie heißt nochmal dieser Thread? Wenn man es nicht checkt, ist man nicht betroffen. Sich einfach im Stillen freuen oder wenigstens entspannen, daß man nicht betroffen ist, geht nicht?

@Skysnake
Das Zeug war 40min. raus. 1.82.7 und 1.82.8. Warte... Moderne build systems holen sich bei jedem neuen Durchlauf automatisch die frischesten Pakete über CI/CD pipelines (pip install)?

Aber wir lachen über die Typen die bei jeder neuen BIOS-Version sofort feuchte Finger kriegen ohne jemals dazu eine einzige changes.txt gesehen zu haben?

FINDE DEN FEHLER

 

[Snakeeater]

Genau das. Hätte jetzt nicht erwartet, dass das an einem vorbei geht.

Wundert mich auch, ich les auf Arbeit täglich auf Heise, aber wahrscheinlich hat mir der Begriff LiteLLM nichts gesagt.

Insbesondere auf KI-Build-Systemen sucht sie nach LLM-API-Keys und Gateway-Konfigurationen.

Gateway ist klar, aber was will man mit den LLM API Keys? Sind das die Keys mit denen ich Zugang zu Cloud LLMs erhalte?

 

[Skysnake]

Naja, wer heutzutage noch einfach Zeug runterlädt und durch ne Pipeline jagt dem ist nicht zu helfen.

An sich muss man jedes Update manuell prüfen. Also zumindest die Release notes. Habe ich als ich verantwortlich für ein Software Produkt verantwortlich war so gemacht.

Wenn man schon automatisiert Updates testen muss, dann mindestens mit 48h Zeitverzug und automatischen Scans.

Wenn es dann doch mal einen Security Hotfix gibt muss man das halt manuell anstoßen.

Aber vollautomatisiertes CI/CD ohne mehrere Tage delay ist einfach verantwortungslos

 

[Ranayna]

Naja, wer heutzutage noch einfach Zeug runterlädt und durch ne Pipeline jagt dem ist nicht zu helfen.

Irgendwie witzig...
Erstmal hast du damit natuerlich recht.

Schon vor Jahrzehnten, als ich meine ersten Programmierschritte gemacht habe, damals mit Java, und auch ein bisserl Webprogrammierung, wurde extrem deutlich davor gewarnt, was fuer eine Sicherheitskatastrophe es ist, bzw. werden kann, wenn man dynamisch zur Laufzeit Code aus Quellen laedt, die man nicht selber kontrolliert.

Das die Situation mit den ganzen Frameworks hier, Libraries dort, derartig eskaliert, und sich um Sicherheit einen Scheiss gekuemmert wird, ueberrascht mich doch jedesmal wenn mir sowas begegnet.

 

[Skysnake]

Naja, am Ende ist das halt das Resultat von unzureichend kontrollierten und motivierten Mitarbeitern. Zumal Firmen ja auch noch so ein Verhalten befördern weil es halt eins sein soll. BILLIG!!!111EINSELF

mein Mitleid hält sich da sehr in Grenzen. Hab das selbst schon erlebt mich wegen Security rechtfertigen zu müssen. You get what you pay for.

 

[Pringel]

Aber vollautomatisiertes CI/CD ohne mehrere Tage delay ist einfach verantwortungslos

Naja... Nennen wir das Kind beim Namen. Es ist dumm. Manche sagen zwar, es ist dämlich, aber ich finde derartiges Verhalten hat so viele Buchstaben gar nicht verdient.

Es ist schlicht und ergreifend, DUMM.