News HBM4 mit 11 Gbps: Nvidia will von Partnern immer schnelleren AI-Speicher

Yosup schrieb:
.Hypothetischer Consumer-HBM würde von Anfang an mit Augenmerk auf die Kosten spezifiziert werden,
Hypothetisch geht vieles. Nur kann man hypothetische Produkte nicht kaufen.

Die Realität ist das die aktuelle RTX5000 beim Gaming die GDDR7 Schnittstellen nicht Mal annähernd auslasten.

Und warum verwendet Nvidia für den Fillstep beim Inferencing GPU s mit GDDR7?

Kann es sein dass Deine Hypothese falsch ist?
 
  • Gefällt mir
Reaktionen: Shavanna
Auf einer consumer 5090er gehen schon 70 billionen Parameter Modelle mit Quantifizierung (und vertretbaren Qualitätseinbußen - der Zuwachs durch mehr Parameter gleich Ungenauigkeiten mehr als aus). Frontier Modelle haben freilich ihre 600 billionen Parameter. Ab 16 billionen Parameter fangen KIs an einigermaßen vernünftig zu werden. Ich schätze für lokale haus KI Systeme werden schon 2000-5000 Euronen über den Tisch gehen.

Aber das ist alles noch Zukunftsmusik. Independant Agent KIs sind rar und der Computer der selbst synthetischer User ist scheint noch weit weg.

Sehen können sie. Hören können sie. Coden mit Einschränkungen. Zeichnen und Musik auch. Einen Computer selbstständig bedienen? Sieht alles noch sehr basic aus. Freilich mag das bei militärischen Modellen anders aussehen. All die Robotik. Immerhin gibt es schon KI Flugstaffeln. Vermutlich können die auch Panzer bedienen.
 
Zuletzt bearbeitet:
Yosup schrieb:
Der Sprung von 10 auf 11 Gbps bringt maximal 10% Performance, treibt aber die Kosten enorm.
Gamer und Enthusiasten zahlen für sowas ja auch gerne das doppelt/dreifache für besondere Hardware oder Teile denen ein Selektionsmythos anhängt.
Kann Nvidia dann gerne auch so machen für ihr KI Topmodell wenn sie so schnellen Speicher ganz arg unbedingt doll brauchen.

Salutos schrieb:
Weiter gedacht heißt das doch, ohne schnelleren Speicher werden unsere (NVIDIA) Produkte, keine Leistungssprünge mehr machen.
Also Geforce = Gaming ist aktuell nicht davon betroffen.
Zb. siehe "RTX5090 china edition" mit 384bit 24GB anstatt 512bit 32GB, die soll laut Nvidia die gleiche Gaming Leistung haben.
Und solange andere Modelle 10% Vram OC nicht in 10% Mehrleistung umsetzen, sondern vielleicht 2%, ist es dort auch kein Flaschenhals.
 
Yosup schrieb:
Der Sprung von 10 auf 11 Gbps bringt maximal 10% Performance, treibt aber die Kosten enorm.
Was für Kosten entstehen dabei?
Yosup schrieb:
Hypothetischer Consumer-HBM würde von Anfang an mit Augenmerk auf die Kosten spezifiziert werden, dürfte eher bei 7 Gbps liegen bei weniger Kapazität. Da sehen die Kosten dann ganz anders aus.
Was soll der Takt großartig an den Kosten ändern? Die Kosten treibt das allgemeine Konzept von HBM, stacked Dies und das breite Interface welches advanced Packaging benötigt.
 
ETI1120 schrieb:
Hypothetisch geht vieles.
Dann widersprich doch nicht. Punktum.
bensen schrieb:
Was für Kosten entstehen dabei?
R&D und Yield.
bensen schrieb:
Was soll der Takt großartig an den Kosten ändern?
Klar, dass wir heute 6 GHz Prozzis haben statt 60 MHz wie vor drei Jahrzehnten haben die Ingenieure in ihrer Freizeit ermöglicht, vermutlich weil ihnen langweilig war.

bensen schrieb:
Die Kosten treibt das allgemeine Konzept von HBM, stacked Dies und das breite Interface welches advanced Packaging benötigt.
Nach der Argumentation hätten wir heute auch keine GPUs mit 100 Milliarden Transistoren...

Aber ich habe ja explizit von (hypothetischen) Consumer-HBM gesprochen. Der könnte ja weniger Lagen, weniger Kapazität, weniger Bandbreite, weniger Ansprüche ans "advanced Packaging" haben und könnte damit ja billiger sein.

Aber dass das nicht geht, das weiss ich ja nun. Schöne Grüße seien gesendet via einem technischen System, bei dem Du vor 15 Jahren zu jeder einzelnen Komponente gesagt haben müsstest, dass das "nicht geht". Entwickelt und gebaut haben das Leute, die das wohl nicht wussten.
 
Yosup schrieb:
Das ist ziemlich allgemein und gilt für alle Produkte.
Yosup schrieb:
Klar, dass wir heute 6 GHz Prozzis haben statt 60 MHz wie vor drei Jahrzehnten haben die Ingenieure in ihrer Freizeit ermöglicht, vermutlich weil ihnen langweilig war.
Und ich dachte schon du wärst an eine ernsthafte Diskussion interessiert.
Es geht um direkte Kosten durch hohen Takt. Du hast enorme Kosten aufgeführt, dann ist es nur rechtens dort nachzuhaken. Allgemein mit manhours zu kommen ist ziemlich dünn.
Yosup schrieb:
Nach der Argumentation hätten wir heute auch keine GPUs mit 100 Milliarden Transistoren...
Was für ein bullshit. Ich habe aufgeführt was die Kosten heute treibt. Dass in 10 Jahren das Packaging dafür Standard sein wird ändert nichts an der Situation heute.
Yosup schrieb:
Aber ich habe ja explizit von (hypothetischen) Consumer-HBM gesprochen. Der könnte ja weniger Lagen, weniger Kapazität, weniger Bandbreite, weniger Ansprüche ans "advanced Packaging" haben und könnte damit ja billiger sein.
Weniger Lagen sind immer noch nötige TSVs, also teurer. Advanced Packaging auch wenn weniger Kontakte ist immer noch jenseits von standard Packaging wo die Kapazität extrem begrenzt ist. Also hohe Kosten. Weniger Kapazität pro Die spart keine Kosten sondern erhöht sie. Deswegen erhöhen die Hersteller die Datendichte stetig. Ja, auch wenn das so böse Entwicklungskosten verursacht.
Yosup schrieb:
Aber dass das nicht geht, das weiss ich ja nun.
Es steht nirgends, dass das nicht geht. Es geht eben nicht billig.
Yosup schrieb:
Schöne Grüße seien gesendet via einem technischen System, bei dem Du vor 15 Jahren zu jeder einzelnen Komponente gesagt haben müsstest, dass das "nicht geht".
Wie man so einen Dünnpfiff in meinen Post reininterpretieren kann ist mir echt schleierhaft. Versuche es einfach mal mit weniger Polemik und mehr Argumenten.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: ETI1120
Yosup schrieb:
Aber ich habe ja explizit von (hypothetischen) Consumer-HBM gesprochen. Der könnte ja weniger Lagen, weniger Kapazität, weniger Bandbreite, weniger Ansprüche ans "advanced Packaging" haben und könnte damit ja billiger sein.
Der Witz ist halt, dass es Speicher gibt, der sich so wie von dir hier beschrieben von HBM unterscheidet. Der nennt sich GDDR. Das ist der ganze Punkt, warum HBM für Consumer keinen Sinn macht, wenn du alles weg nimmst, was HBM teuer macht, dann bleibt auch nichts anderes übrig als das, was wir eh schon haben.
 
  • Gefällt mir
Reaktionen: bensen
@stefan92x Es gibt neben GDDR auch noch LPDDR. GDDR bietet die höhere Bandbreite und LPDDR bietet mehr Speicher. Beide Speichertypen werden auch im Data Center eingesetzt. Es gibt auch dort genügend Anwendungen, die die hohen Kosten von HBM nicht rechtfertigen.
 
stefan92x schrieb:
@pmkrefeld Never. Viel zu teuer und lohnt sich für den Bedarf an Speicherkapazität von Consumer-GPUs nicht.
Habe mir gerade eine Titan V mit HBM gegönnt.:) Und ich bin Consumer. Also ist das Never doch zu Hart ;)

Irgendwann tropft alles nach unten. Aber ich glaube bei HBM als Consumer Technik zum neu kaufen, hast du recht.
 
DieSuperSuppe schrieb:
Habe mir gerade eine Titan V mit HBM gegönnt.:) Und ich bin Consumer. Also ist das Never doch zu Hart ;)
Ich bleibe bei meiner Meinung zu HBM4 :p

HBM/HBM2 gab es ja durchaus noch auf Karten, die zumindest für Prosumer gedacht waren - für das Marktsegment ist die Titan ja immer gewesen und auch AMD hatte damit Lösungen.

Der totale Fokus auf Höchstleistungen im Datacenter war am Anfang der HBM-Entwicklung ja noch nicht gegeben, ist bei aktuelleren Generationen (HBM3 und folgende) aber offensichtlich und wird immer stärker.
 
@Substanzlos Naja, nach https://winfuture.de/news,153554.html geht der Wachstum im Bereich KI in den USA schon wieder leicht zurück. Es scheint eine Art Sättigung zu geben. Ich denke da muss sich KI erstmal weiterentwickeln, bis sich da wirklich was dran ändert, vor allem da KI in den meisten professionellen Nutzungsszenarien eher nutzlos ist. Denk nur mal an den 'Code' den etwa ChatGTP produziert. Selbst etablierte Methoden wie Übersetzungen sind sehr gewöhnungsbedürftig. Da ist das kein Wunder.
 
Methoden zur Übersetzung sind höchstens befriedigend. Bei Localisation scheitern die Dinger, aber ein Buch kannst du da für 150 euro von einer ki übersetzen lassen. Ne gute Übersetzung mit Localisation bei 90k Wörter. durch den Menschen bist du aktuell nach meinen Recheren bei Rund 15k Euro.

Ob es wirklivh eine Sättigung ist flaube ich noch nicht. Ich denke eher das die Jahres Bugdets erschöpft sind und auch aktuell relariv gleich je jahr. Es werden bestimmt locker noch 1000 Milliarden investiert werden. Eher das doppelte, einfach weil die preise so hoch sind.
 
Cabranium schrieb:
Methoden zur Übersetzung sind höchstens befriedigend. Bei Localisation scheitern die Dinger, aber ein Buch kannst du da für 150 euro von einer ki übersetzen lassen. Ne gute Übersetzung mit Localisation bei 90k Wörter. durch den Menschen bist du aktuell nach meinen Recheren bei Rund 15k Euro.
Ich kenne mehrere Übersetzer. Alle haben gesagt, dass sie fremdsprachige Bücher nur im Original lesen können, bei den Übersetzungen erkennen sie zu viele Fehler. Und das waren noch Zeiten wo alles manuell übersetzt wurde. Bei übersetzten Büchern wimmelt es nur so von Übersetzungsfehlern. Falsche Freunde und Sprachbilder nicht erkannt oder falsch übersetzt ist bei menschlichen Übersetzern üblich. Und bei technischen Dokumenten kommt eben noch hinzu, dass menschliche Übersetzer den Text nicht oder falsch verstehen und deshalb falsch übersetzen.

Übersetzen ist AFAIK der einzige Beruf, in dem Akkordarbeit noch Standard ist. 16 Cent je Wort ist nicht der billigste Satz, aber auch nicht wirklich üppig. (ich habe Gott sei dank nichts mehr mit der Beauftragung von Übersetzungen zu tun.

Bei meinen Experimenten mit DeepL ist mir aufgefallen, dass alle von DeepL schlecht übersetzen Stellen auf von mir schlecht geschriebene Passagen zurückgegangen sind. Bei einem Dokument mit 60 Seiten, habe ich deshalb meine deutsche Fassung anhand der Übersetzung von DeepL überarbeitet. Ungefähr zur selben Zeit hat DeepL den Schreibasssistent als Funktion veröffentlicht.

Im Verlauf des letzten Jahres hat sich die Qualität der Übersetzungen von chinesichen, japanischen und koreanischen Seiten spürbar verbessert.
Ergänzung ()

stefan92x schrieb:
HBM/HBM2 gab es ja durchaus noch auf Karten, die zumindest für Prosumer gedacht waren - für das Marktsegment ist die Titan ja immer gewesen und auch AMD hatte damit Lösungen.
Raja Koduri hat gesagt, dass HBM eigentlich für die Gaming GPUs gedacht war.

Inzwischen bestimmen aber die Data Center Anwendungen die Reise. Und das triebt die Preise.

Ein Fund im Web:
G09f2NvWEAAWJ7T.png

Ein Preistreiber ist momentan noch, dass HBM knapp ist. Aber es gibt auch andere Preistreiber.
 
Zuletzt bearbeitet:
@ETI1120 Wenn man selbst übersetzen kann ist das ne gute und Hilfreiche Sache. Ich selbst hab aber nicht das niveau in English um das zu Leisten. Das sicherlich keine 100% Übersetzungen existieren, dass scheitert schon alleine an den unterschieden mancher Sprachen. Deutsch ist da so ne echt unvorteilhafte Sprache. Da wir für alles eigene Wörter haben. Wenn wir eine Sache mit bis zu 10 Unterschiedlichen Wörtern beschreiben, ist es im Englischen für alles das selbe. Daher lohnt sich für die erst Übersetzung eine hohe Qualitative Englische übersetzung aus der man dann in alle andere einfachen Sprachen weiter übersetzt.

Wie würdest du den aus deinen Erfahrungen einschätzen, wie weit die Übersetzungsmodelle sind, wenn man rein aus den Englischen in andere Sprachen übersetzt? Empfindest du die Qualität gleich gut wie bei Menschlichen Übersetzern oder sogar besser?

Wird halt Zeit für ne echte Weltsprache die jeder Lernt und beherrscht.
 
Cabranium schrieb:
@ETI1120 Wenn man selbst übersetzen kann ist das ne gute und Hilfreiche Sache. Ich selbst hab aber nicht das niveau in English um das zu Leisten. Das sicherlich keine 100% Übersetzungen existieren, dass scheitert schon alleine an den unterschieden mancher Sprachen. Deutsch ist da so ne echt unvorteilhafte Sprache. Da wir für alles eigene Wörter haben.
Die Basis von guten Übersetzungen sind:
  • Einfacher Satzbau und konsistentes Schreiben im Deutschen. Das abwechslungsreiche Schreiben (intensives Verwenden von Synonymen), das in der Schule gepredigt wird, ist für die Alltagstexte kontraproduktiv und erschwert das Übersetzen massiv. Das gilt für manuelle und maschinelle Übersetzung.
  • Terminologie Management. Es ist für jeden die Hölle der einen technischen Text lesen muss bei dem für das selbe Bauteil 3 verschiedene Bezeichnungen verwendet werden oder bei dieselbe Bezeichnung für verschiedene Bauteile oder Baugruppen im selben Aggregat verwendet wird.
Diese ganze Diskussion ist nicht sinnvoll ohne Simplified English zu erwähnen. Simplified English ist in der Luftfahrtbranche Standard. Es ist eine kontrollierte Sprache in der Sprachumfang und Satzmuster genormt sind. Das erleichtert das Verstehen eneorm.

Cabranium schrieb:
Wenn wir eine Sache mit bis zu 10 Unterschiedlichen Wörtern beschreiben, ist es im Englischen für alles das selbe.
Das mag vordergründig so erscheinen, ist aber nicht richtig.

Es gibt auch Fälle wo es im deutschen ein Term gibt, für den es im Englischen 2 Terme mit klar abgegrenzter Bedeutung gibt. Klassisichen Beispiel Schraube. Screw ist eher Holzschraube. Bolt ist Metallschraube, kann allerdings auch für den deutschen Bolzen stehen.


Das moderne Englisch hat vereinfacht dargestellt zwei Wurzeln, Angelsächsisch und Französisch. daraus ergeben sich viel Synonyme im Englischen.

Wenn ich Mal ein kleines bisschen in die Sprachwissenschaft abdriften darf. Es gibt in jeder Sprache sehr viele Worte die exakt gleich geschrieben (Bezeichnung) werden aber verschiedene Bedeutungen (Begriff) haben. Der Zusammenhang zwischen Bezeichnung und Begriff ist von Sprache zu Sprache unterschiedlich. Beim Übersetzen muss der passende Begriff erkannt und übersetzt werden, nicht die Bezeichnung.

Ich denke damit ist klar warum alle Wort zu Wort Übersetzungen schon an der Termionologie scheitern. Die richtige Wortwahl (Begriff) ergibt sich aus dem Verständnis bzw,. Kontext.

Cabranium schrieb:
Daher lohnt sich für die erst Übersetzung eine hohe Qualitative Englische übersetzung aus der man dann in alle andere einfachen Sprachen weiter übersetzt.
Was ist eine hoch qualitative Übersetzung?

Die erste Voraussetzung ist dass die übersetzende Person den zu übersetzenden Sachverhalt vollkommen versteht. Das hört sich viel einfacher an als es tatsächlich ist. Deshalb haben Unternehmen denen die Qualität ihrer Übersetzungen wichtig ist eigene Übersetzer oder arbeiten immer mit denselben Übersetzern zusammen. Wohlgemerkt denselben Personen und nicht denselbem Übersetzungsdienstleistern, die dann die Arbeit an gerade verfügbare Übersetzer verteilen.

Meiner Erfahrung nach ist nur eine Übersetzung, die ein Muttersprachler mit Verständnis des Sachverhalts Korrektur gelesen wurde eine hoch qualitative Übersetzung. Das ist in der Medizintechnik Branche üblich. Ansonsten herrscht fire and forget. Das von den Übersetzungsbüros angebotene Korrekturlesen hat den entscheidenden Haken, dass auch die Korrekturleser oft nicht das notwendige Fachwissen im Detail haben.

Cabranium schrieb:
Wie würdest du den aus deinen Erfahrungen einschätzen, wie weit die Übersetzungsmodelle sind, wenn man rein aus den Englischen in andere Sprachen übersetzt? Empfindest du die Qualität gleich gut wie bei Menschlichen Übersetzern oder sogar besser?
Ein Kollege hat es mit Englisch und Vietnamesisch ausprobiert und die maschinelle Übersetzung war besser. Natürlich mit dem üblichen Spielregeln, deutschen Text an Übersetzungsdienstleister und der verteilt es an gerade Verfügbare Übersetzer die es dann im Akkord übersetzen.

Die maschinelle Übersetzung wird momentan in House verwendet, nach außen traut man es sich (noch) nicht, aber das hat eher rechtliche Gründe.

Und dann stellt sich mir die Frage, hast Du schon einmal von Translation Memories gehört? Das ist mittlerweile beim Übersetzen Standard. Das heißt man speichert schon einmal übersetzte Sätze und prüft einen neu zu übersetzenden Text erst einmal auf schon einmal übersetzte Texte. Das reduziert den Übersetzungsaufwand massiv, besonders bei gut geschrieben Texten. bei schlecht geschriebenen texten hat es aber Fallstricke.
Cabranium schrieb:
Wird halt Zeit für ne echte Weltsprache die jeder Lernt und beherrscht.
Haben wir und das ist Englisch. Und Englisch ist weit besser dafür als Latein geeignet. Müssen sich hat die englisch Muttersprache damit abquälen wenn die halbe Welt in Englisch radebrecht. dafür verstehen sie fast alles.
 
  • Gefällt mir
Reaktionen: Cabranium
Zurück
Oben