Neuer Rekord bei künstlichen neuronalen Netzwerken

Ein Forscherteam der US-amerikanischen Elite-Universität Stanford hat mit Unterstützung des Chip-Herstellers Nvidia das nach eigenen Angaben derzeit weltweit größte, künstliche neuronale Netzwerk geschaffen, das im Modell die Arbeitsweise des menschlichen Gehirns beim Lernen demonstrieren soll.

Google hatte im Jahr 2012 bereits ein solches Netzwerk vorgestellt, nach Angaben von Nvidia ist das jetzt in Stanford entwickelte aber rund 6,5 Mal größer.

Computer-basierte neuronale Netze können „lernen“, wie sich das menschliche Gehirn entwickelt, und dabei Fähigkeiten wie beispielsweise Muster- und Stimmerkennung in gleicher Weise entwickeln wie Menschen.

Das Erstellen von neuronalen Netzen in dieser Größenordnung ist mit großem Aufwand verbunden. So setzte Google für das eigene Projekt rund 1.000 Server mit 16.000 CPU-Kernen ein. Das Netzwerk arbeitete mit 1,7 Milliarden Parametern, die die neuronalen Verbindungen im menschlichen Gehirn abbilden. Lernziel des Projektes war es, durch Maschinelles Lernen und Künstliche Intelligenz (K.I.) dem neuronalen Netz das Erlernen der Fähigkeit, verschiedene Katzen zu erkennen, beizubringen.

Das Stanford-Team, in der Abteilung für Künstliche Intelligenz beheimatet und geleitet von Andrew Ng, der schon Google bei ihrem neuronalen Netz behilflich war, erstellte zunächst ein Netz, das in der Komplexität dem von Google entsprach, verwendete dazu aber nur drei Server, die Nvidia-GPUs nutzen, um die großen Datenmengen zu verarbeiten. Daraufhin wurde das Netz auf 16 derartige Server erweitert, die 11,2 Milliarden Parameter verarbeiten können. Erstaunlich ist hierbei, dass Hardware von der Stange eingesetzt wird. Jeder der 16 Server hat neben zwei Quad-Core-Prozessoren vier Nvidia GeForce GTX 680 verbaut, wobei jede GPU über vier Gigabyte Speicher verfügt.

Maschinelles Lernen ist die Wissenschaft, Computer etwas tun zu lassen, ohne sie explizit dafür zu programmieren. Diese Methode hat in den letzten Jahren selbstfahrende Autos und effektivere Websuche maßgeblich weiterentwickelt sowie viel zum Verständnis des menschlichen Genoms beigetragen. Auch in der Spracherkennung trägt Maschinelles Lernen zur Verbesserung der Methodik bei, beispielsweise im neuronalen Netz der Firma Nuance, das ebenfalls mit GPUs rechnet. Die Möglichkeit, mit GPUs größere Datenmengen in kürzerer Zeit abzuarbeiten, erhöht die Genauigkeit, mit der die neuronalen Netze lernen können.