Wann wird die KI freigelassen?

@BeBur Der Tweet hat in der Szene für große Diskussionen gesorgt und wurde von Tamay Besiroglu untermauert.

Seit dem Aufkommen von Deep Learning in den frühen 2010er Jahren hat sich die Skalierung der Trainingsberechnung beschleunigt und verdoppelt sich etwa alle 6 Monate. Vorher bis 2010 wuchs die Rechenleistung für das Training im Einklang mit dem Mooreschen Gesetz und verdoppelte sich etwa alle 20 Monate.

Screenshot 2022-02-21 082440.jpg

https://arxiv.org/pdf/2202.05924v1.pdf
 
Lipovitan schrieb:
Der Tweet hat in der Szene für große Diskussionen gesorgt und wurde von Tamay Besiroglu untermauert.
An einer Untermauerung wäre ich durchaus interessiert, aber ich sehe gerade nicht, wo Besiroglu das in seinem Paper getan haben soll. Woher kommt denn das von dir eingefügte Bild? Denn aus dem Paper ist das nicht, bzw. dort "fehlt" die so dick eingezeichnete horizontale Linie. Auch sonst scheint es in dem Paper nicht um "Maybe slightly conscious" KI zu gehen.
Lipovitan schrieb:
Seit dem Aufkommen von Deep Learning in den frühen 2010er Jahren hat sich die Skalierung der Trainingsberechnung beschleunigt und verdoppelt sich etwa alle 6 Monate. Vorher bis 2010 wuchs die Rechenleistung für das Training im Einklang mit dem Mooreschen Gesetz und verdoppelte sich etwa alle 20 Monate.
Ja, weil der finanzielle Anreiz ab ca. 2010 deutlich größer wurde mit anhaltendem und wachsendem Erfolg des Paradigmas.
Ich hab Besiroglus Paper jetzt grad nicht komplett gelesen, aber ich habe folgendes gefunden:
F Are large-scale models a different category?
We hypothesized that some projects that use extraordinarily large amounts of compute are a different category of
flagship models, e.g. AlphaGo/Zero or GPT-3. From 2016 onwards, companies were willing to spend significantly
more compute—and therefore money—than previous trends would have predicted
[...]
However, without inside knowledge, it is hard to evaluate whether these were just continuations of a trend or categorically different projects: Were the expected economic returns of some models significantly bigger? Was AlphaGo a unique project given this milestone? We are planning to investigate this in more detail in the future.
Im Gegenteil scheint er sich also gar nicht sicher zu sein, ob diese flagship Modelle überhaupt etwas kategorisch anderes sind als sonstige Modelle.
 
BeBur schrieb:
Woher kommt denn das von dir eingefügte Bild?
Screenshot 2022-02-21 114839.jpg


Edit: Tamay Besiroglu hat seinen Tweet richtig gestellt.
Screenshot 2022-02-21 115908.jpg


Nichts desto trotz finde ich die rasante Weiterentwicklung in diesem Bereich extrem spannend.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: knoxxi und BeBur
aber:
what means "slightly conscious" under the condition, that "conscious" is not defined, because we can´t, and mater is "definitive unconcious", according to settled&funded sience.
and "who" defines more shady words like that? and where is the difference to already undefined words like "consionsness", which is itself not defined "at all".

ist das ein "vorbewusteins" zustand, was immer das sein mag, oder ist es die wirklichkeit eines ausgewiesenenen vollidioten mit einem iq, der bloß dazu da ist, die vordertür zu öffnen, bevor man das teil raushängt?
fragen über fragen.
und ja, ich hab kein problem damit, himmelschreiende unklarheiten zu benennen.
ich kann keine klarheit schaffen, aber mich interresiert, wie leute begriffe begreifen.
 
Lipovitan schrieb:
Nichts desto trotz finde ich die rasante Weiterentwicklung in diesem Bereich extrem spannend.
Gab es denn zum Thema bzw. zu dem Tweet noch mehr? Ich frage nicht, weil ich ärgern will, sondern aus Interesse. Ich bin mit dem Themenbereich (Machine Learning / Deep Learning / KI) ganz gut vertraut, verfolge den Forschungsstand aber mehr punktuell bzw. nebenbei und insbesondere verfolge ich nicht, was einschlägigen Persönlichkeiten so schreiben.
 
Bin selbst mehr oder minder beim Surfen durch Twitter darauf gestoßen und es hatte hier zufällig zum Thema gepasst.

Im Gegensatz zu dem was Ilya sonst zu tweetet, hat der Tweet vom 10.02. eine unglaubliche Menge an Antworten erhalten. Und das halt auch von Forschern. Darunter hat auch Yann LeCun folgendes geantwortet:
Nope. Not even for true for small values of "slightly conscious" and large values of "large neural nets". I think you would need a particular kind of macro-architecture that none of the current networks possess.

Da in den Kommentaren sind viele Forschende zu dem Thema zu finden. Wenn du mehr dazu wissen willst, dann bist du dort auf jeden fall richtig.
 
  • Gefällt mir
Reaktionen: BeBur
Die Tweets finde ich etwas irritierend. Ich sehe nicht wie die Leistung in FLOP's etwas über die kognitive Fähigkeit aussagt. Es geht dabei ja nicht um reines Hochskalieren.

Dann so eine Antwort aus renommierten Kreisen obwohl cognitve architecture jetzt auch schon Jahrzehnte praktischer Forschung und deutlich längere theoretische Grundlagen bietet.
Ich selbst habe einige Probleme mit dem Ansatz, da ich ihn für recht beschränkt halte. Aber Nate Derbinski gibt hier einen kleinen Einblick was damit schon recht lange gemacht wird.
Dabei werden eben die klassischen neuronalen Netzwerke aus dem ML als Module für die schnelle heuristische Entscheidungsfindung genutzt und dann darüber in einer höheren Architektur die eben auch Kurzzeit- und Langzeitgedächtnis hat und Vergessen als Optimierungsmethode nutzt um auch Prozesse abzubilden die wir mit bewussten Lernen und Entscheidung treffen vergleichen können.
 
  • Gefällt mir
Reaktionen: BeBur
Keylan schrieb:
Dann so eine Antwort aus renommierten Kreisen obwohl cognitve architecture jetzt auch schon Jahrzehnte praktischer Forschung und deutlich längere theoretische Grundlagen bietet.
Ich selbst habe einige Probleme mit dem Ansatz, da ich ihn für recht beschränkt halte. Aber Nate Derbinski gibt hier einen kleinen Einblick was damit schon recht lange gemacht wird.
Danke für den Link, sehr spannend, wenn auch leider recht lang. Aber zumindest der letzte Abschnitt dann über Open Issues, das ziehe ich mir mindestens bei Gelegenheit rein.
Sein Hauptwerk / Hauptveröffentlichung scheint ja "The Soar Cognitive Architecture" zu sein. Und Soar scheint ca. das zu sein, was du da kurz angerissen hast? Bzw. Soar ist das zugrunde liegende theoretische Grundmodell anscheinend?
 
Naja, SOAR ist ein Implememtierungsmodell, das eben auch schon sehr lange in der praktischen Forschung verwendet wird. Und es ist sein Haupt Steckenpferd. Insofern orientiert sich sein Vortrag oftmals an SOAR ist aber im Großen und Ganzen schon allgemeiner gehalten.

Unter dem Wiki Link finden sich ja aber noch Haufenweise andere Modelle neben SOAR und Sigma.

Im Kern ging es mir darum, das wir schon seit mitte der 60er eben nicht nur neuronale Netzwerke mit deep und recursive lerning kennen, sondern auch an komplexeren übergeordneten Architekturen arbeiten welche sich den Möglichkeiten dieser Netzwerke nur als Module bedienen.
Und der Ansatz der hier vorgestellt und wohl auch recht verbreitet ist orientiert sich eben sehr stark daran Bewusstsein methodisch möglichst dicht am Menschlichen Vorbild nachzubilden. Also genau der Gedankengang der auch von vielen hier im Forum erwartet wird.
Denen gefällt dann auch sicher die Arbeit von Josh Tenenbaum (auch wieder 1 1/2 Stunden Video) in denen Explizit das Ziel ist Menschliche Intelligenz künstlich nachzubilden. Also auch das Ziel das Fehler der KI den Menschlichen entsprechen.
Ich selbst habe da eher einen abstrakteren Ansatz und interessiere mich auch für KI die methodisch ganz weit weg von unseren menschlichen Prozessen ist und bewerte sie lieber auf Basis der Fähigkeiten im Bezug auf Problemlösung und Selbstadaption,
 
Keylan schrieb:
Im Kern ging es mir darum, das wir schon seit mitte der 60er eben nicht nur neuronale Netzwerke mit deep und recursive lerning kennen, sondern auch an komplexeren übergeordneten Architekturen arbeiten welche sich den Möglichkeiten dieser Netzwerke nur als Module bedienen.
Das ist ja ein ganz wesentlicher Punkt, denn bis vor kurzem hatten wir noch keine Module (z.B. CNN), die den Menschlichen Fähigkeiten nahe kommen in hinreichend komplexen Problemen.
Das scheint ja aber offensichtlich nicht das wesentliche Problem gewesen zu sein, denn sonst hätte man jetzt ja schon eine "slightly conscious" KI.

ImHo wir wissen schlicht noch viel zu wenig darüber, wie so ein Säugetier Gehirn überhaupt funktioniert und können es daher auch nicht nachbauen. Solche Architekturen scheinen "nur" ein sehr allgemeines Modell von simplen Grundfunktionen abzubilden und sind ja eben vom Paradigma kein Simulationsversuch. Aber natürlich dennoch ein sehr spannendes Forschungsgebiet und vermutlich kann man so auch einiges über das echte Gehirn lernen, eben indem man erkennt, inwiefern oder warum ein zusammenwerfen von Grundfunktionen des Gehirns eben kein Bewusstsein ausmacht.
 
Zurück
Oben