News Neuer Suchindex bei Google

bitfunker · 9. Juni 2010

Google hat bekannt gegeben, dass der Suchindex auf eine neue Architektur namens Caffeine umgestellt wurde. Diese soll das Web mit weniger Verzögerung durchkämmen und so für aktuellere Ergebnisse sorgen. Hierzu bedient man sich einer neuen Infrastruktur; die Oberfläche der Suchmaschine bleibt unverändert.

Zur News: Neuer Suchindex bei Google

G00fY · 9. Juni 2010

Wie bewältigen die bitte solche stetig ansteigende Datenmengen?

Ennox · 9. Juni 2010

Jedenfalls nicht mit SSDs

panopticum · 9. Juni 2010

Täglich mehrere hundert gb ... wo ist das Problem ... wir sprechen hier von Google.
Die haben auch noch genug Speicher um offene WLAN Netze und ganze Städte in 3 Dimensionen abzuspeichern. Die stemmen noch ganz andere Datenmengen.

Velika · 9. Juni 2010

sowas lässt sich gut was kosten

DVNO · 9. Juni 2010

vorallem, wie durchsucht man so viel innerhalb von den paar sekunden die nach einem klick auf den googlebutton bleiben?
irgendwas damit haben wohl die illuminaten zu tun.

JiJiB! · 9. Juni 2010

Meine Webseite ist trotzdem noch nicht im Index

Nuck_Chorris · 9. Juni 2010

@ Velika

ich glaube nicht das google die paar Tausend 2TB platten schmerzhaft findet^^ die Lachen da eher drüber

An sich finde ich das neue Konzept eigentlich ganz gut warum warten bis alle Daten da sind wenn man auch Zwischenergebnisse liefern kann

ata2core · 9. Juni 2010

Nur mal zur Anregung

100 Millionen GigaByte = 100000 1TB-Platten.

Magellan · 9. Juni 2010

Hmm also auf meinen Seiten war der Googlebot immer mehrmals täglich, das mit dem "wochenlang" müssen wohl einzelfälle gewesen sein sonst wäre es ja sinnlos gewesen dass der Googlebot so fleißig ist.

Interessant wirds erst so richtig wenn Google mal eine semantische Suche veröffentlicht.

f1delity · 9. Juni 2010

DVNO schrieb:
vorallem, wie durchsucht man so viel innerhalb von den paar sekunden die nach einem klick auf den googlebutton bleiben?
irgendwas damit haben wohl die illuminaten zu tun.

Die Rechenzentren von Google sind nun nicht gerade schwach ausgestattet und da darüber dann ja der Index abgesucht wird geht das eben recht schnell.

@News
Und ich dachte schon Google wäre schnell und jetzt noch schneller, wunderbar. Nur noch viel effektiver wird schwierig.

pschmutz · 9. Juni 2010

0.1 Exabyte... :-O

digitalangel18 · 9. Juni 2010

Bei solchen News erinerre ich mich immer an einige frühe Star Trek TNG Folgen, bei denen der Schiffscomputer teils noch mehrere Minuten bis Stunden brauchte um eine Suchabfrage auszuführen...nunja, heute 20 Jahre später macht Google ähnliches in Sekundenbruchteilen. In den späten 80ern schienen Warpantrieb und co wohl plausibler zu sein als das schnelle Auffinden bestimmter Daten

Dese · 9. Juni 2010

Ennox schrieb:
Jedenfalls nicht mit SSDs

doch, z.m. zum teil sogar sehr wahrscheinlich. allerdings nicht mit unseren consumer flash-ssds

edit: zu dem schnellen durchsuchen: dazu gibt es effiziente datenstrukturen. ne ganze menge sogar, jeh nach anwendung (z.b. avl-bäume, skip-listen, a-b-bäume und einige andere). mit denen durchsucht man in logarithmischer zeit. mit spezielen hash tables auch in konstanter zeit, aber sie verrbrauchen wesentlich mehr speicher. bei benutzung von cuckoo hash tables geht das aber auch besser.

TchiboMann · 9. Juni 2010

@DVNO

des ist gar nicht mal so extrem kompliziert. Alles was du brauchst sind ein paar hunderttausend Gigaherz Rechenleistung um mehrere tausend Anfragen pro Sekunde bedienen zu können, mehrere redundatnte 10Gbit Anbindungen ans Internet für jedes Rechenzentrum + mehrere Uplinks für internes Netzwerk, eine hochperformante Datenbank, die wiederum ebenfalls mit hoher redundanz arbeitet, LOKALISIERTE Suchergebnisse nach Standort des Benutzers (Vergleicht mal die Suchergebnisse von Google DE und EN in Deutschland, sucht euch dann einen Proxy in den USA oder Frankreich und sucht dann mal nach Sucheregbnissen in DE und EN - ihr werdet nichtmal Ansatzweise dieselben Ergebnisse gelierfert bekomen) und dann braucht man natürlich eine schlaue Datenstruktur für den Index.

Einen Index zu durchsuchen ist DANN nämlich eigentlich keine große Sache mehr, zumal dür nur die Anzahl der Gesamtergebnisse sowie die ersten 10 Ergebnisse brauchst. Die Berechnung des Indexes ist das, was deutlich mehr Leistung erfordert. DAS wäre für mich eher die Frage, wie das zu bewerkstelligen ist. Aber mit genügend Rechenleistung, einem guten Algorythmus scheint das ja ganz gut zu klappen ^^

xBlutengelx · 9. Juni 2010

was mich persönlich irgendwie stört ist das die verknüpfungen wie z.b
# Seiten auf Deutsch
# Seiten aus Deutschland
nicht mehr da sind erst wenn man ne suche gestartet hat dan als menü links

anzensepp1987 · 9. Juni 2010

ata2core schrieb:
Nur mal zur Anregung

100 Millionen GigaByte = 100000 1TB-Platten.

Sind ca. 5-6 Mio. €/$. Bei $ 26.000.000.000 Umsatz sind das nun wirklich Peanuts.

halninekay · 9. Juni 2010

Deswegen hatte ich auch 36 crawler an einem Tag auf meiner page.

Dese · 9. Juni 2010

TchiboMann schrieb:
Die Berechnung des Indexes ist das, was deutlich mehr Leistung erfordert. DAS wäre für mich eher die Frage, wie das zu bewerkstelligen ist. Aber mit genügend Rechenleistung, einem guten Algorythmus scheint das ja ganz gut zu klappen ^^

falls es dich interessiert:
parallelisierte matrix-vektor-multiplikation und das net wird als eine übergangsmatrix dargestellt deren stationäre verteilung als grenzverteilung einer ergodischen markoffkette berrechnet wird. die berrechnung ist iterativ und immer wieder die oben genannte berrechnung eines vektors mal einer matrix. das geht gut zu parallelisieren.

mit ein paar zusätzlichen kniffen kann man da noch ein paar faktoren rausholen. was google da macht ist 1. kein geheimnis (bis auf die paar feinheiten) da es publiziert wurde und 2. ansich ne einfache sache.

bei interesse kannst du danach googlen (

) oder ich kanns dir auch gern per pm erklären. hab das schon oft genug meinen studenten erklärt

Willichmijaja · 9. Juni 2010

Hab neulich an der Uni einem Vortrag von einem Google Mitarbeiter über die Zukunft des Internets gelauscht... Der meinte, die haben mehrere Teams, die den ganzen Tag nichts anderes machen als Festplatten nachzuschieben

Stell ich mir extrem spannend vor.

News Neuer Suchindex bei Google

ewohner

Captain

Ensign

Commander

Lt. Junior Grade

Lieutenant

Commander

Lieutenant

Lieutenant

Fleet Admiral

Commander

Cadet 3rd Year

Vice Admiral

Commodore

Lt. Commander

Ensign

anzensepp1987

Gast

Lieutenant

Commodore

Cadet 3rd Year

Ähnliche Themen