Die Datenwut von Big Data basiert in erster Instanz auf NoSQL Datenbanken die weit besser skalieren als die alt-Bekannten SQL Datenbanken und im wesentlichen dafür Verantwortlich sind das Google und Co bewältigen können was sie können.
Die NSA nutzt die selben Techniken. Das Problem ist aber, dass man nicht einfach Daten in einen Kontainer wirft sondern es essentiell ist diese beim speichern in vernünftige Columns zu streamen. Die Operationen die man dann später auf diesen Daten effizient ausführen kann sind alles andere als beliebig. Im Grunde wird die Berechnung bei Google schon beim anlegen des Index erledigt deshalb kann die Suchanfrage später schnell erledigt werden.
Wenn die NSA aber alles mögliche wissen will, müssen Daten wieder und wieder in neue Form gebracht werden, einfach nur abspeichern reicht nicht und manche Filter sind nicht möglich. Der ist extrem aufwendig. Google ist riesig und hat die mächtigsten Datenzentren aber selbst sie können nur gewisse vorgesehen Operationen auf ihre massive Datenbasis effizient anwenden. Die NSA hat bedeutend weniger Mittel und bedeutend mehr unterschiedliche Interessen. Analyse der Daten kostet die NSA sicher deutlich mehr Zeit als Google und sie profitieren nicht von den gleichen Vorteilen.
Hier ist ein Artikel der beschreibt wie die NSA seit 2006 aufgerüstet hat.
http://arstechnica.com/information-technology/2013/06/what-the-nsa-can-do-with-big-data/
Klar hat die NSA ihre eigene Krypo-abteiltung. Kryptographische Algorithmen werden aber von allen möglichen Wissenschaftlern, Hobby IT Sicherheitsfreaks, Hackern, Profis in diversen Firmen überprüft. Es ist eine Sache Sicherheitsmängel und Bugs in Implementierungen einger Software, Betriebssystem oder Programmiersprache (Kompiler) zu finden. Es ist eine ganz andere ohne weiteres einen generischen Algorithmus wie AES zu knacken egal wieviele Mathematiker man vom MIT beschäftigt. Die Algorithmen werden von vielen begutachtet und einen groben Fehler finden den sonst niemand sieht ist ein Glücksfall. Es sind einige "Knackmethoden" über AES bekannt die es ermöglichen schneller als per Bruteforce an ein Nachricht zu entschlüssln, aber keiner davon bringt einen auch nur in die Nähe der Möglichkeit mit allen Supercomputern der Welt eine 128bit AES Nachricht noch in diesem Leben zu entschlüsseln. Die weitaus aussichtsreicheren Angriffspunkte ist ohnehin der Schlüsselaustausch.
Nur weil man Geld in das Knacken eines Algorithmus investiert bedeutet das noch nichts. Die Schwierigkeit des Entschlüsselns exponentiell zu steigern ist extrem leicht. Ein mathematisches Wunder zu vollbringen und Faktorisierung von Primzahlensummen zu knacken passiert vielleicht einem Genie alle 50 Jahre. ECC knacken ist sicher auch nicht viel leichter.
Je mehr man darüber liest und lernt desto mehr Vertrauen bekommt man in die Verschlüsselungssysteme. Der Grund warum viele sich solche Wunder von NSA und Co erwarten sind IMO Medien (Filme, Serien) und fehlendes Wissen.
Klar kann in jeder Implementierung ein Fehler stecken und die NSA hat sicher versucht manche Firmen zu bestechen fehlerhafte Implementierungen zu verbauen. Es benötigt aber viele Audit-Menschen, Mitarbeiter die man bestechen muss um bei einer Firma so etwas einzuschleusen. Jeder der etwas davon weiß kann es ausplaudern. Dann gibt es Abertausende andere Implementierungen und Firmen die man auch noch bestechen müsste. Jedes Update und jede Revision kann die Arbeit wieder zu nichte machen.
Diese paar Kabelanzapfaktionen die die NSA bewiesenermaßen sich leiset, sind nachvollziehbar aber zeugen auch davon, dass ihnen nichts besseres eingefallen ist. Es ist ja eine extrem ineffizient Technik an die gewollten Infos zu kommen.
. Denn entweder ist die Angabe, das die die Metadaten nicht packen eine Falschaussage oder aber es werden eben doch weit mehr als die Metadaten abgeschnorchelt.
