Krik
Fleet Admiral
- Registriert
- Juni 2005
- Beiträge
- 18.461
Hallo zusammen,
ich mache mir gerade Gedanken zu einem Programm, dass kubikmeterweise JSONs in Form eines oder mehrerer Strings entgegen nehmen und auf relevante Informationen filtern soll. Nur etwa 10% der Informationen im JSON sind wirklich für das Programm relevant.
Mein Problem ist, wie ich das Aufsplitten und Filtern des/der Strings in Hadoop am besten realisiere.
Meine erste Idee ist es, in Map() den String zu splitten und in Reduce() zu filtern. Aber irgendwie kommt mir das nicht richtig sinnig vor. Filtern könnte ich nämlich auch gleich in der Map()-Funktion.
Oder habe ich jetzt ein Brett vor dem Kopf und sehe die offensichtliche Lösung nicht?
Programmiert wird in Java mit Amazon Elastic MapReduce (auf Amazons Cloud angepasstes Hadoop).
Gruß, Laurin
ich mache mir gerade Gedanken zu einem Programm, dass kubikmeterweise JSONs in Form eines oder mehrerer Strings entgegen nehmen und auf relevante Informationen filtern soll. Nur etwa 10% der Informationen im JSON sind wirklich für das Programm relevant.
Mein Problem ist, wie ich das Aufsplitten und Filtern des/der Strings in Hadoop am besten realisiere.
Meine erste Idee ist es, in Map() den String zu splitten und in Reduce() zu filtern. Aber irgendwie kommt mir das nicht richtig sinnig vor. Filtern könnte ich nämlich auch gleich in der Map()-Funktion.
Oder habe ich jetzt ein Brett vor dem Kopf und sehe die offensichtliche Lösung nicht?
Programmiert wird in Java mit Amazon Elastic MapReduce (auf Amazons Cloud angepasstes Hadoop).
Gruß, Laurin