Elasticsearch - Query gegen mehrere Indexes ok?

[Falc410]

Ich bin absoluter Anfänger mit ES. Ich habe jetzt mehrere Tools die Logdateien ausspucken, allerdings sind die Logs sehr unterschiedlich.

Ich habe jetzt die Wahl einen Index zu erstellen und alle Tools loggen da rein oder pro Tool ein Index. In Grafana muss ich Elasticsearch aber für jeden Index einzeln als Datenquelle einrichten. In Kibana gibt es ja Index-Pattern - das gibt es in Grafan nicht. Alternativ kann ich wohl in Elasticsearch einen Alias anlegen (https://www.elastic.co/guide/en/elasticsearch/reference/master/aliases.html) und dann kann ich einen virtuellen Index anlegen der auf mehrere andere verweist. Wenn ich nun eine Abfrage mache, werden alle Index gleichzeitig abgefragt. Natürlich wirkt sich das auf die Performanz aus denke ich, aber eine andere Wahl habe ich ja kaum? Spätestens wenn ich in Grafana z.B. Daten aus zwei Tools darstellen möchte (nehmen wir an, die IP Adresse ist identsich und in beiden Indexes vorhanden) dann müsste ich ja so einen Alias nutzen, da ich in einer Query nicht mehrere Datasources angeben kann.
Sollte also ein normales Vorgehen sein, oder wäre es doch besser einen "globalen" Index zu haben? Der hat dann halt dann sehr viele unterschiedliche Felder (Mapping).

 

[benneq]

In reinem Elasticsearch ist es möglich, dass man ein Query direkt an mehrere Indizes schickt, dafür muss man nichts zusammenlegen oder aliasen. Einfach mit Komma trennen und fertig. Also ein GET /index1,index2,index3/_search.

Ob Grafana das kann, weiß ich (mal wieder) nicht Aber das solltest du ja in wenigen Minuten ausprobieren können.

 

[Falc410]

Kann Grafana eben nicht, deswegen der Alias.

Die Frage ist, was ist Best Practice? query gegen 3 Indexes oder einen Mega-Index?

 

[DerDummePunkt]

In Kibana gibt es ja Index-Pattern - das gibt es in Grafan nicht.

Sorry, aber das ist falsch.
Du kannst in Grafana ein Index Pattern als Datenquelle mit exakt der gleichen Syntax wie in Kibana einrichten

 

[Falc410]

Danke, ja funktioniert. Habe es ausprobiert obwohl es in der Doku nicht erwähnt ist. Läuft soweit.