Volltextsuche für Netzlaufwerke

[Knackialti]

Hi leute

Ich suche ein Programm für Volltextsuche für bestehende Daten sowie wen neue Daten hinzukommen sollen sie automatisch erkannt werden und in die Suche hinzugefügt werden.
Es muss schnell sein und effektiv.
Und nach der ersten Installation einsatzbereit
Daten betrifft es alle aus Office Anwendungen, PDF und sonstige kleinigkeiten
Kennt ihr etwas?

 

[charmin]

Elasticsearch dürfte das können was du suchst. Allerdings wirst du kaum um etwas Administration auskommen:

https://www.elastic.co/blog/scaling-file-system-search-with-elasticsearch-at-egnyte
https://www.elastic.co/de/products/elasticsearch

Grundsätzlich ist eine Volltextsuche mächtig viel Arbeit für deine Server und benötigt je nach Datenmenge einiges an Rechenleistung + Speicherplatz.

 

[halwe]

Ich habe bei mir einfach die betreffenden Verzeichnisse im Netzwerk zu einer Offline-Kopie gemacht. Diese kann man dann mit der Desktopsuche indexieren.

 

[Knackialti]

@charmin sehe da keine Preise

@halwe das ist viel zu langsam

 

[charmin]

@Knackialti
OpenSource ist dir ein Begriff (2. Link -> oben rechts -> herunterladen)? Ansonsten kannst du gerne auch etwas Eigeninitiative zeigen.

 

[halwe]

@halwe das ist viel zu langsam[/QUOTE]
Hast du das schon probiert oder vermutest du nur? Was soll da langsam sein?

 

[Knackialti]

@charmin
ich brauch nichts wo ich programmierkenntnisse brauche...
Ich will plug & play... dafür zahl ich ja auch ^^

@halwe
versuch mal ne Datei unter 500'000 bei einer durchschnittlichen grösse von 2-5mb mit windows zu finden.
Wen du das innert einem Tag findest "hut ab"... wen du es schaffst innert 1 Sekunde zu finden stell ich dich ein mit einem Bruttogehalt von 10'000 *lach*

PS: Speicher ist auf 256GB Ram begrenzt also unendlich habe ich auch nicht zur verfügung

 

[halwe]

Du weißt schon, wie eine Indexierung funktioniert? Eh ich dir jetzt weiter die "großen Geheimnisse" der Desktopsuche verrate, sollten wir erst mal über die 10.000 € reden...
Übrigens, wenn du im Forum gute Beteiligungen und Antworten willst, würde ich empfehlen, nicht so von oben herab zu reden...

 

[charmin]

Wenn das sauber und mit externer Unterstützung aufgebaut werden soll, kannst du hinter die 10000€ bald noch eine weitere null hängen.

@Knackialti
Es wäre hilfreich wenn du die Rahmenbedingungen mitteilst, so ist das stochern im Nebel. Ansonsten wende dich an das Systemhaus deines Vertrauens.

 

[snaxilian]

Dann such dir halt einen fähigen Admin, der dir ein Elastisearch aufsetzen und betreiben kann. Damit ist dein Wunsch erfüllt.

Btw: Dafür muss man nicht programmieren können. Technischer Sachverstand & Wille, die Doku zu lesen reicht oft schon. Für die jeweilige Implementierung dann noch logisches Denkvermögen.

 

[Sparta8]

Du kannst dir auch Apache Solr anschauen, falls dir Elasticsearch nicht liegt.

 

[halwe]

Hab's gerade getestet: Bei mir werden insgesamt 150.000 Dateien indexiert.
Im Offline Netzwerk sind davon 30.000, die werden in 0.5 s durchsucht, es werden 6000 Dateien gefunden, davon ist bei den 100 ersten "der" im Dateinamen, bei den anderen Officedateien (Woord, Excel, pdf, ...) ist "der" irgendwo im Text.
Die Gesamtsuche über alle 150.000 braucht 1s. Ich denke, 1s für 500.000 ist auf einem schnellen Rechner (meiner ist 9 Jahre alt), sehr realistisch. Wo sind jetzt die 10.000 €?

 

[Yuuri]

@charmin Scherzkeks. Und die Dokumente indexiert er alle manuell, wenn er dann in zwei Wochen mit der Elasticsearch eingearbeitet ist und Mappings, Reverse Index, Stemmer und Co. versteht, was? Oder indexiert die ES neuerdings auch einfach so magically doc, docx, ppt, pptx, xls, xlsx, pdf, txt, html, mht und ähnlichen Schriebs? Wer weiß was er noch so für Formate rumliegen hat... Vielleicht will er ja noch zusätzlich cpp, c, h, hpp, cs, php, py und Konsorten indexieren, wer weiß... Und wenn dann noch Sachen wie 7z, zip, rar und Co. dazukommen. Ja, dann kann er sowas auch gleich auf dem Markt anbieten.

Er sucht was Fertiges wie eine angepasste/erweiterte Windows Suche oder Agent Ransack, FileLocator Pro o. dgl.

 

[halwe]

Ich hatte letztens mal eine Third Party Indexierungssoftware probiert. Die hatte nicht nur ein Problem mit verschlüsselten Dateien (Meldung kam hoch), zusätzlich hat sie auch noch Fehler beim Öffnen gebracht wie "Seriendruckquelle nicht gefunden" usw. Und dann wurden da noch die Zugriffs-Zeitstempel gesetzt.

 

[charmin]

@Yuuri
Habe ich irgendwo geschrieben das das leicht ist? Er will Index und Volltextsuche. Da der Kontext komplett fehlt ist im Grunde jede Empfehlung für die Tonne. Und ja, mit Elasticsearch oder solr lässt sich sowas durchaus realisieren (hatten wir schon Angebote für im Kontext Enterprise Search).

 

[Knackialti]

@Yuuri
Jop genau sowas in der Art...
Wäre noch schön wen es "einfacher" geht bzw. etwas Simpler ist...
Das problem ist halt... ja ich kann es verwenden so ABER ich kann es nicht einfach so 50 mitarbeitern in die Hände geben und sagen "mach jetzt" für Schulung und sowas bleibt im daily business halt keine Zeit und nach 2h hätten Sie es eh vergessen da die noch 10 weitere Software im Schädel haben müssen.

Ich kann nix kompliziertes brauchen.
klar kann ich mehrere Software nutzen aber ich hätte am liebsten einen Balken in dem ich was eintippe und es kommt das dabei raus was ich brauche... auch wen es eine 8 Jahre alte verstaube Mail ist die ich aus dem Outlook raus suche.

Ich nutze im moment etwas ähnliches aber das erfüllt nicht meine mindestanforderungen

EINFACH EFFIZIENT SCHNELL und evt. etwas mit künstlicher intelligenz ...das es sich merken kann zb. wer mit welchen daten am meisten arbeitet und so gezielter sucht.


Ich dachte schon an einen externen Auftrag für eine komplette neu Programmierung... aber das Problem ist... ich glaube nicht das ich das innert einem Jahr kriege bzw. am liebsten nächste Woche

 

[snaxilian]

Vergiss es. Software für komplizierte Aufgaben ist nun einmal teilweise in der Bedienung nicht simpel und für jeden out-of-the-box, damit soll man ja eben komplexe Dinge machen können. Simpel zu bedienende Software kann eben oft nur simple Aufgaben (in der Regel genau eine, diese dann aber sehr gut) oder ist sauteuer oder erfordert eben Hirnschmalz des Anwenders.

Du bist als Chef also bereit viel Geld für eine Software auszugeben aber nicht einen Bruchteil davon in die Schulung und Weiterbildung deiner Mitarbeiter? Diese brauchen dann nur länger in der Benutzung was dich am Ende wieder Geld kostet.
Wenn du nicht alle schulen willst: Dann musst du eben die Aufgaben spezialisieren und nicht mehr jeden alles machen lassen.
Wenn die Aufgaben größer und komplexer werden muss halt zum einen das Unternehmen wachsen und sich anpassen. Einem Mitarbeiter einmal was erklären und dann macht der das 30 Jahre lang so funktioniert eben nur in manchen Jobs.

Ach ja: Einfach effizient schnell und mit künstlicher Intelligenz: Es gibt keine KI, wenn dann machine learing oder einfach viele viele viele verschachtelte und kaskadierte IF-Statements... Aber so was macht sich natürlich schlecht im Werbeblättchen.

 

[charmin]

Naja, irgendwo muss die Komplexität einer Aufgabe ja abgehandelt werden. Entweder im Backend, bei der Konfiguration/Administration oder bei User. Eine Enterprise Search kann so wie Google funktionieren, aber eben nur wenn das System dahinter hinreichend intelligent ist.

Einfach, effizient und schnell wird bei uns such immer gefordert. Lässt sich aber nur mit entsprechend finanziellem Aufwand realisieren und schnell ist dabei ein sehr dehnbarer Begriff.

Ich bleibe dabei, wenn du ein effizientes und skalierbares System willst, dann such dir einen Spezialisten der dir eine Enterprise Search hinstellt. Kostet dann halt einige 1000€, aber am Ende hast du eine saubere Lösung und brauchst deine Mitarbeiter nicht lang zu schulen.

 

[snaxilian]

Für eine schnelle und einfache Volltextsuche darf das Backend aber nicht mehr aus einem Netzlaufwerk mit Word und Excel Dateien bestehen sondern eben alle Informationen und Daten in eine entsprechende DB aus dem NoSQL Bereich, z.B. eine Cassandra DB im Backend oder sowas wie memchached oder redis und davor dann eine passende Suchengine wie eben Elastisearch, das auch "nur" eine Ableitung und Anpassung von Solr/Lucene ist.

Unstrukturiert und schnell durchsuchbar passt eben nicht zum jetzigen "Backend" namens Netzlaufwerk.