Bei weit über 100 erfolgreich umgesetzten Suchprojekten hat ESEMOS einen umfangreichen Erfahrungsschatz im Umgang mit Open-Source-Software wie Nutch/Lucene, Solr, Elastic Search und Kibana aufgebaut.
Ergänzt durch eigene Entwicklungen wie Butterfly (Search Middleware), Efeus (auf Suchen spezialisiertes ETL-Tool) oder Ariadne (Suchvorschläge) steht ein umfassendes Instrumentarium zur Lösung unterschiedlichster Kundenanforderungen bereit.
Open Source
Solr (Abkürzung für “Search on Lucene und Resin”)
Solr (ausgesprochen “solar”) ist eine in Java geschriebene Open-Source-Enterprise-Suchplattform des Apache-Lucene-Projekts. Die Haupt-Features umfassen u.a. Volltextsuche, Trefferhervorhebung, facettierte Suche, Echtzeitindexierung, dynamisches Clustering, Datenbankintegration und Dokumenten-Handling. Solr ist gut skalierbar und fehlertolerant. Solr ist nach Elastic Search die am häufigsten verwendete Suchtechnologie[1].
Elastic Search
Elastic Search ist eine auf Lucene basierende Suchmaschine. Das in Java geschriebene Programm speichert die Suchergebnisse in einem NoSQL-Format (JSON) und gibt sie über ein RESTful-Web-Interface aus.[2]
Nutch
Nutch ist ein Java-Framework für Internet-Suchmaschinen. Die Software ist Open Source und wird innerhalb der Apache Software Foundation unter der Apache-Lizenz entwickelt. Nutch basiert u.a. auf Lucene (Stemming, Indexierung etc.), Solr (Webfunktionalitäten) und Hadoop (Skalierung).
Nutch kann beliebig große Datenmengen durchsuchen. An firmenspezifische Bedürfnisse lässt es sich durch seine Plug-In-Architektur z.B. an weitere Dokumentformate anpassen (Quelle: https://de.wikipedia.org/wiki/Nutch).
Kibana
Kibana ist ein Open-Source-Plugin für Visualisierungen in Elastic Search, d.h. es ermöglicht die graphische Darstellung des indexierten Contents. Anwender können zu umfangreichen Datenvolumina z.B. Balken-, Punkt- und Tortendiagramme oder Karten erstellen.
Die Kombination von Elastic Search, Logstash und Kibana (auch ELK Stack oder Elastic Stack genannt) ist als Produkt oder Service verfügbar. Logstash liefert Elastic Search einen verarbeiteten Datenstrom zur Ablage und anschließenden Nutzung für die Suche, wobei Kibana die Daten zur Visualisierung z.B. für Dashboards nutzt (Quelle: https://en.wikipedia.org/wiki/Kibana).
Eigene Entwicklungen
Butterfly
Butterfly ist eine Search Middleware, die:
- unterschiedlichste Datenquellen parallel anfragt
- Ergebnisse der Datenquellen aggregiert
- basierend auf Businesslogik Ergebnisse präsentiert
- in beliebigen Formaten (XML, JSON, HTML) und an unterschiedlichste Endgeräte (Desktop, Mobile, Tablet, eReader) ausliefert
Ariadne
Ariadne ist eine Software-Lösung für die Auslieferung von Suchvorschlägen. Sie basiert im Kern auf Butterfly und ist somit in der Lage, Vorschläge aus unterschiedlichen Kanälen zu generieren. Ariadne ist auf Hochlastanforderungen ausgelegt, d.h. kurze Antwortzeiten selbst bei hohem Anfragevolumen und großem Datenvolumen.
Efeus
Efeus ist eine auf Suchanforderungen zugeschnittenes ETL-Library (ETL = Extract, Transform, Load = Extrahieren, Transformieren, Laden). Neben den allgemeinen Funktionalitäten
- Extrahieren der Daten aus unterschiedlichen Datenquellen
- Transformieren der Daten für die Übergabe an Datenbanken oder Indexe und
- Laden der Daten in Datenbanken oder Indexe
verfügt Efeus über die Funktionalitäten kontextsensitive Datenanreicherung über weitere Datenquellen sowie multiplexes Laden in mehrere Datenbanken oder Indexe.