Semantic Pipeline – Daten verstehen und verknüpfen

Noch nie zuvor gab es so viele Informationen wie heute. Noch vor 10 Jahren beliefen sich die weltweit von Menschen generierten Datenmengen auf 30 Exabytes. Nur vier Jahre später war es bereits die 10-fache Menge und nun hat das weltweit erzeugte Datenvolumen einen neuen Höchststand erreicht. Experten schätzen sogar, dass die Gesamtmenge der weltweit erzeugten, erfassten, kopierten und verbrauchten Daten noch weiter ansteigen wird.

Der adäquate Umgang mit dieser immer weiter steigenden Anzahl an Daten wird damit zunehmend schwieriger. So besteht das reale Risiko, dass Unternehmen nicht mehr in der Lage sind, ihren Datenschatz in vollem Umfang zu nutzen.

Hier kommen intelligente Insight Engines wie Mindbreeze InSpire ins Spiel. Sie ebenen Unternehmen den Weg, ihre Daten (strukturiert sowie unstrukturiert) effizient auszuwerten und die darin verborgenen Informationen in vollem Umfang gewinnbringend und für jeden einzelnen Unternehmensbereich einzusetzen.

Upgrade traditioneller Enterprise Search

Insight Engines kombinieren bereits bekannte Technologien aus dem Bereich Enterprise Search mit Methoden der künstlichen Intelligenz wie maschinelles Lernen, neuronale Netze und Spracherkennung.

Mittels einer sogenannten Semantic Pipeline sind sie in der Lage sämtliche strukturierte und vor allem auch unstrukturierte Daten aus Dokumenten und Abfragen zu extrahieren. Diese mehrstufige semantische Verarbeitung wird nicht nur für die Verarbeitung von Dokumenten, Metadaten und Inhalten verwendet, sondern auch für die von eingehenden Anfragen.

Auf diese Weise sind Insight Engines auch leistungsfähiger als klassische Enterprise Search Lösungen. Statt lediglich Ergebnisse zu finden und aufzubereiten, stellen sie Anwendern proaktiv die richtigen Antworten im richtigen Kontext bereit.

Die verschiedenen Stufen der Pipeline können definiert werden als:

• Natürliche Sprachverarbeitung
  Die Komplexität der menschlichen Sprache verlangt ein hohes Maß an intelligenten Technologien. Da sich Dialekte, Ironie, Mehrdeutigkeit nur sehr schwierig erfassen lassen, nutzen Insight Engines innovative Ansätze der Spracherkennung wie Natural Language Processing (NLP), Natural Language Understanding (NLU) oder Natural Language Question Answering (NLQA).

  Mithilfe dieser Technologien lassen sich Suchanfragen in natürlicher Sprache eingeben und direkt weiterverarbeiten. Dabei können sowohl strukturierte Metadaten als auch Textinhalte analysiert, verstanden und damit die Bedürfnisse der Benutzer korrekt ermittelt werden. NLP befasst sich dabei mit der maschinellen Verarbeitung der menschlichen Sprache, während es bei NLU vor allem darum geht die Intention der Anwender zu ermitteln. NLQA sorgt für die Schaffung eines natürlichen Dialogs.

• KI-Pipeline
  In dieser Stufe der Pipeline, kommen künstlich intelligente Technologien wie Machine und Deep Learning zum Einsatz. Diese ermöglichen, dass sich das Wissen der Inisght Engine steig erweitert. Das führt natürlich auch dazu, dass sich ihre Suchperformance immer weiter optimiert je länger sie im Einsatz ist.

  Die Basis dafür ist das Nutzerverhalten der Anwender. Dafür analysiert die Insight Engine die Arbeitsweise, das Such- und Klickverhalten und wie oft oder in welchem Kontext sie bestimmte Informationen abrufen. Auf Basis dieser Daten lassen sich spezifische Relevanzmodelle errechnen. Die Relevanz der einzelnen Suchabfragen und Inhalte lassen sich demnach leicht ableiten, klassifizieren und proaktiv bereitstellen.

• Taxonomien/Ontologien/Kataloge
  Unternehmen verfügen meist über eine ganz spezifische Sprache – die sogenannte Corporate Language. Dabei handelt es sich um interne Fachbegriffe, spezielle Abkürzungen, Akronyme. Dementsprechend enthalten Dokumente, E-Mails, Notizen, Kalendereinträge etc. diese Formulierungen. Durch die Integration von internen Katalogen und Glossaren stellt die Suche nach spezifischen Kürzeln oder Bezeichnungen keine Schwierigkeit dar. 

  Ebenso lassen sich in dieser Stufe der Semantic Pipeline Taxonomien und Ontologien einfach einbinden. Auf diese Weise ist es der Insight Engine möglich Konzepte und Hierarchien zu erkennen, zu speichern um diese extrahieren zu können.
   

• Entity Recognition
  Die regelbasierte Extraktion lassen sich stark individualisierbare Metadaten Definitionen erstellen. Damit die Insight Engine spezifische Entitäten wie beispielsweise Projekt-IDs, Produktcodes und Registrierungsnummern identifizieren und extrahieren kann.