Wenn Datensätze (Records) nun zu einem Golden Record zusammengeführt werden sollen, stellt sich die Frage, anhand welches Kriteriums über eine Zusammenführung entschieden werden soll. Wir sprechen hier von Record Linkage. Zwei Records werden einander zugeordnet, weil sie sich auf das gleiche Objekt in der realen Welt beziehen. Dabei bestehen drei Möglichkeiten.
- Wenn-Dann-Regelwerk
- Machine Learning (wahrscheinlichkeitsbasiert)
- Eine Kombination aus 1. und 2.
Wenn-Dann-Regelwerk
Die einfachere, aber nicht immer mögliche Variante, ist ein Wenn-Dann-Regelwerk. Es werden Regeln festgelegt, wann Records einander zugeordnet werden. Der einfachste Fall zieht ein Feld des Records in Betracht. Beispielsweise könnte man zwei Records einander zuordnen, wenn ihre E-Mail-Adressen übereinstimmen. Dies ist jedoch nicht immer eindeutig. Denken wir daran, dass Ehepaare E-Mail-Adressen teilen können, Kinder die E-Mail-Adresse ihrer Eltern nutzen, in Unternehmen Sammeladressen (z.B. wie info@marini.de) genutzt werden oder das Sekretariat die Adresse des Chefs nutzt. So entstehen ausreichend Fälle, in denen das einfache Regelwerk „gleiche E-Mail-Adresse“ nicht mehr genügt bzw. die Gefahr einer großen Unschärfe mit sich bringt.
Daher werden oftmals mehrere und kombinierte Regeln genutzt, d.h. ein Regelwerk gebildet. Dieses ist anwendungs- und unternehmensspezifisch zu bilden und erfordert neben Domänenwissen auch unternehmensspezifisches Wissen. So könnte ein einfaches Regelwerk lauten: Wenn Nachname und E-Mail-Adresse oder Vorname, Nachname und Straße übereinstimmen, dann werden die Records einander zugeordnet. Es wird jedoch klar, dass die Ausarbeitung des Regelwerks auf gesundem Menschenverstand basiert und schwerlich validiert werden kann.
Machine Learning
Ein Nachteil jedes Wenn-Dann-Regelwerks liegt darin, dass Felder gleich sein müssen. Wenn dieses und/ oder jenes Feld gleich sind, dann werden die Records gelinkt. Dahingegen kommt bei einer Machine-Learning-Lösung sogenanntes „fuzzy matching“ zum Tragen. Für jedes Feld zweier Datensätze wird ein Distanzmaß berechnet. Je nach Datentyp können verschiedenste Distanzmaße eingesetzt werden, z.B.
Diese werden dann klassisch als Features in einem Machine Learning Modell (Support Vector Classifier eignen sich beispielsweise gut für diese Fragestellung) verwendet. Der Nachteil bei diesem Ansatz ist, dass man einen Trainingsdatensatz mit gelabelten Daten benötigt (vgl. supervised learning). Ist das Modell trainiert, kann es für Paare neuer Datensätze eine Wahrscheinlichkeit vorhersagen, dass diese gleich sind. Basierend auf der Wahrscheinlichkeit könnte automatisiert ab einem bestimmten Schwellenwert zugeordnet werden. Alternativ können die Vorschläge auch manuell gelinkt werden, um eindeutigere Ergebnisse zu erzielen.
Record Linkage mithilfe von Machine Learning hat den Vorteil, dass auch nicht exakt gleiche Datensätze gematcht werden können. Theoretisch müsste kein Feld genau gleich sein, wenn die insgesamte Ähnlichkeit ausreichend hoch ist, würde der Algorithmus eine entsprechend hohe Wahrscheinlichkeit ausgeben. So würde den Strings Kaiserstraße 57, Kaiserstr. 57 und Kaiser Straße eine hohe Ähnlichkeit ausgestellt. Trotz unterschiedlicher Schreibweisen wird berücksichtigt, dass die Schreibweisen sehr ähnlich sind.
Der Fall eines Record Linkages birgt jedoch viele weitere Herausforderungen wie hinreichende Blocking-Regeln (aus Performance-Gründen), transitive Zuordnung, Klassen-Imbalance oder eine hinreichende Menge an Trainingsdaten.
Wenn-Dann-Regelwerk + Machine Learning
Selbstredend können auch beide Ansätze von oben kombiniert werden. So kann eine Wahrscheinlichkeit mittels Machine Learning berechnet werden und als Vorselektierung dienen, wonach erst eine Regel angewendet wird. Generell ist bei einer Automation immer der Trade-Off zwischen Falsch-Positiven und wenigen Positiven zu beachten. Je laxer die Regeln oder die Matching-Wahrscheinlichkeit desto mehr Falsch-Positive-Fälle (also Datensätze, welche fälschlicherweise zugeordnet wurden). Auf der anderen Seite, je strenger die Regeln oder die Schwelle der Wahrscheinlichkeit, desto weniger gleiche werden gefunden.
Persistent Identifier
Seien, mit einer der obigen Methode, Records nun zugeordnet, wird dem Golden Record, der die zugeordneten Records subsumiert, eine PID zugeordnet. Die PID führt gleiche Entitäten über verschiedene Systeme durch eine ID mit einer 1:n Relation zusammen. Einer PID sind eine oder mehrere IDs (aus verschiedensten Systemen, quasi die Source-IDs) zugeordnet. Die PID erlaubt nun eine eindeutige Identifizierung eines Objekts (wie einer Person) über die komplette Systemlandschaft.