Fuzzylookup-Transformation

Gilt für:SQL Server SSIS Integration Runtime in Azure Data Factory

Die Fuzzy Lookup-Transformation führt Datenbereinigungsaufgaben aus, etwa das Standardisieren und Korrigieren von Daten sowie das Ergänzen fehlender Werte.

Die Fuzzylookup-Transformation unterscheidet sich von der Lookup-Transformation durch die Verwendung von Fuzzyabgleich. Die Lookup-Transformation verwendet einen Äqui-Join, um übereinstimmende Datensätze in der Verweistabelle zu finden. Sie gibt Datensätze mit mindestens einem übereinstimmenden Datensatz zurück und Datensätze ohne übereinstimmende Datensätze. Im Gegensatz dazu verwendet die Fuzzylookup-Transformation einen unscharfen Abgleich, um in der Verweistabelle eine oder mehrere ähnliche Übereinstimmungen zurückzugeben.

Eine Fuzzylookup-Transformation folgt im Datenfluss eines Pakets häufig auf eine Lookup-Transformation. Zunächst versucht die Lookup-Transformation, eine genaue Übereinstimmung zu finden. Schlägt dies fehl, liefert die Fuzzy Lookup-Transformation ähnliche Übereinstimmungen aus der Verweistabelle.

Die Transformation benötigt Zugriff auf eine Verweisdatenquelle, die die Werte enthält, die zum Bereinigen und Erweitern der Eingabedaten verwendet werden. Bei der Verweisdatenquelle muss es sich um eine Tabelle in einer SQL Server -Datenbank handeln. Bei der Übereinstimmung zwischen dem Wert in einer Eingabespalte und dem Wert in der Verweistabelle kann es sich um eine genaue Übereinstimmung oder eine Fuzzyübereinstimmung handeln. Die Transformation erfordert jedoch, dass mindestens ein Spaltenabgleich für den Fuzzyabgleich konfiguriert ist. Wenn Sie nur exakte Übereinstimmungen verwenden möchten, verwenden Sie stattdessen die Lookup-Transformation.

Diese Transformation weist je eine Eingabe und eine Ausgabe auf.

Für die Fuzzyübereinstimmung können nur Spalten mit den Datentypen DT_WSTR und DT_STR verwendet werden. Für den exakten Abgleich kann jeder DTS-Datentyp außer DT_TEXT, DT_NTEXT und DT_IMAGE verwendet werden. Weitere Informationen finden Sie unter Integration Services Datentypen. Spalten, die an dem Join zwischen Eingabe- und Verweistabelle beteiligt sind, müssen kompatible Datentypen aufweisen. So ist beispielsweise das Verknüpfen einer Spalte mit dem DTS-Datentyp DT_WSTR mit einer Spalte mit dem -Datentyp SQL Server nvarchar gültig. Das Verknüpfen einer Spalte mit dem DT_WSTR-Datentyp mit einer Spalte mit dem int-Datentyp ist jedoch ungültig.

Sie können diese Transformation anpassen, indem Sie den maximalen Umfang des Arbeitsspeichers, den Zeilenvergleichsalgorithmus sowie den Zwischenspeicher für Indizes und Verweistabellen, die von der Transformation verwendet werden, angeben.

Die von der Fuzzy Lookup-Transformation verwendete Speichermenge kann durch Festlegen der benutzerdefinierten Eigenschaft MaxMemoryUsage konfiguriert werden. Sie können die Größe in Megabyte (MB) angeben oder den Wert 0 verwenden, um bei der Transformation eine dynamische Arbeitsspeichermenge auf Basis der Anforderungen und des verfügbaren physischen Speichers zu verwenden. Die benutzerdefinierte MaxMemoryUsage-Eigenschaft kann beim Laden des Pakets mithilfe eines Eigenschaftsausdrucks aktualisiert werden. Weitere Informationen finden Sie unter Integration Services-Ausdrücke (SSIS), Verwenden von Eigenschaftsausdrücken in Paketen und Benutzerdefinierte Eigenschaften von Transformationen.

Steuerung des Verhaltens von Fuzzy-Matching

Die Transformation für den Fuzzyabgleich umfasst drei Funktionen zum Anpassen des von ihr ausgeführten Abgleichs: die maximale Anzahl von Übereinstimmungen, die pro Eingabezeile zurückgegeben werden, Token-Trennzeichen und Ähnlichkeitsschwellenwerte.

Die Transformation gibt null oder mehr Übereinstimmungen bis zur angegebenen Anzahl an Übereinstimmungen zurück. Die Angabe einer maximalen Anzahl an Übereinstimmungen stellt nicht sicher, dass die Transformation die maximale Anzahl an Übereinstimmungen zurückgibt. Es wird lediglich sichergestellt, dass die Transformation maximal diese Anzahl an Überseinstimmungen zurückgibt. Wenn Sie die maximale Anzahl an Übereinstimmungen auf einen Wert größer als 1 festlegen, kann die Ausgabe der Transformation eventuell mehr als eine Zeile pro Suche enthalten, und bei einigen Zeilen kann es sich um Duplikate handeln.

Die Transformation stellt einen Standardsatz an Trennzeichen zum Tokenisieren der Daten bereit, Sie können jedoch weitere Trennzeichen hinzufügen, um sie an die Anforderungen Ihrer Daten anzupassen. Die Delimiters-Eigenschaft enthält die Standardtrennzeichen. Die Tokenisierung ist wichtig, da die Einheiten innerhalb der Daten definiert werden, die miteinander verglichen werden.

Die Schwellenwerte für Ähnlichkeit können auf der Komponenten- und Joinebene festgelegt werden. Der Ähnlichkeitsschwellenwert für die Join-Ebene ist nur verfügbar, wenn die Transformation einen Fuzzyabgleich zwischen Spalten in der Eingabe und der Verweistabelle durchführt. Der Ähnlichkeitsbereich liegt zwischen 0 und 1. Je näher der Schwellenwert an 1 liegt, desto mehr müssen sich die Zeilen und Spalten ähneln, um als Duplikate gewertet zu werden. Sie geben den Schwellenwert für Ähnlichkeit an, indem Sie die MinSimilarity-Eigenschaft auf den Komponenten- und Joinebenen festlegen. Um der auf der Komponentenebene angegebenen Ähnlichkeit gerecht zu werden, müssen alle Zeilen über alle Übereinstimmungen hinweg eine Ähnlichkeit haben, die größer oder gleich dem Schwellenwert für Ähnlichkeit ist, der auf der Komponentenebene angegeben ist. Das heißt, Sie können auf Komponentenebene keine sehr enge Übereinstimmung angeben, es sei denn, die Übereinstimmungen auf Zeilen- oder Join-Ebene sind ebenso eng.

Jede Übereinstimmung enthält einen Ähnlichkeitswert und einen Konfidenzwert. Der Ähnlichkeitswert ist ein mathematisches Maß für die Texturähnlichkeit zwischen dem Eingabedatensatz und dem Datensatz, den die Fuzzy Lookup-Transformation aus der Verweistabelle zurückgibt. Der Konfidenzwert ist ein Maß dafür, wie wahrscheinlich es ist, dass ein bestimmter Wert unter den in der Referenztabelle gefundenen Übereinstimmungen die beste Übereinstimmung ist. Das einem Datensatz zugewiesene Vertrauensergebnis richtet sich nach den anderen zurückgegebenen übereinstimmenden Datensätzen. Zum Beispiel ergibt der Abgleich von St. und Saint ungeachtet anderer Übereinstimmungen einen niedrigen Ähnlichkeitswert. Wenn Saint die einzige zurückgegebene Übereinstimmung ist, ist der Konfidenzwert hoch. Wenn sowohl Saint als auch St. in der Referenztabelle vorkommen, ist die Konfidenz für St. hoch und die Konfidenz für Saint niedrig. Hohe Ähnlichkeit bedeutet aber nicht notwendigerweise hohes Vertrauen. Wenn Sie z. B. den Wert Chapter 4suchen, haben die zurückgegebenen Ergebnisse Chapter 1, Chapter 2und Chapter 3 ein hohes Ähnlichkeitsergebnis, aber ein niedriges Vertrauensergebnis, da es unklar ist, welches der Ergebnisse die beste Übereinstimmung ist.

Das Ähnlichkeitsergebnis wird anhand eines Dezimalwerts zwischen 0 und 1 dargestellt, wobei ein Ähnlichkeitsergebnis von 1 eine genaue Übereinstimmung zwischen dem Wert in der Eingabespalte und dem Wert in der Verweistabelle bedeutet. Der Konfidenzwert, ebenfalls ein Dezimalwert zwischen 0 und 1, gibt an, wie sicher die Übereinstimmung ist. Wenn keine verwendbare Übereinstimmung gefunden wird, werden der Zeile Ähnlichkeits- und Vertrauensergebnisse von 0 zugewiesen, und die aus der Verweistabelle kopierten Ausgabespalten enthalten Nullwerte.

Manchmal findet Fuzzy Lookup keine passenden Übereinstimmungen in der Verweistabelle. Dies kann vorkommen, wenn es sich bei dem für eine Suche verwendeten Eingabewert um ein einzelnes, kurzes Wort handelt. Beispielsweise wird helo in einer Referenztabelle nicht mit dem Wert hello abgeglichen, wenn in dieser Spalte oder in einer anderen Spalte der Zeile keine weiteren Token vorhanden sind.

Die Transformationsausgabespalten enthalten die Eingabespalten, die als Pass-Through-Spalten markiert sind, die ausgewählten Spalten in der Suchtabelle und die folgenden zusätzlichen Spalten:

• _Similarity, eine Spalte, die die Ähnlichkeit zwischen den Werten in den Eingabe- und Verweisspalten beschreibt.

• _Confidence, eine Spalte, die die Qualität der Übereinstimmung beschreibt.

Die Transformation verwendet die Verbindung mit der SQL Server -Datenbank, um die temporären Tabellen zu erstellen, die vom Fuzzyübereinstimmungsalgorithmus verwendet werden.

Ausführen der Fuzzylookup-Transformation

Wenn das Paket die Transformation zum ersten Mal ausführt, kopiert die Transformation die Referenztabelle, fügt der neuen Tabelle einen Schlüssel mit einem ganzzahligen Datentyp hinzu und erstellt einen Index auf der Schlüsselspalte. Als Nächstes erstellt die Transformation auf der Kopie der Verweistabelle einen Index, einen sogenannten Übereinstimmungsindex. Im Abgleichsindex werden die Ergebnisse der Tokenisierung der Werte in den Eingabespalten der Transformation gespeichert, und die Transformation verwendet die Token dann bei der Suchoperation. Der Übereinstimmungsindex ist eine Tabelle in einer SQL Server -Datenbank.

Wenn das Paket erneut ausgeführt wird, kann von der Transformation entweder ein bereits vorhandener Übereinstimmungsindex verwendet werden oder ein neuer Index erstellt werden. Wenn die Referenztabelle statisch ist, kann das Paket den potenziell teuren Prozess vermeiden, den Index für wiederholte Sitzungen zur Datenbereinigung neu aufzubauen. Wenn Sie einen bereits vorhandenen Index verwenden möchten, wird der Index bei der ersten Paketausführung erstellt. Wenn mehrere Transformationen für Fuzzysuche dieselbe Verweistabelle verwenden, können alle denselben Index verwenden. Um den Index erneut zu verwenden, müssen die Suchvorgänge identisch sein; die Suche muss dieselben Spalten verwenden. Sie können den Index benennen und die Verbindung mit der SQL Server -Datenbank auswählen, in der der Index gespeichert ist.

Wenn bei der Transformation der Übereinstimmungsindex gespeichert wird, kann dieser automatisch verwaltet werden. Dies bedeutet, dass jedes Mal, wenn ein Datensatz in der Verweistabelle aktualisiert wird, auch der Übereinstimmungsindex aktualisiert wird. Die Verwaltung des Übereinstimmungsindexes kann Verarbeitungszeit sparen, da der Index bei Paketausführung nicht neu erstellt werden muss. Sie können angeben, wie die Transformation den Übereinstimmungsindex verwaltet.

In der folgenden Tabelle werden die Optionen für den Übereinstimmungsindex beschrieben.

Verwaltung der Übereinstimmungsindextabelle

Mit der Option GenerateAndMaintainNewIndex werden Trigger in der Verweistabelle installiert, damit die Match-Indextabelle und die Verweistabelle synchronisiert bleiben. Wenn Sie den installierten Trigger entfernen müssen, müssen Sie die gespeicherte sp_FuzzyLookupTableMaintenanceUnInstall -Prozedur ausführen und den in der MatchIndexName-Eigenschaft als Eingabeparameterwert festgelegten Namen angeben.

Sie sollten die verwaltete Übereinstimmungsindextabelle nicht löschen, bevor Sie die gespeicherte sp_FuzzyLookupTableMaintenanceUnInstall -Prozedur ausgeführt haben. Wenn die Match-Index-Tabelle gelöscht wird, werden die Trigger auf der Referenztabelle nicht korrekt ausgeführt. Sämtliche nachfolgenden Updates der Verweistabelle schlagen fehl, bis Sie die Trigger für die Verweistabelle manuell löschen.

Der SQL-Befehl TRUNCATE TABLE ruft DELETE keine Trigger auf. Wenn der TRUNCATE TABLE Befehl in der Referenztabelle verwendet wird, wird die Referenztabelle und der Vergleichsindex nicht mehr synchronisiert, und die Fuzzy-Nachschlagetransformation schlägt fehl. Während die Trigger, die die Übereinstimmungsindextabelle beibehalten, in der Referenztabelle installiert sind, sollten Sie den SQL-Befehl DELETE anstelle des TRUNCATE TABLE Befehls verwenden.

Zeilenvergleich

Wenn Sie die Transformation für Fuzzysuche konfigurieren, können Sie den Vergleichsalgorithmus angeben, den die Transformation für die Suche von übereinstimmenden Datensätzen in der Verweistabelle verwendet. Wenn Sie die Eigenschaft „Exhaustive“ auf True festlegen, vergleicht die Transformation jede Zeile in der Eingabe mit jeder Zeile in der Referenztabelle. Dieser Vergleichsalgorithmus kann zwar präzisere Ergebnisse liefern, dürfte die Transformation jedoch verlangsamen, es sei denn, die Anzahl der Zeilen in der Verweistabelle ist gering. Wenn die Exhaustive-Eigenschaft auf True festgelegt ist, wird die gesamte Referenztabelle in den Arbeitsspeicher geladen. Um Leistungsprobleme zu vermeiden, wird empfohlen, die Exhaustive-Eigenschaft nur während der Paketentwicklung auf TRUE festzulegen.

Wenn die Exhaustive-Eigenschaft auf FALSEfestgelegt ist, gibt die Transformation für die Fuzzysuche nur übereinstimmende Werte zurück, bei denen mindestens ein indiziertes Token bzw. eine Teilzeichenfolge (die Teilzeichenfolge wird q-gramgenannt) mit dem Eingabedatensatz übereinstimmt. Zum Maximieren der Sucheffizienz wird in jeder Zeile der Tabelle nur eine Teilmenge der Token in der invertierten Indexstruktur indiziert, die die Transformation für Fuzzysuche zum Suchen von übereinstimmenden Werten verwendet. Wenn das Eingabedataset klein ist, können Sie die Exhaustive-Eigenschaft auf TRUE festlegen, um fehlende Übereinstimmungen, für die keine allgemeinen Token in der Indextabelle vorhanden sind, zu vermeiden.

Zwischenspeichern von Indizes und Verweistabellen

Wenn Sie die Fuzzy Lookup-Transformation konfigurieren, können Sie angeben, ob die Transformation den Index und die Referenztabelle vor der Ausführung teilweise im Arbeitsspeicher zwischenspeichert. Wenn Sie die WarmCaches-Eigenschaft auf TRUEfestlegen, werden der Index und die Verweistabelle in den Arbeitsspeicher geladen. Wenn die Eingabe aus vielen Zeilen besteht, kann durch das Festlegen der WarmCaches-Eigenschaft auf TRUE die Transformationsleistung verbessert werden. Wenn die Anzahl der Eingabezeilen gering ist, kann durch das Festlegen der WarmCaches-Eigenschaft auf FALSE die Wiederverwendung eines großen Indexes schneller sein.

Temporäre Tabellen und Indizes

Zur Laufzeit erstellt die Transformation für Fuzzysuche temporäre Objekte, z. B. Tabellen und Indizes, in der SQL Server -Datenbank, mit der die Transformation eine Verbindung herstellt. Die Größe dieser temporären Tabellen und Indizes ist proportional zur Anzahl der Zeilen und Token in der Verweistabelle sowie zur Anzahl der Token, die die Fuzzylookup-Transformation erstellt; daher können sie möglicherweise erheblichen Festplattenspeicher beanspruchen. Die Transformation fragt auch diese temporären Tabellen ab. Deshalb sollten Sie erwägen, die Fuzzy Lookup-Transformation mit einer Nicht-Produktionsinstanz einer SQL Server-Datenbank zu verbinden, insbesondere wenn auf dem Produktionsserver nur begrenzter Speicherplatz verfügbar ist.

Die Leistung dieser Transformation kann verbessert werden, wenn sich die dabei verwendeten Tabellen und Indizes auf dem lokalen Computer befinden. Wenn sich die Referenztabelle, die von der Fuzzylookup-Transformation verwendet wird, auf dem Produktionsserver befindet, sollten Sie erwägen, die Tabelle auf einen Nicht-Produktionsserver zu kopieren und die Fuzzylookup-Transformation so zu konfigurieren, dass sie auf die Kopie zugreift. So können Sie verhindern, dass die Suchabfragen Ressourcen auf dem Produktionsserver verbrauchen. Wenn die Fuzzy-Nachschlagetransformation den Vergleichsindex beibehält, d. h., wenn MatchIndexOptions auf GenerateAndMaintainNewIndex festgelegt ist, kann die Transformation die Referenztabelle für die Dauer des Datenreinigungsvorgangs sperren und verhindern, dass andere Benutzer und Anwendungen auf die Tabelle zugreifen.

Konfigurieren der Fuzzy Lookup-Transformation

Sie können Eigenschaften mit dem SSIS -Designer oder programmgesteuert festlegen.

Klicken Sie auf eines der folgenden Themen, um weitere Informationen zu den Eigenschaften zu erhalten, die Sie im Dialogfeld Erweiterter Editor oder programmgesteuert festlegen können:

• Gemeinsame Eigenschaften

• Benutzerdefinierte Eigenschaften von Transformationen

Verwandte Aufgaben

Weitere Informationen zum Festlegen der Eigenschaften einer Datenflusskomponente finden Sie unter Festlegen der Eigenschaften einer Datenflusskomponente.

Editor der Fuzzylookup-Transformation (Registerkarte „Referenztabelle“)

Verwenden Sie die Registerkarte Referenztabelle im Dialogfeld Editor für die Fuzzylookup-Transformation, um die Quelltabelle und den für den Suchvorgang zu verwendenden Index anzugeben. Bei der Verweisdatenquelle muss es sich um eine Tabelle in einer SQL Server -Datenbank handeln.

Optionen

OLE DB-Verbindungs-Manager
Wählen Sie einen vorhandenen OLE DB-Verbindungs-Manager aus der Liste aus, oder erstellen Sie eine neue Verbindung, indem Sie auf Neuklicken.

Neu
Erstellen Sie mithilfe des Dialogfelds OLE DB-Verbindungs-Manager konfigurieren eine neue Verbindung.

Neuen Index generieren
Geben Sie an, dass die Transformation einen neuen Index erstellen soll, der für die Suche verwendet wird.

Name der Verweistabelle
Wählen Sie die vorhandene Tabelle aus, die als Verweis-(Such-)Tabelle verwendet werden soll.

Neuen Index speichern
Wählen Sie diese Option aus, wenn Sie den neuen Suchindex speichern möchten.

Name des neuen Indexes
Wenn Sie den neuen Suchindex speichern möchten, geben Sie einen beschreibenden Namen für den Index ein.

Gespeicherten Index beibehalten
Wenn Sie den neuen Suchindex speichern möchten, geben Sie an, ob der Index auch in SQL Server beibehalten werden soll.

Vorhandenen Index verwenden
Gibt an, dass bei der Transformation ein vorhandener Index für die Suche verwendet werden soll.

Name eines vorhandenen Indexes
Wählen Sie einen zu einem früheren Zeitpunkt erstellten Index aus der Liste aus.

Editor für die Fuzzylookup-Transformation (Registerkarte Spalten)

Auf der Registerkarte Spalten des Dialogfelds Transformations-Editor für Fuzzysuche können Sie die Eigenschaften für die Eingabe- und Ausgabespalten festlegen.

Optionen

Verfügbare Eingabespalten
Ziehen Sie Eingabespalten auf verfügbare Suchspalten, um sie damit zu verbinden. Diese Spalten müssen übereinstimmende, unterstützte Datentypen aufweisen. Wählen Sie eine Zuordnungszeile aus, und klicken Sie mit der rechten Maustaste darauf, um die Zuordnungen im Dialogfeld Beziehungen erstellen zu bearbeiten.

Name
Zeigen Sie die Namen der verfügbaren Eingabespalten an.

Durchschleifen
Geben Sie an, ob die Eingabespalten in der Ausgabe der Transformation eingeschlossen sein sollen.

Verfügbare Suchspalten
Wählen Sie mithilfe der Kontrollkästchen die Spalten aus, auf die Fuzzy-Lookup-Vorgänge angewendet werden sollen.

Suchspalte
Wählen Sie Suchspalten aus der Liste der verfügbaren Spalten der Verweistabelle aus. Ihre Auswahl spiegelt sich in den Kontrollkästchenauswahlen in der Tabelle Verfügbare Suchspalten wider. Durch das Auswählen einer Spalte in der Verfügbare Suchspalten -Tabelle wird eine Ausgabespalte erstellt, die den Spaltenwert der Verweistabelle für jede übereinstimmende Zeile enthält, die zurückgegeben wird.

Ausgabealias
Geben Sie einen Alias für die Ausgabe der einzelnen Suchspalten ein. Standardmäßig wird der Name der Suchspalte mit einem angefügten numerischen Indexwert verwendet. Sie können jedoch auch einen beschreibenden Namen angeben, sofern dieser eindeutig ist.

Transformations-Editor für Fuzzysuche (Registerkarte Erweitert)

Auf der Registerkarte Erweitert des Dialogfelds Transformations-Editor für Fuzzysuche können Sie die Parameter für die Fuzzysuche festlegen.

Optionen

Maximale Anzahl von Übereinstimmungen, die pro Suche ausgegeben werden
Geben Sie die maximale Anzahl der Übereinstimmungen an, die pro Eingabezeile von der Transformation zurückgegeben werden können. Der Standardwert lautet 1.

Schwellenwert für Ähnlichkeit
Legen Sie mithilfe des Schiebereglers den Schwellenwert für Ähnlichkeit auf Komponentenebene fest. Je näher der Wert an 1 liegt, desto stärker muss die Ähnlichkeit zwischen Suchwert und Quellwert sein, um als Übereinstimmung zu gelten. Eine Erhöhung des Schwellenwerts kann den Abgleich beschleunigen, da weniger Kandidatendatensätze berücksichtigt werden müssen.

Tokentrennzeichen
Geben Sie die Trennzeichen an, die von der Transformation verwendet werden, um Spaltenwerte mit Token zu versehen.

Siehe auch

Lookup-Transformation
Fuzzy-Gruppierungstransformation
SQL Server Integration Services-Transformationen