Databricks Merkmalspeicher

Diese Seite enthält eine Übersicht über die verfügbaren Funktionen, wenn Sie databricks Feature Store mit Unity Catalog verwenden.

Der Databricks Feature Store bietet eine zentrale Registrierung für Features, die in Ihren AI- und ML-Modellen verwendet werden. Featuretabellen und -modelle werden im Unity-Katalog registriert und bieten integrierte Governance, Lineage und arbeitsbereichübergreifende Feature-Freigabe und -Ermittlung. Mit Databricks findet der gesamte Modellschulungsworkflow auf einer einzigen Plattform statt, darunter:

  • Datenpipelines, die Rohdaten einbinden, Funktionstabellen erstellen, Modelle trainieren und Batch-Inferenz durchführen.
  • Endpunkte für die Bereitstellung von Modellen und Funktionen, die mit einem einzigen Klick verfügbar sind und eine Latenzzeit von Millisekunden aufweisen.
  • Daten- und Modellüberwachung.

Wenn Sie Features aus dem Databricks Feature Store verwenden, um Modelle zu trainieren, verfolgt das Modell automatisch die Abstammung der Features, die im Training verwendet wurden. Bei der Inferenz sucht das Modell automatisch nach den neuesten Featurewerten. Der Databricks Feature Store bietet auch die On-Demand-Berechnung von Features für Echtzeitanwendungen, die alle Featureberechnungsaufgaben verarbeiten. Dadurch wird die Training-Inferenz-Verzerrung beseitigt, wodurch sichergestellt wird, dass die bei der Inferenz verwendeten Funktionsberechnungen dieselben sind wie die, die während des Modelltrainings verwendet wurden. Außerdem wird der clientseitige Code erheblich vereinfacht, da alle Feature-Nachschlagevorgänge und -berechnungen vom Databricks Feature Store behandelt werden.

Hinweis

Diese Seite beschreibt den Databricks Feature Store für Arbeitsbereiche, die für Unity-Katalog aktiviert sind. Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, lesen Sie den Workspace Feature Store (veraltet).

Konzeptionelle Übersicht

Eine Übersicht über die Funktionsweise des Databricks Feature Store und ein Glossar mit Begriffen finden Sie unter Feature Store-Übersicht und Glossar.

Entwickeln von Features

Merkmal Description
Featuretabellen Erstellung und Bearbeitung von Feature-Tabellen.

Funktionen entdecken und teilen

Merkmal Description
Erkunden von Features im Unity-Katalog Erkunden und verwalten Sie Featuretabellen mithilfe des Katalog-Explorers und der Features-Benutzeroberfläche.
Verwenden von Tags mit Featuretabellen und Features im Unity-Katalog Verwenden Sie einfache Schlüssel-Wert-Paare, um Ihre Featuretabellen und -features zu kategorisieren und zu verwalten.

Verwenden von Features in Schulungsworkflows

Merkmal Description
Trainieren von Modellen mit Merkmalstabellen Verwenden Sie Features zum Trainieren von Modellen.
Verknüpfungen von Punkt-in-Time-Features Verwenden Sie die Punkt-in-Time-Korrektheit, um einen Trainingsdatensatz zu erstellen, der Featurewerte zum Zeitpunkt der Aufzeichnung einer Label-Beobachtung widerspiegelt.
Python-API Python-API-Referenz

Funktionen bereitstellen

Merkmal Description
Databricks Online Feature Stores Bereitstellen von Featuredaten für Onlineanwendungen und Echtzeit-Machine Learning-Modelle. Unterstützt von Databricks Lakebase.
Modellbereitstellung mit automatischer Featuresuche Automatisches Suchen von Merkmalswerten aus einem Online-Shop.
Endpunkte zur Bereitstellung von Features Stellen Sie Funktionen für Modelle und Anwendungen außerhalb von Databricks bereit.
Bedarfsgerechte Featureberechnung Berechnung der Funktionswerte zum Zeitpunkt der Schlussfolgerung.

Featuregovernance und -herkunft

Merkmal Description
Feature-Governance und -Herkunft Verwenden Sie Unity-Katalog, um den Zugriff auf Featuretabellen zu steuern und die Linien einer Featuretabelle, eines Modells oder einer Funktion anzuzeigen.

Anleitungen

Tutorial Description
Beispielnotizbücher für die ersten Schritte Einfaches Notizbuch. Zeigt, wie Sie eine Featuretabelle erstellen, sie zum Trainieren eines Modells verwenden und die Batchbewertung mithilfe der automatischen Featuresuche ausführen. Zeigt außerdem die Feature Engineering-Benutzeroberfläche an, um nach Features und Ansichtslinien zu suchen.
Taxi-Beispielnotizbuch. Zeigt den Prozess des Erstellens von Features, des Aktualisierens und Verwendens für die Modellschulung und Batch-Inferenz.
Beispiel: Bereitstellen und Abfragen eines Feature-Serving-Endpunkts Anleitung und Beispiel-Notebook, die zeigen, wie man einen Feature-Serving-Endpunkt bereitstellt und abfragt.
Beispiel: Verwenden von Features mit strukturierten RAG-Anwendungen Anleitung, die zeigt, wie Sie Databricks-Onlinetabellen und Feature-Bereitstellungsendpunkte für RAG-Anwendungen (Retrieval Augmented Generation) verwenden.

Anforderungen

Um den Databricks Feature Store zu verwenden, muss Ihr Arbeitsbereich für Unity-Katalog aktiviert sein. Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, lesen Sie den Workspace Feature Store (veraltet).

Unterstützte Datentypen

Databricks Feature Store und legacy Workspace Feature Store unterstützen die folgenden PySpark-Datentypen:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] BinaryType, DecimalType und MapType werden in allen Versionen von Feature Engineering im Unity-Katalog und im Arbeitsbereich Feature Store v0.3.5 oder höher unterstützt. [2] StructType wird in Feature Engineering v0.6.0 oder höher unterstützt.

Die oben aufgeführten Datentypen unterstützen Featuretypen, die in Machine Learning-Anwendungen üblich sind. Zum Beispiel:

  • Sie können Vektoren mit hoher Dichte, Tensoren und Einbettungen als ArrayType speichern.
  • Sie können Vektoren mit geringer Dichte, Tensoren und Einbettungen als MapType speichern.
  • Sie können Text als StringType speichern.

Wenn sie in Onlineshops veröffentlicht werden, werden ArrayType- und MapType-Features im JSON-Format gespeichert.

Die Benutzeroberfläche des Featurespeichers zeigt Metadaten zu Featuredatentypen an:

Beispiel für komplexe Datentypen

Weitere Informationen

Weitere Informationen zu bewährten Verfahren finden Sie in Die umfassende Anleitung zu Feature Stores.

  • Last updated on