data-quality opdrachtgroep

Opmerking

Deze informatie is van toepassing op Databricks CLI-versies 0.205 en hoger. De Databricks CLI bevindt zich in openbare preview.

Databricks CLI-gebruik is onderhevig aan de Databricks-licentie en de privacyverklaring van Databricks, met inbegrip van alle bepalingen voor gebruiksgegevens.

De data-quality opdrachtgroep in de Databricks CLI bevat opdrachten voor het beheren van de gegevenskwaliteit van Unity Catalog-objecten. Zie Bewaking van gegevenskwaliteit.

databricks data-quality cancel-refresh

Een vernieuwing van een gegevenskwaliteitscontrole annuleren. Momenteel alleen ondersteund voor de tabel object_type. De aanroep moet worden uitgevoerd in dezelfde werkruimte als waar de monitor is gemaakt.

De aanroeper moet een van de volgende sets machtigingen hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en BEHEREN in de tabel.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

REFRESH_ID

    Unieke id van de vernieuwingsbewerking.

Opties

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt een vernieuwingsbewerking geannuleerd:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Maak een monitor voor gegevenskwaliteit op een Unity Catalog-object. De aanroeper moet een schemamonitor of anomaly_detection_config een tabelmonitor opgevendata_profiling_config.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel, USE_SCHEMA in het bovenliggende schema van de tabel en SELECT in de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel beheren enUSE_SCHEMA in het bovenliggende schema van de tabel en SELECT in de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en BEHEREN en SELECT in de tabel.

Werkruimte-elementen, zoals het dashboard, worden gemaakt in de werkruimte waarin deze aanroep is gedaan.

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en BEHEER en USE_SCHEMA in het schema.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

Opties

--json JSON

    De inline JSON-tekenreeks of het @path naar het JSON-bestand met de aanvraagbody

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt een gegevenskwaliteitscontrole voor een tabel gemaakt:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

In het volgende voorbeeld wordt een monitor gemaakt met behulp van een JSON-bestand:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Maak een vernieuwing. De aanroep moet worden uitgevoerd in dezelfde werkruimte als waar de monitor is gemaakt.

De aanroeper moet een van de volgende sets machtigingen hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en BEHEREN in de tabel.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

Opties

--json JSON

    De inline JSON-tekenreeks of het @path naar het JSON-bestand met de aanvraagbody

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt een vernieuwing voor een tabelmonitor gemaakt:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

In het volgende voorbeeld wordt een vernieuwing gemaakt met behulp van JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Een bewaking van de gegevenskwaliteit op Unity Catalog-object verwijderen.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en BEHEREN in de tabel.

Belangrijk

De metrische tabellen en het dashboard worden niet verwijderd als onderdeel van deze aanroep; deze activa moeten handmatig worden opgeschoond (indien gewenst).

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en BEHEER en USE_SCHEMA in het schema.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

Opties

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt een gegevenskwaliteitscontrole verwijderd:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

get-monitor voor databricks-gegevenskwaliteit

Lees een monitor voor gegevenskwaliteit op een Unity Catalog-object.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en SELECT in de tabel.

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en USE_SCHEMA in het schema.

De geretourneerde informatie bevat configuratiewaarden voor de entiteit en de bovenliggende entiteit, evenals informatie over assets die door de monitor zijn gemaakt. Sommige informatie (bijvoorbeeld dashboard) kan worden gefilterd als de beller zich in een andere werkruimte bevindt dan waar de monitor is gemaakt.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

Opties

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt informatie opgehaald over een gegevenskwaliteitscontrole:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Informatie over het vernieuwen van gegevenskwaliteitscontrole ophalen. De aanroep moet worden uitgevoerd in dezelfde werkruimte als waar de monitor is gemaakt.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en SELECT in de tabel.

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en USE_SCHEMA in het schema.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

REFRESH_ID

    Unieke id van de vernieuwingsbewerking.

Opties

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt informatie opgehaald over een vernieuwing:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks-lijst met gegevenskwaliteit vernieuwen

Vernieuwingen van gegevenskwaliteitscontrole weergeven. De aanroep moet worden uitgevoerd in dezelfde werkruimte als waar de monitor is gemaakt.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en SELECT in de tabel.

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en USE_SCHEMA in het schema.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

    Zoek de schema_id bron uit: (1) De schema_id van de schemaresource. (2) Selecteer in Catalog Explorer → het schema → naar het tabblad Details gaan → het veld Schema-id.

    Zoek de table_id bron uit: (1) De table_id van de resource Tabellen. (2) In Catalog Explorer → selecteert u de tabel → naar het tabblad Details → het veld Tabel-id.

Opties

--page-size int

    Maximum aantal vernieuwingen dat per pagina moet worden geretourneerd.

--page-token string

    Token om de volgende pagina met resultaten op te halen.

Globale vlaggen

Voorbeelden

In het volgende voorbeeld ziet u alle vernieuwingen voor een monitor:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

In het volgende voorbeeld ziet u een lijst met vernieuwingen met paginering:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Werk een bewaking van de gegevenskwaliteit bij voor Unity Catalog-objecten.

Voor de tabel object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van de tabel.
  2. USE_CATALOG in de bovenliggende catalogus van de tabel, en BEHEREN en USE_SCHEMA in het bovenliggende schema van de tabel.
  3. USE_CATALOG in de bovenliggende catalogus van de tabel , USE_SCHEMA in het bovenliggende schema van de tabel en BEHEREN in de tabel.

Voor het schema object_type moet de aanroeper een van de volgende machtigingensets hebben:

  1. BEHEREN en USE_CATALOG in de bovenliggende catalogus van het schema.
  2. USE_CATALOG in de bovenliggende catalogus van het schema en BEHEER en USE_SCHEMA in het schema.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Het type bewaakt object. Dit kan een van de volgende zijn: schema of table.

OBJECT_ID

    De UUID van het aanvraagobject. Dit is schema_id voor schema en table_id voor tabel.

UPDATE_MASK

    Het veldmasker om op te geven welke velden moeten worden bijgewerkt als een door komma's gescheiden lijst. Voorbeeldwaarde: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Opties

--json JSON

    De inline JSON-tekenreeks of het @path naar het JSON-bestand met de aanvraagbody

Globale vlaggen

Voorbeelden

In het volgende voorbeeld wordt de configuratie van een monitor bijgewerkt:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Globale vlaggen

Globale vlaggen

--debug

  Of u logboekregistratie voor foutopsporing wilt inschakelen.

-h of --help

    Help weergeven voor de Databricks CLI, de bijbehorende opdrachtgroep of de bijbehorende opdracht.

--log-file snaar

    Een tekenreeks die het bestand aangeeft waar uitvoerlogboeken naar moeten worden geschreven. Als deze vlag niet is opgegeven, is het standaardinstelling om uitvoerlogboeken naar stderr te schrijven.

--log-format formatteren

    Het logformaat type, text of json. De standaardwaarde is text.

--log-level snaar

    Een tekenreeks die het niveau van de logboekindeling vertegenwoordigt. Als dit niet is opgegeven, wordt het niveau van de logboekindeling uitgeschakeld.

-o, --output Type

    Het type uitvoer van de opdracht, text of json. De standaardwaarde is text.

-p, --profile snaar

    De naam van het profiel in het ~/.databrickscfg bestand dat moet worden gebruikt om de opdracht uit te voeren. Als deze vlag niet is opgegeven en hij bestaat, wordt het profiel met de naam DEFAULT gebruikt.

--progress-format formatteren

    De indeling voor het weergeven van voortgangslogboeken: default, append, inplaceof json

-t, --target snaar

    Indien van toepassing, het bundeldoel dat moet worden gebruikt