data-quality kommandogrupp

Anmärkning

Den här informationen gäller för Databricks CLI-versionerna 0.205 och senare. Databricks CLI finns i offentlig förhandsversion.

Databricks CLI-användning omfattas av Databricks-licensen och Databricks sekretessmeddelande, inklusive eventuella användningsdatabestämmelser.

Kommandogruppen data-quality i Databricks CLI innehåller kommandon för att hantera datakvaliteten för Unity Catalog-objekt. Se Övervakning av datakvalitet.

avbryt uppdatering av databricks-datakvalitet

Avbryt en uppdatering av datakvalitetsövervakaren. Stöds för närvarande endast för tabellen object_type. Anropet måste göras på samma arbetsyta som där övervakaren skapades.

Anroparen måste ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och HANTERA i tabellen.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

REFRESH_ID

    Unikt ID för uppdateringsåtgärden.

Alternativ

Globala flaggor

Exempel

I följande exempel avbryts en uppdateringsåtgärd:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks-övervakning av datakvalitet för create-monitor

Skapa en datakvalitetsövervakare på ett Unity Catalog-objekt. Anroparen måste ange antingen anomaly_detection_config för en schemaövervakare eller data_profiling_config för en tabellövervakare.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog , USE_SCHEMA i tabellens överordnade schema och SELECT i tabellen.
  2. USE_CATALOG i tabellens överordnade katalog, HANTERA och USE_SCHEMA i tabellens överordnade schema och SELECT i tabellen.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och HANTERA och SELECT i tabellen.

Arbetsytetillgångar, till exempel instrumentpanelen, skapas på arbetsytan där det här anropet gjordes.

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och HANTERA och USE_SCHEMA i schemat.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

Alternativ

--json JSON

    Den infogade JSON-strängen eller @path till JSON-filen med begärandetexten

Globala flaggor

Exempel

I följande exempel skapas en datakvalitetsövervakare för en tabell:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

I följande exempel skapas en övervakare med hjälp av en JSON-fil:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks-uppdatering av datakvalitet för create-refresh

Skapa en uppdatering. Anropet måste göras på samma arbetsyta som där övervakaren skapades.

Anroparen måste ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och HANTERA i tabellen.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

Alternativ

--json JSON

    Den infogade JSON-strängen eller @path till JSON-filen med begärandetexten

Globala flaggor

Exempel

I följande exempel skapas en uppdatering för en tabellövervakare:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

I följande exempel skapas en uppdatering med JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks-övervakning av datakvalitetsborttagning

Ta bort en datakvalitetsövervakare för Unity Catalog-objektet.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och HANTERA i tabellen.

Viktigt!

Måtttabellerna och instrumentpanelen tas inte bort som en del av det här anropet. dessa tillgångar måste rensas manuellt (om så önskas).

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och HANTERA och USE_SCHEMA i schemat.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

Alternativ

Globala flaggor

Exempel

I följande exempel tas en datakvalitetsövervakare bort:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks get-quality get-monitor

Läs en datakvalitetsövervakare på ett Unity Catalog-objekt.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och SELECT i tabellen.

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och USE_SCHEMA i schemat.

Den returnerade informationen innehåller konfigurationsvärden för entiteten och den överordnade entiteten samt information om tillgångar som skapats av övervakaren. Viss information (t.ex. instrumentpanel) kan filtreras bort om anroparen befinner sig på en annan arbetsyta än där övervakaren skapades.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

Alternativ

Globala flaggor

Exempel

I följande exempel hämtas information om en datakvalitetsövervakare:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks-uppdatering av datakvalitet

Hämta uppdateringsinformation för datakvalitetsövervakaren. Anropet måste göras på samma arbetsyta som där övervakaren skapades.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och SELECT i tabellen.

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och USE_SCHEMA i schemat.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

REFRESH_ID

    Unikt ID för uppdateringsåtgärden.

Alternativ

Globala flaggor

Exempel

I följande exempel hämtas information om en uppdatering:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks-lista med datakvalitetsuppdatering

Visa en lista över uppdateringar av datakvalitetsövervakaren. Anropet måste göras på samma arbetsyta som där övervakaren skapades.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och SELECT i tabellen.

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och USE_SCHEMA i schemat.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

     schema_id Hitta från antingen: (1) Schema_id för schemaresursen. (2) I Katalogutforskaren → välj schemat → gå till fliken Information → fältet Schema-ID.

     table_id Hitta från antingen: (1) Resursens table_id för resursen Tabeller. (2) I Katalogutforskaren → välj tabellen → gå till fliken Information → fältet Tabell-ID.

Alternativ

--page-size int

    Maximalt antal uppdateringar som ska returneras per sida.

--page-token string

    Token för att hämta nästa sida med resultat.

Globala flaggor

Exempel

I följande exempel visas alla uppdateringar för en övervakare:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

I följande exempel visas uppdateringar med sidnumrering:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks-uppdateringsövervakare av datakvalitet

Uppdatera en datakvalitetsövervakare för Unity Catalog-objektet.

För tabellen object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i tabellens överordnade katalog.
  2. USE_CATALOG i tabellens överordnade katalog och HANTERA och USE_SCHEMA i tabellens överordnade schema.
  3. USE_CATALOG i tabellens överordnade katalog USE_SCHEMA i tabellens överordnade schema och HANTERA i tabellen.

För schemat object_type måste anroparen ha någon av följande behörigheter:

  1. HANTERA och USE_CATALOG i schemats överordnade katalog.
  2. USE_CATALOG i schemats överordnade katalog och HANTERA och USE_SCHEMA i schemat.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typen av övervakat objekt. Kan vara något av följande: schema eller table.

OBJECT_ID

    UUID för begärandeobjektet. Det är schema_id för schema och table_id för tabell.

UPDATE_MASK

    Fältmasken för att ange vilka fält som ska uppdateras som en kommaavgränsad lista. Exempelvärde: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Alternativ

--json JSON

    Den infogade JSON-strängen eller @path till JSON-filen med begärandetexten

Globala flaggor

Exempel

I följande exempel uppdateras en övervakarens konfiguration:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Globala flaggor

Globala flaggor

--debug

  Om felsökningsloggning ska aktiveras.

-h eller --help

    Visa hjälp för Databricks CLI eller den relaterade kommandogruppen eller det relaterade kommandot.

--log-file sträng

    En sträng som representerar filen som utdataloggarna ska skrivas till. Om den här flaggan inte anges är standardvärdet att skriva utdataloggar till stderr.

--log-format Format

    Loggformattypen, text eller json. Standardvärdet är text.

--log-level sträng

    En sträng som representerar loggformatnivån. Om det inte anges inaktiveras loggformatnivån.

-o, --output typ

    Kommandots utdatatyp, text eller json. Standardvärdet är text.

-p, --profile sträng

    Namnet på profilen i ~/.databrickscfg-filen som ska användas för att köra kommandot. Om den här flaggan inte anges används den namngivna DEFAULT profilen om den finns.

--progress-format Format

    Formatet för att visa förloppsloggar: default, append, inplaceeller json

-t, --target sträng

    Om tillämpligt, paketmålet som ska användas

  • Last updated on