data-quality groupe de commande

Note

Ces informations s’appliquent à Databricks CLI versions 0.205 et ultérieures. L’interface CLI Databricks est en préversion publique.

L’utilisation de l’interface CLI Databricks est soumise à la licence Databricks et à la notification de confidentialité Databricks, y compris les dispositions relatives aux données d’utilisation.

Le data-quality groupe de commandes dans l’interface CLI Databricks contient des commandes pour gérer la qualité des données des objets Catalogue Unity. Consultez la supervision de la qualité des données.

databricks data-quality cancel-refresh

Annulez l’actualisation d’un moniteur de qualité des données. Actuellement uniquement pris en charge pour la table object_type. L’appel doit être effectué dans le même espace de travail que celui où le moniteur a été créé.

L’appelant doit avoir l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et MANAGE sur la table.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

REFRESH_ID

    ID unique de l’opération d’actualisation.

Options

Indicateurs globaux

Exemples

L’exemple suivant annule une opération d’actualisation :

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Créez un moniteur de qualité des données sur un objet Catalogue Unity. L’appelant doit fournir anomaly_detection_config un moniteur de schéma ou data_profiling_config un moniteur de table.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.
  2. USE_CATALOG sur le catalogue parent de la table, MANAGE et USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE et SELECT sur la table.

Les ressources de l’espace de travail, telles que le tableau de bord, seront créées dans l’espace de travail où cet appel a été effectué.

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

Options

--json JSON

    Chaîne JSON inline ou chemin @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L’exemple suivant crée un moniteur de qualité des données pour une table :

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

L’exemple suivant crée un moniteur à l’aide d’un fichier JSON :

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Créez une actualisation. L’appel doit être effectué dans le même espace de travail que celui où le moniteur a été créé.

L’appelant doit avoir l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et MANAGE sur la table.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

Options

--json JSON

    Chaîne JSON inline ou chemin @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L’exemple suivant crée une actualisation pour un moniteur de table :

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

L’exemple suivant crée une actualisation à l’aide de JSON :

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Supprimez un moniteur de qualité des données sur l’objet Catalogue Unity.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et MANAGE sur la table.

Important

Les tables de métriques et le tableau de bord ne seront pas supprimés dans le cadre de cet appel ; ces ressources doivent être nettoyées manuellement (si vous le souhaitez).

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

Options

Indicateurs globaux

Exemples

L’exemple suivant supprime un moniteur de qualité des données :

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-monitor

Lisez un moniteur de qualité des données sur un objet De catalogue Unity.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma et USE_SCHEMA sur le schéma.

Les informations retournées incluent des valeurs de configuration sur l’entité et l’entité parente, ainsi que des informations sur les ressources créées par le moniteur. Certaines informations (par exemple, tableau de bord) peuvent être filtrées si l’appelant se trouve dans un espace de travail différent de celui où le moniteur a été créé.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

Options

Indicateurs globaux

Exemples

L’exemple suivant obtient des informations sur un moniteur de qualité des données :

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Obtenir les informations d’actualisation du moniteur de qualité des données. L’appel doit être effectué dans le même espace de travail que celui où le moniteur a été créé.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma et USE_SCHEMA sur le schéma.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

REFRESH_ID

    ID unique de l’opération d’actualisation.

Options

Indicateurs globaux

Exemples

L’exemple suivant obtient des informations sur une actualisation :

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality list-refresh

Répertorier les actualisations du moniteur de qualité des données. L’appel doit être effectué dans le même espace de travail que celui où le moniteur a été créé.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma et USE_SCHEMA sur le schéma.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

    Recherchez les éléments schema_id suivants : (1) La schema_id de la ressource Schémas. (2) Dans l’Explorateur de catalogues → sélectionnez le schéma → accédez à l’onglet Détails → le champ ID de schéma.

    Recherchez l’une table_id ou l’autre des options suivantes : (1) La table_id de la ressource Tables. (2) Dans l’Explorateur de catalogues → sélectionnez la table → accédez à l’onglet Détails → le champ ID de table.

Options

--page-size int

    Nombre maximal d’actualisations à retourner par page.

--page-token string

    Jeton pour récupérer la page suivante des résultats.

Indicateurs globaux

Exemples

L’exemple suivant répertorie toutes les actualisations d’un moniteur :

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

L’exemple suivant répertorie les actualisations avec la pagination :

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Mettez à jour un moniteur de qualité des données sur l’objet Catalogue Unity.

Pour la table object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent de la table.
  2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
  3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et MANAGE sur la table.

Pour le schéma object_type, l’appelant doit disposer de l’un des ensembles d’autorisations suivants :

  1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
  2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Type de l’objet surveillé. Il peut s’agir de l’un des éléments suivants : schema ou table.

OBJECT_ID

    UUID de l’objet de requête. Il s’agit schema_id du schéma et table_id de la table.

UPDATE_MASK

    Masque de champ pour spécifier les champs à mettre à jour en tant que liste séparées par des virgules. Exemple de valeur : data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Options

--json JSON

    Chaîne JSON inline ou chemin @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L’exemple suivant met à jour la configuration d’un moniteur :

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Indicateurs globaux

Indicateurs globaux

--debug

  Faut-il activer la journalisation du débogage ?

-h ou --help

    Affiche l’aide pour l’interface CLI de Databricks, le groupe de commandes associé ou la commande concernée.

--log-file chaîne de caractères

    Chaîne représentant le fichier utilisé pour écrire les logs de sortie. Si cet indicateur n’est pas défini, les journaux de sortie sont écrits par défaut dans stderr.

--log-format Format

    Type de format de journal : text ou json. La valeur par défaut est text.

--log-level chaîne de caractères

    Chaîne représentant le niveau de journalisation. Si cet indicateur n’est pas défini, le niveau de format de journal est désactivé.

Type -o, --output

    Type de sortie de commande, text ou json. La valeur par défaut est text.

-p, --profile chaîne de caractères

    Nom du profil dans le ~/.databrickscfg fichier à utiliser pour exécuter la commande. Si cet indicateur n’est pas spécifié, s’il existe, le profil nommé DEFAULT est utilisé.

--progress-format Format

    Format permettant d’afficher les journaux de progression : default, append, inplace ou json

-t, --target chaîne de caractères

    Le cas échéant, la cible d'ensemble à utiliser

  • Last updated on