Grupo de comandos data-quality

Nota:

Esta información se aplica a las versiones 0.205 y posteriores de la CLI de Databricks. La CLI de Databricks está en versión preliminar pública.

El uso de la CLI de Databricks está sujeto a la licencia de Databricks y al aviso de privacidad de Databricks, incluidas las disposiciones de datos de uso.

El data-quality grupo de comandos de la CLI de Databricks contiene comandos para administrar la calidad de los datos de los objetos catalog de Unity. Consulte Supervisión de la calidad de los datos.

databricks data-quality cancel-refresh

Cancelar una actualización del monitor de calidad de datos. Actualmente solo se admite para la tabla object_type. La llamada debe realizarse en la misma área de trabajo que donde se creó el monitor.

El autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y ADMINISTRAR en la tabla.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

REFRESH_ID

    Identificador único de la operación de actualización.

Options

Marcas globales

Examples

En el ejemplo siguiente se cancela una operación de actualización:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Cree un monitor de calidad de datos en un objeto catalog de Unity. El autor de la llamada debe proporcionar anomaly_detection_config para un monitor de esquema o data_profiling_config para un monitor de tabla.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y SELECT en la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla, ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla y SELECT en la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y ADMINISTRAR y SELECT en la tabla.

Los recursos del área de trabajo, como el panel, se crearán en el área de trabajo donde se realizó esta llamada.

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y ADMINISTRAR y USE_SCHEMA en el esquema.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

Options

--json JSON

    La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud

Marcas globales

Examples

En el ejemplo siguiente se crea un monitor de calidad de datos para una tabla:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

En el ejemplo siguiente se crea un monitor mediante un archivo JSON:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Cree una actualización. La llamada debe realizarse en la misma área de trabajo que donde se creó el monitor.

El autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y ADMINISTRAR en la tabla.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

Options

--json JSON

    La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud

Marcas globales

Examples

En el ejemplo siguiente se crea una actualización para un monitor de tabla:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

En el ejemplo siguiente se crea una actualización mediante JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Elimina un monitor de calidad de datos en el objeto Catalog de Unity.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y ADMINISTRAR en la tabla.

Important

Las tablas de métricas y el panel no se eliminarán como parte de esta llamada; Esos recursos deben limpiarse manualmente (si lo desea).

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y ADMINISTRAR y USE_SCHEMA en el esquema.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se elimina un monitor de calidad de datos:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-monitor

Lee un monitor de calidad de datos en un objeto catalog de Unity.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y SELECT en la tabla.

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y USE_SCHEMA en el esquema.

La información devuelta incluye valores de configuración en la entidad y la entidad primaria, así como información sobre los recursos creados por el monitor. Se puede filtrar parte de la información (por ejemplo, panel) si el autor de la llamada está en un área de trabajo diferente a la donde se creó el monitor.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se obtiene información sobre un monitor de calidad de datos:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Obtener información de actualización del monitor de calidad de datos. La llamada debe realizarse en la misma área de trabajo que donde se creó el monitor.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y SELECT en la tabla.

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y USE_SCHEMA en el esquema.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

REFRESH_ID

    Identificador único de la operación de actualización.

Options

Marcas globales

Examples

En el ejemplo siguiente se obtiene información sobre una actualización:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality list-refresh

Enumerar las actualizaciones del monitor de calidad de datos. La llamada debe realizarse en la misma área de trabajo que donde se creó el monitor.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y SELECT en la tabla.

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y USE_SCHEMA en el esquema.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

    Busque desde schema_id : (1) El schema_id del recurso Esquemas. (2) En el Explorador de catálogos → seleccione el esquema → vaya a la pestaña Detalles → el campo Id. de esquema.

    Busque desde table_id : (1) El table_id del recurso Tablas. (2) En el Explorador de catálogos → seleccionar la tabla → ir a la pestaña Detalles → el campo Id. de tabla.

Options

--page-size int

    Número máximo de actualizaciones que se van a devolver por página.

--page-token string

    Token para recuperar la página siguiente de resultados.

Marcas globales

Examples

En el ejemplo siguiente se enumeran todas las actualizaciones de un monitor:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

En el ejemplo siguiente se enumeran las actualizaciones con paginación:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Actualice un monitor de calidad de datos en el objeto Catalog de Unity.

Para la tabla object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario de la tabla.
  2. USE_CATALOG en el catálogo primario de la tabla y ADMINISTRAR y USE_SCHEMA en el esquema primario de la tabla.
  3. USE_CATALOG en el catálogo primario de la tabla, USE_SCHEMA en el esquema primario de la tabla y ADMINISTRAR en la tabla.

Para el esquema object_type, el autor de la llamada debe tener cualquiera de los siguientes conjuntos de permisos:

  1. ADMINISTRAR y USE_CATALOG en el catálogo primario del esquema.
  2. USE_CATALOG en el catálogo primario del esquema y ADMINISTRAR y USE_SCHEMA en el esquema.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Argumentos

OBJECT_TYPE

    Tipo del objeto supervisado. Puede ser uno de los siguientes: schema o table.

OBJECT_ID

    UUID del objeto de solicitud. Es schema_id para el esquema y table_id para la tabla.

UPDATE_MASK

    Máscara de campo para especificar qué campos se van a actualizar como una lista separada por comas. Valor de ejemplo: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Options

--json JSON

    La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud

Marcas globales

Examples

En el ejemplo siguiente se actualiza la configuración de un monitor:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Marcas globales

Marcas globales

--debug

  Indica si se va a habilitar el registro de depuración.

-h o --help

    Mostrar ayuda para la CLI de Databricks o el grupo de comandos relacionado o el comando relacionado.

--log-file cadena

    Cadena que representa el archivo en el que se van a escribir registros de salida. Si no se especifica esta marca, el valor predeterminado es escribir registros de salida en stderr.

--log-format formato

    Tipo de formato de registro: text o json. El valor predeterminado es text.

--log-level cadena

    Cadena que representa el nivel de formato de registro. Si no se especifica, el nivel de formato de registro está deshabilitado.

-o, --output tipo

    Tipo de salida del comando, text o json. El valor predeterminado es text.

-p, --profile cadena

    Nombre del perfil en el archivo ~/.databrickscfg que se usará para ejecutar el comando. Si no se especifica esta marca, si existe, se usa el perfil denominado DEFAULT .

--progress-format formato

    Formato para mostrar los registros de progreso: default, append, inplaceo json

-t, --target cadena

    Si procede, el destino del paquete que se va a usar

  • Last updated on