Note
Databricks CLI の使用には、Databricks ライセンスおよび使用状況データのプロビジョニングを含むDatabricks のプライバシーに関する通知が適用されます。
このページでは、Databricks CLI コマンド グループとコマンドを一覧表示し、Databricks CLI ヘルプを表示し、Databricks CLI 出力を操作する方法について説明します。 Databricks CLI を参照してください。
Databricks CLI の認証をインストールして構成するには、 Databricks CLI のチュートリアルを参照してください。
使用可能な CLI コマンドを一覧表示する
使用可能な CLI コマンド グループを一覧表示するには、 --help または -h オプションを使用します。次に例を示します。
databricks -h
コマンド グループのコマンドを一覧表示するには、 --help または -h オプションを使用します。 たとえば、 clusters コマンドを一覧表示するには、次のようにします。
databricks clusters -h
CLI コマンドのヘルプを表示する
コマンドの使用状況情報を表示するには、コマンドで --help または -h オプションを使用します。 たとえば、clusters list コマンドのヘルプを表示するには、次のようにします。
databricks clusters list -h
コマンド参照も使用できます。 「Databricks CLI コマンド」をご参照ください。
コマンドを実行する
個々のコマンドの使用に関する完全な情報と構文は、コマンド ライン ヘルプと リファレンスにありますが、 Databricks CLI コマンド は通常、次の構文に準拠しています。
databricks <command-group> <command-name> <subcommand-name> [command-argument-value1] [--<flag1-name> <flag1-value>]
すべてのコマンドに追加のサブコマンドがあるわけではありません。 グローバル フラグを使用でき、一部のコマンドには追加のフラグがあります。 たとえば、次のコマンドは、コマンド固有のフラグを使用して、使用可能なクラスターを出力します。
databricks clusters list --can-use-client JOBS
Tip
Web ターミナルを使用して、Databricks ワークスペース内から Databricks CLI コマンドを実行できます。 ワークスペース Web ターミナルは、1 つのコンピューティングで多くのユーザーが使用でき、認証を構成する必要はありません。 Web ターミナルのシェル コマンドの実行Azure Databricksを参照してください。
例: Azure Databricks ジョブを作成する
次の例では、CLI を使用してAzure Databricks ジョブを作成します。 このジョブには、1つのタスクが含まれています。 このタスクは、指定したAzure Databricksノートブックを実行します。 このノートブックには、wheel という名前の PyPI パッケージの特定のバージョンへの依存関係があります。 このタスクを実行するために、ジョブによって、PYSPARK_PYTHON という名前の環境変数をエクスポートするジョブ クラスターが一時的に作成されます。 ジョブの実行後、クラスターは終了します。
databricks jobs create --json '{
"name": "My hello notebook job",
"tasks": [
{
"task_key": "my_hello_notebook_task",
"notebook_task": {
"notebook_path": "/Workspace/Users/someone@example.com/hello",
"source": "WORKSPACE"
},
"libraries": [
{
"pypi": {
"package": "wheel==0.41.2"
}
}
],
"new_cluster": {
"spark_version": "13.3.x-scala2.12",
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_env_vars": {
"PYSPARK_PYTHON": "/databricks/python3/bin/python3"
}
}
}
]
}'
JSON の入力と出力
一部の Databricks CLI コマンドには、JSON 文字列入力を受け入れる --json フラグまたはその他のオプションがあります。 さらに、一部のコマンドでは JSON 文字列が出力されます。
文字列の書式設定
JSON 文字列の形式は、オペレーティング システムによって異なります。
Linux または macOS
JSON 文字列パラメーターを二重引用符で囲み、JSON ペイロード全体を一重引用符で囲みます。 例えば次が挙げられます。
'{"cluster_id": "1234-567890-abcde123"}'
'["20230323", "Amsterdam"]'
Windows
JSON 文字列パラメーターと JSON ペイロード全体を二重引用符で囲み、JSON ペイロード内の二重引用符文字の前に円記号 (\) を付けます。 例えば次が挙げられます。
"{\"cluster_id\": \"1234-567890-abcde123\"}"
"[\"20230323\", \"Amsterdam\"]"
JSON 文字列のフィールドを設定する
多くのコマンドの --json フラグを使用すると、CLI コマンドまたはオプションとして使用できない可能性があるオブジェクト フィールドを設定できます。 たとえば、次の呼び出しでは、ID 9ddddddd-1eee-4eee-a666-8fff7c111111 を持つユーザーが ID 7eeeeeee-9ccc-4aaa-b777-1aaaaaaaaaaを持つグループに追加されます。
Linux または macOS
databricks account groups patch 7eeeeeee-9ccc-4aaa-b777-1aaa2eeeee6f --json '{
"schemas": ["urn:ietf:params:scim:api:messages:2.0:PatchOp"],
"Operations": [
{
"op": "add",
"path": "members",
"value": [
{
"value": "9ddddddd-1eee-4eee-a666-8fff7c111111"
}
]
}
]
}'
Windows
databricks account groups patch 7eeeeeee-9ccc-4aaa-b777-1aaa2eeeee6f --json "{
\"schemas\": [\"urn:ietf:params:scim:api:messages:2.0:PatchOp\"],
\"Operations\": [
{
\"op\": \"add\",
\"path\": \"members\",
\"value\": [
{
\"value\": \"9ddddddd-1eee-4eee-a666-8fff7c111111\"
}
]
}
]
}"
で JSON 出力をフィルター処理する jq
JSON を出力する Databricks CLI コマンドの場合は、 jq コマンド ライン プロセッサ を使用して出力をフィルター処理できます。 たとえば、指定したクラスター ID を持つAzure Databricks クラスターの表示名のみを一覧表示するには、次のようにします。
databricks clusters get 1234-567890-abcde123 | jq -r .cluster_name
My-11.3-LTS-Cluster
jq で Homebrew を使用して macOS にbrew install jqをインストールするか、choco install jq で Chocolatey を使用してWindowsにインストールできます。
jq の詳細については、jq のマニュアルを参照してください。
プロキシ サーバーの構成
Databricks CLI の要求と応答をプロキシ サーバー経由でルーティングするには、Databricks CLI がインストールされているコンピューターに HTTPS_PROXY 環境変数をプロキシ サーバーの URL に設定します。
環境変数を設定するには、オペレーティング システムのドキュメントを参照してください。