Configurar conectividade privada aos recursos do Azure

Este artigo descreve como configurar a conectividade privada a partir de um ambiente serverless usando a interface do console de gerenciamento do Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Se configurar o seu recurso Azure para aceitar apenas ligações de endpoints privados, qualquer ligação ao recurso a partir dos seus recursos de computação clássicos do Databricks também deve usar endpoints privados.

Para configurar um firewall do Armazenamento do Azure para acesso a cálculo sem servidor usando sub-redes, consulte em vez disso Configure um firewall para acesso de cálculo sem servidor (legacy). Para gerenciar regras de ponto de extremidade privadas existentes, consulte Gerenciar regras de ponto de extremidade privado.

Visão geral da conectividade privada para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs na consola da conta, e um único NCC pode ser ligado a um ou mais espaços de trabalho.

Quando adiciona um endpoint privado num NCC, o Azure Databricks cria um pedido de endpoint privado para o seu recurso Azure. Assim que o proprietário do recurso aprova o pedido, o Azure Databricks usa esse endpoint privado para aceder a recursos a partir do plano de computação serverless. O endpoint privado é dedicado à sua conta Azure Databricks e acessível apenas a partir de espaços de trabalho autorizados.

Os pontos de extremidade privados NCC são suportados em armazéns SQL, trabalhos, notebooks, pipelines declarativos do Lakeflow Spark e pontos de extremidade de disponibilização de modelos.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Azure

Requisitos

• Sua conta e espaço de trabalho devem estar no plano Premium.
• Deve ser administrador de contas Azure Databricks.
• Cada conta Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 endpoints privados, distribuídos conforme necessário por 1 a 10 NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda partilhar um NCC entre espaços de trabalho na mesma unidade de negócio e região. Por exemplo, se alguns espaços de trabalho usarem Private Link e outros usarem ativação de firewall, utilize NCCs diferentes para esses casos de uso.

1. Como administrador de conta, aceda à consola da conta.
2. Na barra lateral, clique em Segurança.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de rede.
5. Digite um nome para o NCC.
6. Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.

Etapa 2: Anexar um NCC a um espaço de trabalho

1. Na barra lateral do console da conta, clique em Espaços de trabalho.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar espaço de trabalho.
4. No campo Configurações de conectividade de rede , selecione seu NCC. Se não for visível, confirma que selecionaste a mesma região do Azure tanto para o espaço de trabalho como para o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os serviços sem servidor em execução no espaço de trabalho.

Etapa 3: Criar regras de ponto de extremidade privado

Tem de criar uma regra de endpoint privado no seu NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.
   1. Noutro separador do navegador, use o portal Azure para navegar até aos serviços Azure da sua fonte de dados.
   2. Na página Visão geral, procure na seção Essenciais.
   3. Clique no link Visualização JSON. O ID do recurso para o serviço é exibido na parte superior da página.
   4. Copie esse ID de recurso para outro local. Repita para todos os destinos. Para mais informações sobre como encontrar o seu ID de recurso, veja Azure Private Endpoint Private DNS zone values.
2. Volte para a aba do navegador do console da conta.
3. Na barra lateral, clique em Segurança.
4. Clique em Configurações de conectividade de rede.
5. Selecione o NCC que você criou na etapa 1.
6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
7. No campo ID do recurso Azure de destino, cole o ID do recurso correspondente.
8. No campo Azure ID de subrecursos, especifique o ID de destino e o tipo de subrecurso. Cada regra de `endpoint` privado deve usar um ID de subrecurso distinto. Para obter uma lista de tipos de subrecursos suportados, consulte Recursos suportados.
9. Clique em Adicionar.
10. Aguarde alguns minutos até que todas as regras dos endpoints tenham o estado PENDING.

Etapa 4: Aprove os novos pontos de extremidade privados nos seus recursos

Os endpoints não entram em vigor até que um administrador os aprove no lado dos recursos. Para aprovar usando o portal Azure:

1. No portal Azure, navegue até ao seu recurso.

2. Na barra lateral, clique em Rede.

3. Clique em Ligações de ponto de extremidade privadas.

4. Clique no separador Acesso Privado.

5. Em Conexões de ponto de extremidade privadas, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada um para aprovar e clique no botão Aprovar acima da lista.

7. Volte ao seu NCC no Azure Databricks e atualize a página do navegador até que todas as regras do endpoint tenham o estado ESTABLISHED.

   

(Opcional) Etapa 5: definir seus recursos para não permitir o acesso à rede pública

Se ainda não restringiu os seus recursos apenas a redes autorizadas, pode fazê-lo agora.

1. Vai ao portal do Azure.
2. Navegue até a sua conta de armazenamento para a origem de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Ativado de todas as redes. Altere para Desativado

Configurar Private Link para Aplicação Azure AD Gateway v2

Se estiver a configurar o Private Link para um recurso Aplicação Azure AD Gateway v2, deve usar a API Network Connectivity Configurations REST em vez da interface da consola da conta. O Aplicação Azure AD Gateway v2 requer parâmetros adicionais: ID de recurso, ID de grupo e nomes de domínio.

1. Utilize a seguinte chamada de API para criar uma regra de ponto de extremidade privada com configuração de nome de domínio.

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se precisar modificar os nomes de domínio para uma regra de endpoint privado existente, use a seguinte solicitação PATCH:

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão da API de Configurações de Conectividade de Rede documentadas na API de configurações de conectividade de rede.

Etapa 7: Reinicie os recursos do plano de computação sem servidor e teste a conexão

1. Espere mais cinco minutos para que as mudanças se propaguem.
2. Reinicie todos os recursos do plano de computação sem servidor em execução nos espaços de trabalho aos quais o NCC está conectado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
3. Confirme se todos os recursos são iniciados com êxito.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar se o SQL warehouse sem servidor pode alcançar sua fonte de dados.

Próximos passos

• Gerir regras de endpoint privado: Atualizar, rever e remover regras de endpoint privado. Consulte Gerir regras de ponto de extremidade privado.
• Configurar um firewall para acesso a computação serverless: Configurar regras de firewall de rede para controlar o acesso aos serviços do Azure usando as sub-redes em vez de endpoints privados. Veja Configurar um firewall para acesso a computação sem servidor (legacy).
• Configurar políticas de rede: implemente controles e políticas de segurança de rede adicionais para controlar a conectividade de computação sem servidor. Consulte O que é o controle de saída sem servidor?.
• Compreenda a segurança de redes serverless: Saiba mais sobre as opções de segurança de rede para computação serverless. Consulte Rede de computação em plano sem servidor.

Azure China

Requisitos do Azure China

• Sua conta e espaço de trabalho devem estar no plano Premium.
• Deve ser administrador de contas Azure Databricks.
• Cada conta Azure Databricks pode ter até 10 NCCs por região.
• Cada conta pode ter até 20 endpoints privados no Azure China.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Passo 1: Criar uma configuração de conectividade de rede (Azure China)

O Databricks recomenda partilhar um NCC entre espaços de trabalho na mesma unidade de negócio e região. Por exemplo, se alguns espaços de trabalho usam Private Link e outros usam configurações de conectividade diferentes, use NCCs separados para esses casos de uso.

1. Como administrador de conta, aceda à consola da conta.
2. Na barra lateral, clique em Segurança.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de rede.
5. Digite um nome para o NCC.
6. Escolha China North 3 como região. Isso deve corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.

Passo 2: Anexar um NCC a um espaço de trabalho (Azure China)

1. Na barra lateral do console da conta, clique em Espaços de trabalho.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar espaço de trabalho.
4. No campo Configurações de conectividade de rede , selecione seu NCC. Se não for visível, confirme que selecionou China North 3 como região Azure tanto para o espaço de trabalho como para o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os serviços sem servidor em execução no espaço de trabalho.

Passo 3: Criar regras de endpoint privados (Azure China)

Tem de criar uma regra de endpoint privado no seu NCC para cada recurso do Azure. Para a lista de recursos apoiados na Azure China, veja Recursos apoiados.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.
   1. Noutro separador do navegador, use o portal Azure para navegar até aos serviços Azure da sua fonte de dados.
   2. Na página Visão geral, procure na seção Essenciais.
   3. Clique no link Visualização JSON. O ID do recurso para o serviço é exibido na parte superior da página.
   4. Copie esse ID de recurso para outro local. Repita para todos os destinos. Para mais informações sobre como encontrar o seu ID de recurso, veja Azure Private Endpoint Private DNS zone values.
2. Volte para a aba do navegador do console da conta.
3. Na barra lateral, clique em Segurança.
4. Clique em Configurações de conectividade de rede.
5. Selecione o NCC que você criou na etapa 1.
6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
7. No campo ID do recurso Azure de destino, cole o ID do recurso correspondente.
8. No campo Azure ID de subrecursos, especifique o ID de destino e o tipo de subrecurso. Cada regra de `endpoint` privado deve usar um ID de subrecurso distinto.
9. Clique em Adicionar.
10. Aguarde alguns minutos até que todas as regras dos endpoints tenham o estado PENDING.

Passo 4: Aprovar os novos endpoints privados nos seus recursos (Azure China)

Os endpoints só entram em vigor até que um administrador os aprove do lado dos recursos. Para aprovar usando o portal Azure:

1. No portal Azure, navegue até ao seu recurso.

2. Na barra lateral, clique em Rede.

3. Clique em Ligações de ponto de extremidade privadas.

4. Clique no separador Acesso Privado.

5. Em Conexões de ponto de extremidade privadas, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada um para aprovar e clique no botão Aprovar acima da lista.

7. Volte ao seu NCC no Azure Databricks e atualize a página do navegador até que todas as regras do endpoint tenham o estado ESTABLISHED.

   

(Opcional) Passo 5: Defina os seus recursos para proibir o acesso à rede pública (Azure China)

Se ainda não restringiu os seus recursos apenas a redes autorizadas, pode fazê-lo agora.

1. Vai ao portal do Azure.
2. Navegue até a sua conta de armazenamento para a origem de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Ativado de todas as redes. Altere para Desativado

Configurar Private Link para Aplicação Azure AD Gateway v2 (Azure China)

Se estiver a configurar o Private Link para um recurso Aplicação Azure AD Gateway v2, deve usar a API Network Connectivity Configurations REST em vez da interface da consola da conta. O Aplicação Azure AD Gateway v2 requer parâmetros adicionais: ID de recurso, ID de grupo e nomes de domínio.

1. Utilize a seguinte chamada de API para criar uma regra de ponto de extremidade privada com configuração de nome de domínio.

   curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se precisar modificar os nomes de domínio para uma regra de endpoint privado existente, use a seguinte solicitação PATCH:

   curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão da API de Configurações de Conectividade de Rede documentadas na API de configurações de conectividade de rede.

Passo 7: Reiniciar os recursos do plano de computação serverless e testar a ligação (Azure China)

1. Espere mais cinco minutos para que as mudanças se propaguem.
2. Reinicie todos os recursos do plano de computação sem servidor em execução nos espaços de trabalho aos quais o NCC está conectado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
3. Confirme se todos os recursos são iniciados com êxito.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar se o SQL warehouse sem servidor pode alcançar sua fonte de dados.

Próximos passos (Azure China)

• Gerir regras de endpoint privado: Atualizar, rever e remover regras de endpoint privado. Consulte Gerir regras de ponto de extremidade privado.
• Compreenda a segurança de redes serverless: Saiba mais sobre as opções de segurança de rede para computação serverless. Consulte Rede de computação em plano sem servidor.