Configurare un perimetro di sicurezza di rete (NSP) Azure per le risorse di Azure

Il calcolo serverless di Azure Databricks si connette alle risorse cloud attraverso un'infrastruttura di rete gestita. Se i firewall proteggono le risorse cloud, è necessario consentire il traffico dall'ambiente di calcolo serverless. Il metodo di configurazione dipende dal tipo di risorsa:

• Account di archiviazione di Azure nell'area dell'area di lavoro: Associare l'account di archiviazione a un perimetro di sicurezza di rete (NSP) e consentire il tag di servizio AzureDatabricksServerless.

• Altre risorse: consente di elencare gli indirizzi IP in uscita pubblicati da Azure Databricks.

Configurare un perimetro di sicurezza di rete Azure per gli account di archiviazione Azure

Un Azure perimetro di sicurezza di rete (NSP) è una funzionalità di Azure predefinita che crea un limite di isolamento logico per le risorse PaaS (Platform-as-a-Service). Quando si associano gli account di archiviazione a un NSP, il traffico di rete viene gestito centralmente con un set di regole semplificato anziché mantenere elenchi complessi di singoli indirizzi IP o ID subnet. Questa sezione descrive come configurare un NSP per controllare l'accesso al calcolo serverless per gli account di archiviazione di Azure tramite il portale di Azure.

NSP supporta l'accesso da data warehouse SQL serverless, processi, notebook, pipeline dichiarative Lakeflow Spark e endpoint di servitù modello.

Vantaggi principali

L'uso di NSP per il traffico in uscita serverless di Azure Databricks migliora l'assetto di sicurezza riducendo in modo significativo il sovraccarico operativo.

Servizi di Azure supportati

Il tag di servizio AzureDatabricksServerless è supportato solo per le regole in ingresso NSP dirette ad Archiviazione di Azure (incluso ADLS Gen2) nell'area geografica dell'area di lavoro.

Requirements

Prima di iniziare, è necessario soddisfare i requisiti seguenti:

• È necessario essere un amministratore dell'account Azure Databricks.
• È necessario disporre delle autorizzazioni collaboratore o proprietario per la risorsa Azure da configurare.
• È necessario disporre dell'autorizzazione per creare risorse perimetrali di sicurezza di rete nella sottoscrizione di Azure.
• L'area di lavoro Azure Databricks e le risorse Azure devono trovarsi nella stessa area Azure per ottenere prestazioni ottimali ed evitare addebiti per il trasferimento dei dati tra aree.

Passaggio 1: Creare un perimetro di sicurezza di rete e prendere nota dell'ID profilo

Per creare il perimetro e prendere nota del relativo ID profilo, eseguire le operazioni seguenti:

1. Accedi al portale di Azure.

2. Nella casella di ricerca nella parte superiore immettere i perimetri di sicurezza di rete e selezionarlo nei risultati.

3. Fare clic su + Crea.

4. Nella scheda Informazioni di base immettere le informazioni seguenti:

   • Sottoscrizione: selezionare una sottoscrizione di Azure.
   • Gruppo di risorse: selezionare un gruppo di risorse esistente o crearne uno.
   • Nome: immettere un nome per il provider di servizi di rete, ad esempio databricks-nsp.
   • Area: selezionare l'area per il provider di servizi di rete. L'area deve corrispondere all'area dell'area di lavoro Azure Databricks e all'area dell'account di archiviazione Azure.
   • Nome profilo: immettere un nome di profilo, ad esempio databricks-profile.

5. Clicca su Rivedi e crea, quindi Crea.

6. Dopo aver creato la politica di sicurezza della rete, accedere a essa nel portale di Azure.

7. Nella barra laterale sinistra, vai a Impostazioni>Profili.

8. Creare o selezionare il profilo , ad esempio databricks-profile.

9. Copiare l'ID risorsa per il profilo. È necessario questo ID per associare le risorse a livello di codice.

   Tip

   Salvare l'ID del profilo in una posizione sicura. È necessario che sia disponibile se si desidera associare le risorse usando l'API o l'interfaccia della riga di comando di Azure anziché il portale di Azure.

Passaggio 2: Associare l'account di archiviazione a NSP in modalità di transizione

È necessario associare al profilo NSP ogni account di archiviazione Azure a cui si desidera accedere dal calcolo serverless di Azure Databricks, seguendo i passaggi seguenti:

1. Accedere al perimetro di sicurezza di rete nel portale di Azure.
2. Nella barra laterale sinistra passare a Risorse associate in Impostazioni.
3. Fare clic su + Aggiungi>associa risorse a un profilo esistente.
4. Selezionare il profilo creato nel passaggio 1 , ad esempio databricks-profile.
5. Fare clic su Associa.
6. Nel riquadro di selezione delle risorse, filtrare in base a Microsoft.Storage/storageAccounts per associare un account Azure Data Lake Storage Gen2.
7. Selezionare gli account di archiviazione dall'elenco.
8. Fare clic su Associa nella parte inferiore del riquadro.

Verificare la modalità di transizione:

1. In NSP, vai a Impostazioni>Risorse associate.
2. Individua l'account di archiviazione nell'elenco.
3. Verificare che la colonna Modalità di accesso mostri Transizione. La transizione è la modalità predefinita.

Passaggio 3: Aggiungere una regola di accesso in ingresso per l'ambiente di calcolo serverless di Azure Databricks

È necessario creare una regola di accesso in ingresso nel profilo NSP per consentire il traffico dal calcolo senza server di Azure Databricks alle risorse di Azure.

1. Accedere al perimetro di sicurezza di rete nel portale di Azure.
2. Nella barra laterale sinistra, vai a Impostazioni>Profili.
3. Seleziona il profilo, ad esempio databricks-profile.
4. In Impostazioni fare clic su Regole di accesso in ingresso.
5. Fare clic su + Aggiungi.
6. Configurare la regola:
   • Nome regola: immettere un nome descrittivo, ad esempio allow-databricks-serverless.
   • Tipo di origine: selezionare Tag del servizio.
   • Origini consentite: selezionare AzureDatabricksServerless.[ your_workspace_region] (ad esempio, AzureDatabricksServerless.EastUS2). L'uso di un tag a livello di area limita l'accesso agli indirizzi IP di Azure Databricks nell'area dell'area di lavoro, riducendo così l'esposizione rispetto al tag globale.
7. Fare clic su Aggiungi.

Passaggio 4: Verificare la configurazione

Dopo aver configurato NSP, verifica che il calcolo serverless di Azure Databricks possa accedere al tuo spazio di archiviazione e monitora l'attività di NSP.

Testare l'accesso dall'ambiente di calcolo serverless

1. Vai alla risorsa di Azure nel portale di Azure.

2. Passare a Sicurezza e rete>.

3. Verificare che la risorsa mostri un'associazione con il perimetro di sicurezza della rete.

4. Verificare che lo stato mostri la modalità di transizione.

5. Visualizza le regole in ingresso associate al profilo per verificare che AzureDatabricksServerless sia elencata (a livello regionale o globale).

6. Nell'area di lavoro di Azure Databricks eseguire una query di test per verificare che l'ambiente di calcolo serverless possa accedere alla risorsa. Ad esempio, per testare l'accesso a un account di archiviazione di ADLS Gen2:

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   Se la query ha esito positivo, la configurazione del provider di servizi di rete funziona correttamente.

Monitorare l'attività NSP

Per monitorare i tentativi di connessione consentiti o negati da regole NSP:

1. Vai alla risorsa di Azure nel portale di Azure.

2. Passare a Monitoraggio>Impostazioni di diagnostica.

3. Fare clic su + Aggiungi impostazione di diagnostica.

4. Selezionare le categorie di log da monitorare. Per gli account Archiviazione di Azure, selezionare:

   • StorageRead
   • StorageWrite

5. Selezionare una destinazione:

   • Area di lavoro Log Analytics (consigliata per l'esecuzione di query e l'analisi)
   • Account di archiviazione (per l'archiviazione a lungo termine)
   • Hub eventi (per lo streaming in sistemi esterni)

6. Fare clic su Salva.

   Tip

   I log di diagnostica mostrano i tentativi di connessione corrispondenti alle regole NSP rispetto alle regole del firewall delle risorse. In modalità di transizione, i log indicano se ogni richiesta è stata consentita da una regola NSP o se è stato eseguito il fallback al firewall delle risorse.

Informazioni sulle modalità di accesso NSP

Il provider di servizi di rete supporta due modalità di accesso: modalità di transizione e modalità applicata. Azure Databricks consiglia di rimanere in modalità di transizione illimitata per la maggior parte dei casi d'uso.

Modalità di transizione (scelta consigliata):

• Valuta prima le regole NSP, quindi passa alle regole del firewall delle risorse se nessuna regola NSP corrisponde.
• Consente di usare NSP insieme alle configurazioni di rete esistenti.
• Compatibile con gli endpoint di servizio, le configurazioni di calcolo classiche e i modelli di traffico di rete pubblico.

Modalità applicata (non consigliata per la maggior parte dei clienti):

• Ignora le regole del firewall delle risorse, bloccando tutto il traffico che non corrisponde a una regola NSP. La modalità forzata influisce non solo su Azure Databricks, ma anche su tutti gli altri servizi che hai consentito tramite il tuo firewall delle risorse. Tali servizi devono essere stati integrati in NSP per continuare a funzionare.
• Rimanere in modalità di transizione se si usano gli endpoint di servizio per connettersi all'archiviazione da qualsiasi area di lavoro Azure Databricks.

Configurare l'accesso ad altre risorse usando indirizzi IP in uscita

Per le risorse diverse dagli account di archiviazione di Azure nella stessa area dell'area di lavoro, il calcolo serverless usa indirizzi IP pubblici per accedere alle risorse.

Per consentire a serverless di accedere alle risorse con firewall, è necessario aggiungere i blocchi CIDR pubblicati da Azure Databricks all'elenco elementi consentiti. Per ulteriori informazioni sugli indirizzi IP in uscita pubblicati, vedere IP in uscita per l'anteprima del firewall per il calcolo serverless.

Trova gli indirizzi IP in uscita del tuo ambiente

1. Scarica ip-ranges.json.
2. Filtrare il codice JSON in base alle voci applicabili all'area di lavoro. Mantenere solo le voci in cui:
   • service è Databricks
   • type è outbound
   • region corrisponde alla regione dell'area di lavoro
   • platform corrisponde a azure
3. Aggiungi all'elenco elementi consentiti i ipv4Prefixes (blocchi CIDR) delle voci corrispondenti nel firewall delle risorse.

Automatizzare gli aggiornamenti per mantenere aggiornato l'elenco elementi consentiti

È necessario automatizzare gli aggiornamenti all'elenco elementi consentiti. Azure Databricks cambia questi indirizzi IP nel tempo, quindi una copia statica creata una sola volta finisce per compromettere la connettività serverless. Gli aggiornamenti vengono pubblicati ogni 30 giorni, i nuovi indirizzi IP diventano attivi non appena 60 giorni dopo la pubblicazione e le nuove aree vengono aggiunte periodicamente. Per mantenere aggiornato l'elenco elementi consentiti:

1. Recupera ip-ranges.json secondo una pianificazione (ad esempio, ogni 30 giorni).
2. Confrontare il campo timestampSeconds con la copia salvata per rilevare le modifiche.
3. Se è cambiato, controlla se gli indirizzi IP del tuo platform e region sono cambiati.
4. Aggiornare l'elenco di indirizzi consentiti del firewall con eventuali nuovi indirizzi IP.
5. Salvare il file per il confronto successivo.

Considerazioni

Prima di configurare un firewall per il calcolo serverless, esaminare le considerazioni seguenti:

• La configurazione di un firewall influisce anche sulla connettività dalle risorse di calcolo classiche. È anche necessario aggiornare le regole di accesso alle risorse per consentire gli indirizzi IP per le connessioni dalle risorse di calcolo classiche.
• Attendere il tempo necessario per la propagazione delle regole del firewall prima di testare la connettività dall'ambiente di calcolo serverless.

Passaggi successivi

• Configura la connettività privata alle risorse nella tua VPC: usa PrivateLink per stabilire un accesso sicuro e isolato alle risorse nella tua VPC da ambienti di elaborazione serverless. Vedere Configurare la connettività privata alle risorse nella rete virtuale.
• Gestire le regole dell'endpoint privato: visualizzare, aggiornare e rimuovere le regole dell'endpoint privato per la configurazione della connettività di rete. Consulta Gestione delle regole dell'endpoint privato.