Konfigurera nätverk för Databricks-appar

Databricks Apps har stöd för detaljerad nätverkskontroll som hjälper dig att skydda och hantera hur din app kommunicerar med Internet och interna resurser. Du kan konfigurera både inkommande och utgående trafikregler med hjälp av en kombination av IP-åtkomstlistor, privat anslutning för framsidan och nätverkspolicyer.

Nätverksarkitektur

Azure Databricks distribuerar appar på det serverlösa beräkningsplanet, där de tar emot trafik direkt. Detta liknar andra routningsoptimerade tjänster som modellservering och vektorsökning.

Anslutningsprocessen fungerar på följande sätt:

1. Inledande användarbegäranden till en Azure Databricks app initierar OAuth-autentisering med kontrollplanet för att verifiera sessionen och auktorisera åtkomst till appen.
2. Vid lyckad autentisering dirigeras alla efterföljande begäranden direkt till det serverlösa beräkningsplanet utan att passera kontrollplanet.

Nätverkssäkerhetsprinciper som konfigurerats för det serverlösa beräkningsplanet gäller för Databricks Apps-trafik. Detta inkluderar IP-åtkomstlistor och privata anslutningskonfigurationer för front-end.

Ingångskontroller

Använd följande funktioner för att begränsa åtkomsten till din Azure Databricks arbetsyta och appar från det offentliga Internet.

• IP-åtkomstlistor: Begränsa arbetsytan och appåtkomsten till kända och betrodda IP-intervall genom att aktivera IP-åtkomstlistor på arbetsytans nivå. Endast trafik från de konfigurerade IP-intervallen tillåts. Mer information finns i Konfigurera IP-åtkomstlistor för arbetsytor.

• Front-end private connectivity: Dirigera inkommande trafik via en Azure Private Link-anslutning för säker åtkomst till appar via ditt virtuella nätverk.

  Du måste konfigurera villkorlig DNS-vidarebefordran för domänen databricksapps.com för att säkerställa korrekt namnmatchning via din privata anslutning. Annars kan DNS-frågor för appens domän matchas mot offentliga IP-adresser i stället för den privata slutpunkten. Installationsinstruktioner finns i Konfigurera inkommande Private Link.

  Äldre regionala URL:er stöds inte med Databricks-appar eftersom de inte stöder OAuth, vilket krävs för appautentisering. Mer information finns i Legacy regional URL.

Egress-kontroller

Om du vill styra utgående trafik från din app skapar du en nätverksanslutningskonfiguration (NCC) och tillämpar nätverksprinciper på arbetsytan som är värd för appen.

Konfigurationer för nätverksanslutning

Använd en nätverksanslutningskonfiguration för att ansluta appen till Azure tjänster på ett säkert sätt. NCC:er tillhandahåller stabila undernäts-ID:n som du kan lägga till i en brandvägg för lagringskonton för att uttryckligen tillåta åtkomst från din app och annan serverlös beräkning.

Om du vill begränsa utgående trafik till privata mål ytterligare konfigurerar du serverlösa privata slutpunkter för Azure resurser eller dirigerar trafik via en Azure lastbalanserare i ditt virtuella nätverk.

Nätverksprinciper

Använd nätverksprinciper för att framtvinga utgående begränsningar för Databricks-appar och andra serverlösa arbetsbelastningar. Detta är användbart när du behöver uppfylla organisationens eller efterlevnadskraven för att kontrollera utgående anslutning.

Tillämpa en nätverkspolicy om din app:

• Måste begränsa åtkomsten till en specifik uppsättning godkända externa domäner
• Behöver förhindra oavsiktlig dataexfiltrering
• Måste uppfylla säkerhets- eller efterlevnadsstandarder som begränsar utgående Internettrafik

Obligatoriska utgående domäner för appdistribution

När du använder begränsade principer för utgående nätverk måste du tillåtalistning av specifika domäner för att appversioner eller körning ska lyckas. Utan dessa domäner misslyckas appdistributioner eftersom byggprocessen inte kan ladda ned beroenden eller kommunicera med nödvändiga tjänster.

Följande domäner krävs för alla Distributioner av Databricks-appar:

:::

Dessutom kan Azure distributioner kräva följande domäner:

:::

:::

Din app kan kräva ytterligare domäner beroende på dina specifika beroenden eller de externa API:er som den anropar. Om din app till exempel anropar ett REST API från tredje part lägger du till API:ets domän i listan över tillåtna.

Metodtips för att konfigurera nätverksprinciper

Följ dessa riktlinjer för att undvika oavsiktliga störningar och se till att dina appar kan komma åt nödvändiga resurser:

• Tillåt endast nödvändiga mål. Lägg till fullständigt kvalificerade domännamn (FQDN) för offentliga eller privata resurser som din app behöver. Se Obligatoriska utgående domäner för appdistribution för den minsta uppsättning domäner som behövs för distribution.
• Inkludera paketlagringsplatser efter behov. Om appen installerar offentliga Python eller Node.js paket kan du behöva tillåta domäner som pypi.org för Python eller registry.npmjs.org för Node. Ditt program kan kräva ytterligare eller olika domäner beroende på dina specifika beroenden. Utan dessa lagringsplatser kan appbyggen som förlitar sig på requirements.txt eller package.json misslyckas.
• Använd testläge för att verifiera din nätverkspolicy. Det här läget simulerar principframtvingande utan att blockera trafik.
• Granska nekade anslutningsförsök med hjälp av system.access.outbound_network tabellen. Detta hjälper dig att identifiera domäner som du kan behöva tillåta. Se Kontrollera nekningsloggar.

• Lägg till nödvändiga externa domäner, till exempel betrodda API:er eller Azure lagringskonton som inte är registrerade i Unity Catalog.

Distribuera appar i Private Link miljöer

Om din arbetsyta använder privata klientdelsanslutningar måste du utföra ytterligare konfigurationssteg för att distribuera och använda Databricks-appar. Utan den här konfigurationen kan appdistributioner misslyckas eller så kanske användarna inte kan nå appen.

DNS-konfiguration

Du måste konfigurera villkorlig DNS-vidarebefordran för domänen databricksapps.com så att app-URL:er matchas mot privata IP-adresser i stället för offentliga IP-adresser. Utan den här konfigurationen kan användare bakom ett privat nätverk inte nå distribuerade appar.

Lägg till regler för villkorlig vidarebefordran för följande domäner till din Azure DNS-server:

• *.databricksapps.com
• *.azuredatabricks.net
• *.privatelink.azuredatabricks.net

Kontrollera att ditt virtuella nätverk länkar till Azure Private DNS-zonen. Detaljerade anvisningar för DNS-konfiguration finns i Anpassad DNS-konfiguration.

Krav för utgående trafik

I Private Link miljöer med begränsad utgående trafik kräver appar utgående anslutning till specifika domäner under både byggtid och körning. Se Obligatoriska utgående domäner för appdistribution för den fullständiga listan över domäner som tillåts.

Så här konfigurerar du utgående trafik för appar i en Private Link-miljö:

1. Skapa eller uppdatera en nätverksanslutningskonfiguration (NCC) och koppla den till arbetsytan som är värd för din app.
2. Skapa eller uppdatera en nätverksprincip för att tillåtalistning av de domäner som krävs.
3. Använd torrkörningsläget först för att verifiera konfigurationen utan att blockera trafik.
4. Granska systemtabellen system.access.outbound_network för eventuella nekade anslutningsförsök under appdistributionen.

Felsöka Private Link distributionsmisslyckanden

Om appen inte kan distribueras i en Private Link miljö:

1. Kontrollera utgående överbelastningsloggar. Hämta information från systemtabellen system.access.outbound_network om de senaste nekande händelserna. Se Kontrollera nekningsloggar.

   SELECT *
   FROM system.access.outbound_network
   WHERE event_time >= CURRENT_TIMESTAMP() - INTERVAL 2 HOUR
   ORDER BY event_time DESC;
   

2. Verifiera DNS-upplösning. Bekräfta att appens URL matchar en privat IP-adress, inte en offentlig IP-adress. Använd nslookup inifrån ditt privata nätverk för att kontrollera:

   nslookup <your-app-name>.databricksapps.com
   

3. Granska konfigurationen av nätverkspolicy. Kontrollera att de domäner som krävs finns i listan över tillåtna domäner. Saknade domäner för paketlagringsplatser (pypi.org, registry.npmjs.org) är den vanligaste orsaken till byggfel.

4. Starta om appen. När du har uppdaterat nätverksprinciper distribuerar eller startar du om appen så att de uppdaterade principerna börjar gälla. Se Starta om eller distribuera om serverlösa arbetslaster.

Kryptering och trafikroutning

Databricks Apps använder dedikerade routningsvägar och flera krypteringslager för att skydda nätverkskommunikation och skydda data.

Trafikroutning

Trafik mellan Azure Databricks kontrollplan, beräkningsplan, andra Azure Databricks resurser och molntjänster färdas via molnleverantörens globala nätverk och passerar inte det offentliga Internet.

Trafik mellan användare och databricksapps.com kan passera det offentliga Internet beroende på användarens nätverksplats. Om du vill undvika offentlig internetroutning konfigurerar du privat klientdelsanslutning.

Kryptering under överföring

All nätverkskommunikation till och från appar krypteras:

• Användartrafik: Kommunikation mellan användare och databricksapps.com använder TLS-kryptering (Transport Layer Security) 1.3.
• Kontrollplantrafik: Kommunikation mellan Azure Databricks styrningsplan och dataplan använder ömsesidig TLS (mTLS) för hanteringsåtgärder, inklusive applikationsskapande, uppdatering och borttagning.

Kryptering i vila

Databricks Apps krypterar lagrade data med hjälp av följande metoder:

• Application code: Azure Databricks lagrar appkod i arbetsytefiler och använder samma kryptering som notebook-filer och andra arbetsytefiler.
• Beräkningslagring: Appar använder tillfälliga värdoperativsystemdiskar krypterade med AES-256 och molnleverantörens standardkrypteringsimplementering.