Ambiente versione 3

Questo articolo descrive le informazioni sull'ambiente di sistema per l'ambiente versione 3.

Per garantire la compatibilità per l'applicazione, i carichi di lavoro serverless usano un'API versionata, nota come versione dell'ambiente, e rimane compatibile con le versioni più recenti del server.

È possibile selezionare un ambiente di base che include questa versione dell'ambiente usando il pannello laterale Ambiente nei notebook serverless. Vedere Selezionare un ambiente di base.

Nuove funzionalità e miglioramenti

Le seguenti nuove funzionalità e miglioramenti sono disponibili nella versione 3 dell'ambiente.

Aggiornamenti delle API

18 agosto 2025

Le UDF scalari di Python supportano ora le credenziali del servizio

Le UDF scalari Python possono utilizzare le credenziali del servizio Unity Catalog per accedere in modo sicuro ai servizi cloud esterni. Per ulteriori informazioni, vedere Credenziali del servizio nelle Scalar UDFs Python definite dall'utente.

13 giugno 2025

La versione 3 dell'ambiente include i seguenti aggiornamenti API:

• Aggiunto supporto API per lo spingimento dei filtri alle origini dati Python. Consultare Aggiungere il supporto API per il pushdown dei filtri alle origini dati Python.
• Il traceback della UDF Python ora include fotogrammi sia dal driver che dall'executor, insieme ai frame del client. Vedere Miglioramento del traceback delle funzioni definite dall'utente Python.
• Nuove listagg funzioni e string_agg aggregano STRING e BINARY valori in un gruppo. Vedere Nuove listagg funzioni e string_agg.
• variant_get e get_json_object adesso considerano gli spazi iniziali nei percorsi in Apache Spark. Vedere variant_get e get_json_object ora considerano gli spazi iniziali nei percorsi in Apache Spark.
• SPARK-51079 Supportare tipi di variabili di grandi dimensioni in pandas UDF, createDataFrame e toPandas con Arrow.
• SPARK-51186 Aggiungere StreamingPythonRunnerInitializationException all'eccezione di base PySpark.
• SPARK-51112 Evitare di usare pyarrow to_pandas su una tabella vuota.
• SPARK-51506 [PYTHON][ss] Non imporre agli utenti di implementare close() in TransformWithStateInPandas
• SPARK-51425 [Connect] Aggiungere l'API client per impostare un'API personalizzata operation_id
• SPARK-51206 [PYTHON][connect] Spostare gli helper di conversione Arrow da Spark Connect

Databricks Connect aggiornato alla versione 16.3

13 giugno 2025

Usare le funzionalità e i miglioramenti disponibili in Databricks Connect per Databricks Runtime 16.3. Vedere Databricks Connect per Databricks Runtime 16.3.

Miglioramento dell'evidenziazione degli errori di sintassi python

13 giugno 2025

L'evidenziazione degli errori di sintassi Python vedrà i miglioramenti seguenti:

• Latenza di gestione degli errori più veloce.
• Supporto per l'evidenziazione degli errori di tipo Python.
• La configurabilità del linter tramite i file pyproject.toml.

Vedere Evidenziazione degli errori python.

Supporto dell'interfaccia della riga di comando Git nel terminale Web e nel notebook

13 giugno 2025

È ora possibile usare l'interfaccia della riga di comando di Git in un notebook serverless e nel terminale Web del notebook serverless.

Modifica comportamentale relativa alle versioni dell'ambiente in conflitto

13 giugno 2025

Nei casi in cui una versione dell'ambiente viene dichiarata sia nella selezione base dell'ambiente del notebook sia in un file di ambiente base personalizzato, la versione del file base dell'ambiente ha la precedenza, a meno che entrambe le versioni dichiarate non siano sotto la versione 3, nel qual caso viene utilizzata la versione del notebook.

Per esempio:

• Se il notebook usa v1 e l'ambiente di base usa v3, il carico di lavoro userà v3.
• Se il notebook usa v1 e l'ambiente di base usa v2, il carico di lavoro userà v1.
• Se il notebook usa v3 e l'ambiente di base usa v1, il carico di lavoro userà v1.
• Se il notebook usa v2 e l'ambiente di base usa v1, il carico di lavoro userà la versione 2.

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.2 LTS
• python: 3.12.3
• Databricks Connect: 16.4.19

Librerie Python installate

Per riprodurre la versione 3 dell'ambiente nel tuo ambiente virtuale locale Python, scarica il filerequirements-env-3.txt ed esegui pip install -r requirements-env-3.txt. Questo comando installa tutte le librerie dalla versione 3 dell'ambiente.