Sincronizar definições de tabela externa do Apache Spark para o pool de SQL sem servidor do Azure Synapse

• Iniciar uma avaliação gratuita Fabric.
• Assistente de Migração para Fabric Data Warehouse.

O pool de SQL sem servidor pode sincronizar automaticamente metadados do Apache Spark. Um banco de dados SQL pool sem servidor será criado para cada banco de dados já existente nos pools do Apache Spark sem servidor.

Para cada tabela externa do Spark com base em Parquet ou CSV e localizada em Armazenamento do Azure, uma tabela externa é criada em um banco de dados de pool SQL sem servidor. Dessa forma, você pode desligar os pools do Spark e ainda consultar tabelas externas do Spark do pool de SQL sem servidor.

Quando uma tabela é particionada no Spark, os arquivos no armazenamento são organizados por pastas. O pool de SQL sem servidor usará metadados de partição e destinará apenas pastas e arquivos relevantes para sua consulta.

A sincronização de metadados é configurada automaticamente para cada pool do Apache Spark sem servidor provisionado no workspace Azure Synapse. Você pode começar a consultar tabelas externas do Spark instantaneamente.

Cada tabela externa de Parquet ou CSV do Spark localizada no Armazenamento do Azure é representada por uma tabela externa em um esquema dbo que corresponde a um banco de dados do pool de SQL sem servidor.

Para consultas de tabela externa do Spark, execute uma consulta direcionada a um [spark_table] externo. Antes de executar o exemplo a seguir, verifique se você tem acesso correto à conta de armazenamento em que os arquivos estão localizados.

SELECT * FROM [db].dbo.[spark_table]

Tipos de dados do Apache Spark para mapeamento de tipos de dados SQL

Para obter mais informações sobre como mapear tipos de dados do Apache Spark para tipos de dados SQL, consulte Azure Synapse Analytics tabelas de metadados compartilhados.

Próximas Etapas 

Avance para o artigo Controle de Acesso ao Armazenamento para saber mais sobre controle de acesso ao armazenamento.