crea_tabella

Important

Questa funzionalità è in versione beta.

Usare la create_table() funzione in una pipeline per creare una tabella gestita, scritta da una o più dichiarazioni di append_flow . Associare la create_table() chiamata a uno o più @append_flow(target=...) elementi Decorator che scrivono nella tabella. Più flussi possono essere destinati alla stessa tabella gestita.

Per l'equivalente SQL, vedere CREATE TABLE ... FLOW.

Syntax

from pyspark import pipelines as dp

dp.create_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value>", "<key>" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  partition_cols=["<partition-column>", "<partition-column>"],
  path="<storage-location-path>",
  schema="schema-definition",
  expect_all = {"<key>" : "<value>", "<key>" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value>", "<key>" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value>", "<key>" : "<value>"},
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  cluster_by_auto = False,
  row_filter = "row-filter-clause",
  private = False
)

Parameters

Parametro Tipo Descrizione
name str Required. Nome della tabella.
comment str Descrizione della tabella.
spark_conf dict Elenco delle configurazioni di Spark per l'esecuzione di questa query.
table_properties dict Un dict di proprietà della tabella relativo alla tabella.
partition_cols list Elenco di una o più colonne da utilizzare per il partizionamento della tabella.
path str Posizione di archiviazione per i dati della tabella. Se non è impostato, usare il percorso di archiviazione gestito per lo schema contenente la tabella.
schema str oppure StructType Definizione dello schema per la tabella. Gli schemi possono essere definiti come una stringa SQL DDL o con il linguaggio Python StructType.
expect_all, expect_all_or_drop, expect_all_or_fail dict Vincoli di qualità dei dati per la tabella. Fornisce lo stesso comportamento e utilizza la stessa sintassi delle funzioni decoratore di aspettative, ma implementato come parametro. Vedere Aspettative.
cluster_by list Abilitare il clustering liquido nella tabella e definire le colonne da usare come chiavi di clustering. Vedere Usare clustering liquido per le tabelle.
cluster_by_auto bool Abilitare il clustering liquido automatico nella tabella. Può essere combinato con cluster_by per definire le chiavi di clustering iniziali. Per ulteriori informazioni, vedere Clustering liquido automatico.
row_filter str (Anteprima pubblica) Clausola di filtro di riga per la tabella. Vedere Pubblicare tabelle con filtri di riga e maschere di colonna.
private bool Quando True, crea una tabella privata che non viene pubblicata nel catalogo ed è accessibile solo all'interno della pipeline. Di default è False.

Limitations

  • Le tabelle gestite non supportano i flussi di modifica di Change Data Capture (CDC). create_auto_cdc_flow() o create_auto_cdc_from_snapshot_flow() la destinazione di una tabella gestita ha esito negativo. Usare create_streaming_table() per le destinazioni CDC.
  • Le tabelle gestite supportano solo append_flow. I flussi di sostituzione (replace_flow / FLOW ... REPLACE WHERE) non sono supportati.
  • Le tabelle gestite sono supportate solo nelle pipeline con Il catalogo unity.
  • Non è possibile riutilizzare il nome di una tabella di streaming esistente per una tabella gestita.

Esempio

from pyspark import pipelines as dp

dp.create_table("combined")

@dp.append_flow(target="combined")
def from_a():
    return spark.readStream.table("source_a")

@dp.append_flow(target="combined")
def from_b():
    return spark.readStream.table("source_b")
  • Last updated on