foreach_batch_sink

Le @dp.foreach_batch_sink() décorateur définit un récepteur ForEachBatch, qui traite un flux en tant que série de micro-lots que vous gérez dans Python avec une logique personnalisée. Vous référencez le récepteur en tant que targetflux d’ajout pour écrire les données transformées. Pour obtenir des conseils conceptuels, des considérations et des exemples, consultez Utiliser ForEachBatch pour écrire dans des récepteurs de données arbitraires dans des pipelines.

Syntax

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="<name>")
def batch_handler(df, batch_id):
    """
    Required:
      - `df`: a Spark DataFrame representing the rows of this micro-batch.
      - `batch_id`: unique integer ID for each micro-batch in the query.
    """
    # Your custom write or transformation logic here
    # Example:
    # df.write.format("some-target-system").save("...")
    #
    # To access the sparkSession inside the batch handler, use df.sparkSession.

Parameters