foreach_batch_sink

De @dp.foreach_batch_sink() decorator definieert een ForEachBatch-sink, die een stroom verwerkt als een reeks microbatches die u in Python met aangepaste logica verwerkt. U verwijst naar de sink als een targettoevoegstroom om de getransformeerde gegevens te schrijven. Zie ForEachBatch gebruiken om te schrijven naar willekeurige gegevenssinks in pijplijnen voor conceptuele richtlijnen, overwegingen en voorbeelden.

Syntax

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="<name>")
def batch_handler(df, batch_id):
    """
    Required:
      - `df`: a Spark DataFrame representing the rows of this micro-batch.
      - `batch_id`: unique integer ID for each micro-batch in the query.
    """
    # Your custom write or transformation logic here
    # Example:
    # df.write.format("some-target-system").save("...")
    #
    # To access the sparkSession inside the batch handler, use df.sparkSession.

Parameters