Transformieren von Daten mithilfe von Filtern und Teilen in Microsoft Sentinel

Da das Volumen von Sicherheitsdaten weiter wächst, stehen Organisationen vor der Herausforderung, die kosteneffektive Aufbewahrung von Telemetriedaten, die für KI, Compliance und Untersuchungen verwendet werden, auszugleichen und gleichzeitig sicherzustellen, dass nur erforderliche Daten in Hochleistungsspeicherebenen aufbewahrt werden. Verwenden Sie Datentransformationen in Microsoft Sentinel filtern und teilen, um diese Herausforderung zu bewältigen, indem Sie Daten zur Erfassungszeit ändern, um Ihre Strategie für die Datenaufbewahrung zu optimieren.

In diesem Artikel wird beschrieben, wie Sie Filter- und Aufteilen von Datentransformationen konfigurieren, ohne dass sie manuell benutzerdefinierte Konfigurationen für die Datensammlungsregel (Data Collection Rule, DCR) erstellen müssen. Durch die Anpassung der Datenerfassung verbessern diese Transformationen die Leistung und reduzieren Rauschen.

Mithilfe von Datentransformationen können Sie Ihre Sicherheitsdatenpipeline optimieren, indem Sie steuern, welche Daten auf welcher Ebene gespeichert werden. Die Verwendung von Filter- und Split-Transformationen bietet die folgenden Vorteile:

• Kostenoptimierung: Reduzieren Sie die Speicher- und Verarbeitungskosten, indem Sie Daten mit geringem Wert herausfiltern, die nicht zur Bedrohungserkennung beitragen. Leiten Sie weniger häufig verwendete Daten an kostengünstigen Data Lake Storage weiter, während Daten mit hoher Priorität im Analytics-Tarif beibehalten werden.

• Verbesserte SOC-Effizienz: Konzentrieren Sie Ihr Security Operations Center (SOC) auf umsetzbare, hochwertige Ereignisse. Durch das Entfernen von Rauschen während der Erfassungszeit verbringen Analysten weniger Zeit damit, irrelevante Protokolle zu durchsuchen, und mehr Zeit mit der Untersuchung realer Bedrohungen.

• Schnellere Abfrageleistung: Kleinere Datasets im Analytics-Tarif führen zu schnelleren Abfrageausführungszeiten. Diese Verbesserung macht Ihre Bedrohungssuche, Incidentuntersuchungen und Analyseregeln reaktionsfähiger.

• Compliance- und Aufbewahrungsflexibilität: Verwalten Sie eine umfassende Datenaufbewahrung für behördliche Überwachungen und forensische Analysen auf der Data Lake-Ebene, während Sie die Analytics-Ebene für operative Workloads optimieren. Dieser Ansatz erfüllt Complianceanforderungen ohne Leistungseinbußen.

• Skalierbare Datenverwaltung: Wenn die Datenvolumen Ihrer organization wachsen, helfen Ihnen Transformationen dabei, die Kontrolle über Kosten und Leistung zu behalten. Wenden Sie tabellenübergreifend konsistente Richtlinien an, um eine vorhersagbare Datenverwaltung sicherzustellen.

Filter- und Splittransformationen sind die ersten Schritte in einem größeren Transformationsframework, mit dem Sie Ihre Daten entsprechend Ihren Anforderungen weiterentwickeln können. Weitere Informationen zu Konzepten der Datentransformation finden Sie unter Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel.

Voraussetzungen

Überprüfen Sie vor dem Konfigurieren von Filter- oder Splittransformationsregeln die folgenden Anforderungen:

• Ihr Microsoft Sentinel Arbeitsbereich muss im Defender-Portal integriert werden. Weitere Informationen finden Sie unter Verbinden von Microsoft Sentinel mit dem Microsoft Defender-Portal.

• Im Microsoft Defender-Portal mit einheitlichen rollenbasierten Zugriffssteuerungsberechtigungen (Unified Role-Based Access Control, RBAC) und Datenberechtigungen (Verwalten) unter der Gruppe Datenbetriebsberechtigungen.

• Für den Microsoft Sentinel Arbeitsbereich benötigen Sie die folgenden Berechtigungen:

• Rolle "Log Analytics-Mitwirkender ", um Folgendes bereitzustellen:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write-Berechtigungen für den Log Analytics-Arbeitsbereich.

Unterstützte Tabellen

Für Filter- und Splittransformationen gelten unterschiedliche Anforderungen für die Tabellenunterstützung:

• Filterung: Wird für alle Tabellen unterstützt, die Datensammlungsregeln (Data Collection Rules, DCRs) unterstützen.
• Aufteilen: Wird für jede Tabelle unterstützt, die die reine Erfassung von Analytics, die reine Erfassung von Data Lake und Datensammlungsregeln (Data Collection Rules, DCRs) unterstützt.

Informationen zum Überprüfen, ob die Tabellen eines Connectors DCRs unterstützen, finden Sie unter Suchen ihres Microsoft Sentinel-Datenconnectors.

Filtertransformationen

Mit Filtertransformationen können Sie Rauschen reduzieren, indem Daten während der Erfassung verworfen werden, die für Untersuchungen nicht nützlich sind. Verwenden Sie eine Filtertransformationsregel, um eine KQL-Bedingung anzugeben, die bestimmt, welche Daten herausgefiltert werden sollen, wobei die restlichen Daten an die Analytics-Ebene gesendet werden.

Verwenden Sie Filtertransformationen, wenn Sie Folgendes benötigen:

• Reduzieren von Rauschen: Konzentrieren Sie Ihren SOC auf aktionenrelevante Ereignisse, indem Sie Routineprotokolle mit niedrigem Schweregrad herausfiltern, z. B. Ereignisse aus Firewallprotokollen zulassen.
• Optimieren der Kosten: Senken Sie die Speicher- und Verarbeitungskosten, indem Sie Daten verwerfen, die nicht zur Bedrohungserkennung beitragen.
• Verbessern der Leistung: Beschleunigen Sie Abfragen, und optimieren Sie analysen, indem Sie die Menge der gespeicherten Daten reduzieren.

Betrachten Sie das folgende Beispiel für eine Filtertransformation:

Ihr Unternehmen nutzt Firewallprotokolle, um Anomalien zu identifizieren. Die meisten Firewallprotokolle sind routinemäßige "Zulassen"-Ereignisse mit niedrigem Schweregrad, die nicht zur Bedrohungserkennung beitragen. Um nur kritische Ereignisse wie blockierter Datenverkehr oder hoher Schweregrad beizubehalten und Protokolle mit geringem Wert herauszufiltern, erstellen Sie eine Filtertransformationsregel mit einer KQL-Bedingung, um nur Daten mit mittlerem oder hohem Schweregrad zu senden, die keine Ereignisse "zulassen" an den Analytics-Tarif sind.

Transformationen aufteilen

Split-Transformationen ermöglichen es Ihnen, Daten basierend auf angegebenen Bedingungen zwischen der Analytics-Ebene und der Data Lake-Ebene weiterzuleiten. Verwenden Sie eine Split-Transformationsregel, um einen KQL-Ausdruck zu definieren, der bestimmt, welche Daten in Analytics landen. Daten, die nicht mit dem Ausdruck übereinstimmen, werden nur an die Data Lake-Ebene weitergeleitet.

Verwenden Sie Geteilte Transformationen, wenn Sie Kosten und Leistung ausgleichen müssen, indem Sie Daten an die entsprechende Speicherebene weiterleiten:

• Optimieren der Speicherkosten: Leiten Sie ältere oder weniger häufig verwendete Protokolle an die Data Lake-Ebene weiter, um eine kostengünstige langfristige Speicherung zu erzielen.
• Aufrechterhaltung der Leistung: Behalten Sie die zuletzt verwendeten Protokolle im Analytics-Tarif bei, um während der aktiven Bedrohungssuche schnellere Abfragen zu erhalten.
• Complianceanforderungen erfüllen: Bewahren Sie Verlaufsprotokolle für behördliche Überwachungen und forensische Analysen auf, ohne Einbußen bei der betrieblichen Agilität zu erzielen.

Betrachten Sie das folgende Beispiel für eine Geteilte Transformation:

Ihr Unternehmen erfasst täglich Millionen von Firewallprotokolleinträgen zur Bedrohungserkennung und Compliance. Ihr SOC-Team benötigt Echtzeitzugriff auf aktuelle Protokolle für aktive Untersuchungen, muss aber auch Verlaufsprotokolle für behördliche Überprüfungen aufbewahren. Erstellen Sie eine Split-Transformationsregel, um Echtzeitdaten an den Analytics-Tarif und Verlaufsdaten an die Data Lake-Ebene weiterzuleiten.

Konfigurieren von Filtertransformationsregeln

Führen Sie die folgenden Schritte aus, um eine Filtertransformationsregel zu erstellen:

1. Navigieren Sie im Microsoft Defender-Portal zu Microsoft Sentinel>Konfigurationstabellen>.

2. Wählen Sie eine Tabelle aus. Wählen Sie im Seitenbereich Filterregel aus.

   

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld Bedingung einen KQL-Ausdruck ein, der angibt, welche Daten heraus gefiltert werden sollen. Der KQL-Ausdruck sollte für Daten, die Sie nicht erfassen möchten, als true ausgewertet werden.

5. Legen Sie die Regel fest, status auf Ein umzuschalten, um den Filter zu aktivieren.

   Wichtig

   Filtert Daten heraus. Daten, die mit der Filterbedingung übereinstimmen, werden verworfen und nicht auf der Analytics- oder Data Lake-Ebene erfasst. Stellen Sie sicher, dass Ihr KQL-Ausdruck die Daten, die Sie ausschließen möchten, genau erfasst.

6. Um eine weitere Bedingung hinzuzufügen, wählen Sie Bedingung hinzufügen aus, und geben Sie einen neuen KQL-Ausdruck ein, um Daten herauszufiltern. Mehrere Bedingungen werden mit einem logischen OR kombiniert, sodass Daten herausgefiltert werden, die einer der Bedingungen entsprechen.

7. Wählen Sie Speichern aus, um die Regel anzuwenden.

8. Überprüfen Sie, ob die Filterregel angewendet wird, indem Sie die Spalte Transformationsregeln für die Tabelle überprüfen. Die Spalte zeigt Filter an, wenn eine Filterregel aktiv ist.

   

Konfigurieren einer Geteilten Transformationsregel

Führen Sie die folgenden Schritte aus, um eine Split-Transformationsregel zu erstellen:

1. Navigieren Sie im Defender-Portal zu Microsoft Sentinel>Konfigurationstabellen>.

2. Wählen Sie eine Tabelle aus, und wählen Sie dann Regel teilen aus.

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld KQL-Ausdruck den KQL-Ausdruck ein, der definiert, welche Daten auf der Analytics-Ebene erfasst werden sollen. Daten, die nicht mit diesem Ausdruck übereinstimmen, werden in der Data Lake-Ebene erfasst.

5. Wählen Sie Speichern aus, um die Regel anzuwenden.

6. Überprüfen Sie, ob die Teilungsregel angewendet wird, indem Sie die Spalte Transformationsregeln für die Tabelle überprüfen. Die Spalte zeigt Split an, wenn eine Teilungsregel aktiv ist.

Konfigurieren der Aufbewahrung für geteilte Tabellen

Konfigurieren Sie nach dem Erstellen einer Teilungsregel die Aufbewahrungseinstellungen für jede Ebene:

1. Zeigen Sie unter der ursprünglichen Tabelle die resultierenden geteilten Analytics - und Data Lake-Tabellen an.

2. Wählen Sie zum Konfigurieren der Aufbewahrung die Tabelle Analytics oder Data Lake aus.

3. Wählen Sie Datenaufbewahrungseinstellungen aus.

4. Konfigurieren Sie den Aufbewahrungszeitraum, und speichern Sie sie.

Alternativ können Sie die ursprüngliche Tabelle auswählen und sowohl Analytics als auch Data Lake-Aufbewahrung über das kombinierte Dialogfeld Datenaufbewahrungseinstellungen konfigurieren.

Verwalten von Regeln

Um vorhandene Regeln zu verwalten, wählen Sie die Tabelle aus, und wählen Sie dann je nach regeltyp, den Sie verwalten möchten, entweder Regel aufteilen oder Filterregel aus.

• Um eine Regel zu deaktivieren, wählen Sie die Option Regel status aus, um die Regel zu deaktivieren, und wählen Sie dann Speichern aus.
• Löschen Sie eine Regel, indem Sie Löschen auswählen.

Überprüfen Sie Regeln, indem Sie KQL-Abfragen ausführen, um zu bestätigen, dass die Daten ordnungsgemäß erfasst und an die richtige Ebene weitergeleitet werden.

Bekannte Einschränkungen

Beachten Sie die folgenden Einschränkungen bei der Verwendung von Filter- und Split-Transformationen:

• XDR-Tabellensichtbarkeit: Split- und Filtertransformationen, die auf XDR-Tabellen angewendet werden, werden in den ersten 30 Tagen der Daten nicht in der erweiterten Suche angezeigt. Die Transformationen werden angewendet, und sobald daten älter als die ersten 30 Tage sind, verhalten sie sich in der erweiterten Suche normal. Daten, die von Log Analytics oder Microsoft Sentinel abgefragt werden, spiegeln die Kosteneinsparungen sofort wider.

• Weitergabeverzögerung: Transformationen können bis zu einer Stunde dauern, bis sie wirksam werden.

• Tabellenunterstützung: Nur Tabellen, die Datensammlungsregeln (Data Collection Rules, DCRs) unterstützen Split- und Filtertransformationen.

Verwandte Inhalte

• Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel
• Transformieren oder Anpassen von Daten zur Erfassungszeit in Microsoft Sentinel
• Datensammlungsregeln in Azure Monitor
• Beispielregeln für die Datensammlung in Azure Monitor
• Suchen des Microsoft Sentinel-Datenconnectors