Maschinendaten

Riesige Datenströme, ständig wachsende Quellen, höchst wertvoll

Bei Splunk sprechen wir ständig von Maschinendaten. Wir meinen damit die Daten, die von allen in Rechenzentren laufenden Systemen, dem Internet und der neuen Welt verbundener Geräte erzeugt werden. Wir meinen damit all die Daten, die von Anwendungen, Servern, Netzwerkgeräten , Sicherheitstechnik und Remote-Infrastrukturen erzeugt werden, auf denen Ihr Unternehmen aufbaut.

Maschinendaten umfassen verlässliche Aufzeichnungen zu den gesamten Aktivitäten und Verhaltensweisen im Zusammenhang mit Kunden, Benutzern, Transaktionen, Anwendungen, Servern, Netzwerken, Fertigungsanlagen usw. Und das sind nicht nur Logs. Zu den Maschinendaten zählen Konfigurationsdaten, Daten aus APIs und Nachrichtenwarteschlangen, änderungsereignisse, Ausgaben von Diagnosebefehlen und Gesprächsdatensätze, Sensordaten von Remote-Anlagen und Vieles mehr.

Splunk-Benutzer wissen, dass es Tausende unterschiedlicher Formate für Maschinendaten gibt. Die sinnvolle Analyse dieser Daten ist von entscheidender Bedeutung für die Diagnose von Betriebsproblemen, das Erkennen komplexer Sicherheitsrisiken, das Beurteilen des Zustands von Remote-Anlagen sowie den Nachweis von Compliance.

In den folgenden Abschnitten werden einige der wichtigsten Maschinendatenquellen und ihre Verwertbarkeit beschrieben. Diese Liste ist aber nur der Anfang! Jede Umgebung verfügt über ihre eigene, ganz spezifische Menge von Maschinendaten. Wo stecken wohl bei Ihrem Unternehmen verwertbare Maschinendaten?

Anwendungslogs

Die meisten intern entwickelten und im Paket angebotenen Anwendungen schreiben lokale Logs. Sie verwenden dazu häufig Protokollierungs-Frameworks wie log4j oder log4net oder Protokollierungsdienste, die in Anwendungsserver wie z. B. Weblogic, WebSphere und JBoss oder .NET und PHP usw. integriert sind. Diese Dateien sind für das tägliche Debuggen von Produktionsanwendungen durch Entwickler und den Anwendungssupport unverzichtbar. Sie stellen außerdem häufig die beste Methode dar, um Berichte zu Geschäfts- und Benutzeraktivitäten zu erstellen und Betrugsszenarien zu erkennen, da sie alle Details der Transaktionen enthalten. Wenn Entwickler Zeitinformationen in die Log-Ereignisse einschließen, können die Logs auch zum überwachen der Anwendungsleistung und zum Generieren der entsprechenden Berichte verwendet werden.

Geschäftsprozesslogs

Komplexe Systemlogs im Zusammenhang mit der Ereignisverarbeitung und Geschäftsprozessverwaltung sind die reinsten Goldgruben an unternehmens- und IT-relevanten Daten. Diese Logs enthalten im allgemeinen verlässliche Aufzeichnungen der Kundenaktivität über verschiedene Kanäle wie das Internet, IVR/Contact Center oder Einzelhandel hinweg. Höchstwahrscheinlich finden sich dort auch Aufzeichnungen zu Kundenbestellungen, Kontoänderungen und Problemberichten. In Kombination mit Anwendungs-, CDR- und Weblogs können Maschinendaten genutzt werden, um ein umfassendes Monitoring der Geschäftsaktivitäten zu implementieren.

Gesprächsdatensätze

Gesprächsdatensätze (oder Call Detail Records, CDRs), Abrechnungsdatensätze oder Ereignisdatensätze sind einige der Bezeichnungen für Ereignisse, die von Telekommunikations- und Netzwerk-Switches protokolliert werden. CDRs enthalten nützliche Details zu dem Anruf oder der Dienstleistung, die über den Switch geleitet wurde, z. B. die Nummer des Anrufers, die Nummer des Anrufempfängers, Anrufuhrzeit, Anrufdauer, Anruftyp usw. Bei Verlagerung der Kommunikationsdienste auf IP-basierte Dienste werden diese Daten als IPDRs bezeichnet und enthalten z. B. die IP-Adresse, die Portnummer usw. Die Spezifikationen, Formate und Struktur dieser Dateien variieren beträchtlich, und es war bisher schwierig, alle diese Varianten zu berücksichtigen. Diese Daten sind jedoch für Abrechnung, Revenue Assurance, Customer Assurance, Partnerabrechnungen, Marketinginformationen und weitere Zwecke unverzichtbar. Die Splunk-Software kann die Daten schnell indizieren und mit anderen Geschäftsdaten kombinieren, damit Benutzer neue Erkenntnisse aus diesen umfassenden Nutzungsinformationen gewinnen können.

Clickstream-Daten

Die Benutzeraktivität im Internet wird mit den so genannten ClickStream-Daten erfasst. Dies liefert Einblicke in die Website- oder Webseitennutzung des Benutzers. Diese Informationen sind für die Analyse der Benutzerfreundlichkeit sowie für Marketing- und allgemeine Studien nützlich. Für diese Daten gibt es keine Standardformate, und Aktionen können an vielen Stellen protokolliert werden, z. B. auf Webservern, Routern, Proxyservern, Adservern usw. Gängige Monitoring-Tools prüfen nur eine Teilmenge der Daten aus einer bestimmten Quelle. Herkömmliche Webanalyse- und Data Warehouse-Produkte erfassen häufig lediglich Stichproben der Daten und bieten weder eine komplette Sicht auf das Verhalten noch eine Analyse in Echtzeit.

Konfigurationsdateien

Konkrete, aktive Systemkonfigurationen sind unverzichtbar, wenn es darum geht, den Aufbau der Infrastruktur zu erkennen. In der Vergangenheit verwendete Konfigurationen werden zum Debuggen von Fehlern benötigt, die in der Vergangenheit auftraten und in der Zukunft erneut auftreten könnten. Wenn sich Konfigurationen ändern, ist es wichtig zu wissen, was zu welchem Zeitpunkt geändert wurde, ob die änderung autorisiert war und, ob ein erfolgreicher Angreifer das System für Hintertüren, Zeitbomben oder andere latente Bedrohungen verwundbar gemacht hat.

Datenbank-Auditlogs und -tabellen

Datenbanken enthalten äußerst sensible Firmendaten, z. B. Kundendatensätze, Finanzdaten, Patientendatensätze usw. Audit-Datensätze sämtlicher Datenbankabfragen müssen verfügbar sein, damit ersichtlich ist, wer zu welchem Zeitpunkt auf die Daten zugegriffen und sie ggf. geändert hat. Datenbank-Auditlogs helfen außerdem beim Optimieren von Abfragen, da sich anhand dieser Logs nachvollziehen lässt, wie Datenbanken von Anwendungen verwendet werden. Einige Datenbanken protokollieren Audit-Datensätze in Dateien, während andere Datenbanken Audittabellen verwalten, auf die per SQL zugegriffen werden kann.

Dateisystem-Auditlogs

Sensible Daten, die sich nicht in Datenbanken befinden, werden in Dateisystemen gespeichert. In einigen Branchen, z. B. im Gesundheitswesen, stellen Kundendatensätze in freigegebenen Dateisystemen das größte Risiko von Datenlecks dar. Unterschiedliche Betriebssysteme, Drittanbietertools und Speichertechnologien bieten unterschiedliche Auditoptionen, um den Lesezugriff auf sensible Daten auf Dateisystemebene zu überwachen. Diese Auditdaten sind eine wichtige Datenquelle zum überwachen und Untersuchen des Zugriffs auf sensible Daten.

Verwaltungs- und Protokollierungs-APIs

Softwarehersteller gehen mehr und mehr dazu über, kritische Verwaltungsdaten und Logereignisse sowohl durch standardisierte als auch spezifische APIs verfügbar zu machen, anstatt diese in Dateien zu protokollieren. Checkpoint-Firewalls protokollieren über die OPSEC Log Export-API (OPSEC LEA). Virtualisierungs-Anbieter wie VMware und Citrix stellen Konfigurationen, Logs und Systemstatusinformationen über ihre eigenen APIs zur Verfügung.

Nachrichtenwarteschlangen

Technologien, die Nachrichtenwarteschlangen nutzen, wie JMS, RabbitMQ und AquaLogic werden für die Weitergabe von Daten und Aufgaben zwischen Dienst- und Anwendungskomponenten verwendet. Grundlage dafür ist die Publish-/Subscribe-Kommunikation. Die Anmeldung bei diesen Nachrichtenwarteschlangen ist eine gute Methode zum Debuggen von Problemen in komplexen Anwendungen: Man sieht ganz genau, was die nächste Komponente in der Abfolge von der vorherigen empfangen hat. Nachrichtenwarteschlangen werden immer häufiger als Kernkomponente von Logging-Architekturen für Anwendungen verwendet.

Metriken, Status- und Diagnosebefehle des Betriebssystems

Betriebssysteme machen wichtige Metriken, z. B. Informationen zu CPU- und Arbeitsspeicherauslastung sowie Statusangaben, mit Befehlszeilendienstprogrammen wie ps und iostat unter UNIX und Linux und perfmon unter Windows verfügbar. Diese Daten werden meist von Server-Monitoring-Tools genutzt, jedoch selten beibehalten. Dennoch sind sie für die Fehlerbehebung, zum Analysieren von Trends für die Erkennung latenter Probleme und zum Untersuchen sicherheitsrelevanter Vorfälle von unschätzbarem Wert.

Paket- und Flussdaten

Von Netzwerken generierte Daten werden mit Tools wie tcpdump und tcpflow verarbeitet, die pcap- oder Flussdaten und weitere nützliche Informationen auf Paket- und Sitzungsebene generieren. Diese Informationen werden benötigt, um Leistungsabfall, Timeouts, Engpässe oder verdächtige Aktivitäten, die auf eine Gefährdung des Netzwerks oder einen Remote-Angriff hindeuten, zu behandeln.

SCADA-Daten

SCADA (Supervisory Control and Data Acquisition) bezieht sich auf ein industrielles Steuerungssystem (ICS), das Echtzeitdaten aus Anlagen in Branchen wie Energieerzeugung, Transport, öl und Gas sowie Wasserwirtschaft. Diese Systeme erzeugen signifikante Datenmengen in Zusammenhang mit Status, Betrieb, Nutzung und Kommunikation von Komponenten. Mit diesen Daten können Trends, Muster und Anomalien in der SCADA-Infrastruktur erkannt sowie der Mehrwert für den Kunden erhöht werden. Es können beispielsweise intelligente Zählerdaten erfasst werden, damit Kunden besser über ihren Stromverbrauch informiert sind und Tools, Programme und Dienste nutzen können, mit denen sie Strom und Geld sparen und ihren ökologischen Fußabdruck verkleinern können.

Sensordaten

Das wachsende Netz aus Sensorgeräten erzeugt Daten aus dem Monitoring von Umgebungsbedingungen wie Temperatur, Lautstärke, Druck, Kraft, Wasserstand usw. Durch die Erfassung, Konsolidierung, Analyse und Auswertung solcher Daten ergibt sich eine enorme Bandbreite an praktischen Einsatzmöglichkeiten. Hierzu zählen beispielsweise die Wasserstandskontrolle, die Anlagenkontrolle sowie die intelligente Haushaltskontrolle.

Syslog

Im Syslog der Router, Switches und Netzwerkgeräte werden der Status der Netzwerkverbindungen, Fehler in wichtigen Netzwerkkomponenten sowie Performance- und Sicherheitsbedrohungen aufgezeichnet. Das Syslog wird bei der Protokollierung von Maschinendaten standardmäßig erzeugt. Durch die Auswertung dieser Daten stehen Informationen aus einer Vielzahl von Geräten für die Fehlerbehebung, Analyse und Sicherheitsüberprüfung zur Verfügung.

Webzugriffslogs

In Webzugriffslogs werden folgende Angaben für jede von einem Webserver verarbeitete Anforderung protokolliert: die Client-IP-Adresse des Absenders, die angeforderte URL, die Quell-URL sowie Daten zum Erfolg oder Fehlschlagen der Anforderung. Mit diesen Logs werden im Allgemeinen Webanalyseberichte für Marketingzwecke erstellt, die Aussagen zur täglichen Anzahl der Besucher, den am häufigsten angeforderten Seiten usw. machen. Sie können auch spezifisch angepasst werden, um so wertvolle Informationen wie die Sitzungs-ID oder spezifische HTTP-Header zu enthalten.

Sie sind außerdem als Ausgangspunkt zum Untersuchen von Problemen, die durch Benutzer gemeldet werden, von unschätzbarem Wert, da sich anhand des Logs einer fehlgeschlagenen Anforderung der genaue Zeitpunkt des Fehlers bestimmen lässt. Weblogs sind relativ standardmäßig und übersichtlich strukturiert. Die einzige Herausforderung ist ihr riesiger Umfang bei stark ausgelasteten Websites, bei denen Milliarden von Zugriffen pro Tag die Norm sind.

Webproxylogs

Fast alle Unternehmen, Dienstanbieter, Einrichtungen und Regierungsbehörden, die Mitarbeitern, Kunden oder Gästen Webzugriff bieten, steuern und überwachen diesen Zugriff mithilfe von Webproxys. Webproxys protokollieren jede Webanforderung, die Benutzer über den Proxy senden. Die Logs können firmeninterne Benutzernamen und aufgerufene URLs beinhalten. Sie sind unverzichtbar, um Verstöße gegen Nutzungsbestimmungen oder die Einhaltung der Unternehmensrichtlinien für die Webnutzung zu überwachen und zu untersuchen. Außerdem sind diese Logs eine wichtige Komponente beim Monitoring und der Untersuchung von Datenlecks.

Windows-Ereignisse

Windows speichert umfassende Informationen über IT-Umgebungen, Nutzungsmuster und Sicherheitssysteme. Alle diese Informationen werden in Windows-Ereignisprotokollen gespeichert, und zwar in "Anwendung", "Sicherheit" und "System". Diese Logs geben wichtige Einblicke in den Unternehmenszustand und können zur Problemerkennung bei unternehmenskritischen Anwendungen, Sicherheitsmaßnahmen und Nutzungsmustern beitragen.