Literature Database Entry

schurtz2005verteilte

Thomas Schurtz, "Verteilte Aufzeichnung und Analyse von Verkehrsdaten," Master's Thesis, Wilhelm-Schickard-Institute for Computer Science, University of Tübingen, November 2005. (Advisors: Gerhard Münz and Falko Dressler)

Abstract

Im Verlauf der vorliegenden Arbeit wurde die bestehende Architektur des HISTORY-Projekts der Universitäten Erlangen und Tübingen zur Überwachung und Analyse eines Netzwerks um die Fähigkeit erweitert, Verkehrsdaten verteilt aufzeichnen und trotzdem eine zentrale Auswertung der Daten durchführen zu können. Zunächst wurde die vorhandene Architektur untersucht, die aus Monitoren zur Messung des Netzverkehrs und zum Exportieren der gewonnenen Daten, einem Kollektor für deren Speicherung und dem Analyseprogramm Nasty bestand. Auch die Protokolle NetFlow, IPFIX und PSAMP, mit denen aufgezeichnete Daten standardisiert ausgetauscht werden können, wurden beleuchtet. Anschließend folgte eine Betrachtung existierender Monitoring-Systeme, um festzustellen, welche grundsätzlichen Ansätze zum verteilten Aufzeichnen und Analysieren von Netzverkehr existieren. Für jeden gefundenen Ansatz wurde die Integrierbarkeit in die HISTORY-Architektur analysiert und bewertet, ob damit die Vorgaben des HISTORY-Projekts eingehalten und die Ziele erfüllt werden können. Letztlich wurde für HISTORY ein neuer Weg eingeschlagen und nur Teile dieser Ansätze übernommen. Das entwickelte Konzept besteht darin, im Gegensatz zur bisherigen Architektur mehrere Kollektoren einzusetzen, die angesammelten Verkehrsdaten also nicht mehr an einem einzigen Ort zu speichern, sondern Aufzeichnungs- und Speicherlast zu verteilen. So kann das bislang aufgetretene Problem der Überlastung des Kollektors umgangen werden. Um trotzdem eine gemeinsame Auswertung der Daten durchführen zu können, werden Analyseabfragen verteilt ausgeführt. Zu diesem Zweck wurde eine Java-Klasse entwickelt, die einen einfachen SQLAbfragebefehl als Eingabe bekommt, der so formuliert werden kann, als lägen alle Verkehrsdaten in einer einzigen großen Tabelle vor. Die Java-Klasse erzeugt dann für jede abzufragende Kollektor-Datenbank einen eigenen Thread. Innerhalb dieser Threads werden die Daten aus den Tabellen der jeweiligen Kollektor-Datenbank abgefragt und in eine gemeinsame Tabelle einer lokalen Datenbank übertragen. Für diese Datenübertragung wurden zwei Mechanismen entwickelt, ein rein Java-interner und ein auf der Nutzung Java-externer Kommandozeilentools basierender. Der erstgenannte ist sicherer, der zweitgenannte bietet bei größeren Abfragen eine höhere Geschwindigkeit. Zudem wurde ein Verfahren entwickelt, um mit Verkehrsdaten umzugehen, die von mehreren Monitoren aufgezeichnet wurden und somit eventuell mehrfach in Auswertungen einfließen würden. Mit diesem Verfahren können solche Datenduplikate ausgefiltert werden, was allerdings auf Kosten der Laufzeit geht. Nach der Implementierung der Abfrageverteilung wurde diese in das bestehende Nasty-Analyseprogramm eingebaut. Einige neue Abfragearten wurden erstellt, um die Möglichkeiten der Abfrageverteilung und damit des verteilten Monitorings zu demonstrieren und auszunutzen. Dann wurden Methoden ausgearbeitet, um die aus Datenschutzgründen erforderliche Absicherung der Datenübertragungen zwischen den Kollektoren und den Analyserechnern zu gewährleisten, bevor abschließend die gesamte Architektur ausgiebig getestet und erfolgreich auf ihre Leistungsfähigkeit hin überprüft wurde.

Quick access

BibTeX

Contact

Thomas Schurtz

BibTeX reference

Copyright notice

Links to final or draft versions of papers are presented here to ensure timely dissemination of scholarly and technical work. Copyright and all rights therein are retained by authors or by other copyright holders. All persons copying this information are expected to adhere to the terms and constraints invoked by each author's copyright. In most cases, these works may not be reposted or distributed for commercial purposes without the explicit permission of the copyright holder.

The following applies to all papers listed above that have IEEE copyrights: Personal use of this material is permitted. However, permission to reprint/republish this material for advertising or promotional purposes or for creating new collective works for resale or redistribution to servers or lists, or to reuse any copyrighted component of this work in other works must be obtained from the IEEE.

The following applies to all papers listed above that are in submission to IEEE conference/workshop proceedings or journals: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible.

The following applies to all papers listed above that have ACM copyrights: ACM COPYRIGHT NOTICE. Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. Copyrights for components of this work owned by others than ACM must be honored. Abstracting with credit is permitted. To copy otherwise, to republish, to post on servers, or to redistribute to lists, requires prior specific permission and/or a fee. Request permissions from Publications Dept., ACM, Inc., fax +1 (212) 869-0481, or permissions@acm.org.

The following applies to all SpringerLink papers listed above that have Springer Science+Business Media copyrights: The original publication is available at www.springerlink.com.

This page was automatically generated using BibDB and bib2web.