Difference between revisions of "Auswertung von Filesystemmetadaten mit Elasticsearch and Kibana"

From Lsdf
(Created page with "= Beschreibung = = Aufgaben = * research existing algorithms for allocation in combinatorial auctions = Anforderungen = * good knowledge of C++ and Python * some theoretica...")
 
Line 1: Line 1:
 
= Beschreibung =
 
= Beschreibung =
  +
Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch [1] Datenbank gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken über mehrere Dumps hinweg ermitteln zu können.
 
 
= Aufgaben =
 
* research existing algorithms for allocation in combinatorial auctions
 
   
 
= Anforderungen =
 
= Anforderungen =
Line 10: Line 7:
   
 
= References =
 
= References =
  +
: [0] [http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System]
  +
: [1] [http://elastic.co http://elastic.co]
   
 
= Contact =
 
= Contact =

Revision as of 14:12, 13 September 2016

Beschreibung

Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch [1] Datenbank gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken über mehrere Dumps hinweg ermitteln zu können.

Anforderungen

  • good knowledge of C++ and Python
  • some theoretical computer science background or machine learning knowledge would be a plus

References

[0] http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System
[1] http://elastic.co

Contact

Andreas.Petzold@kit.edu