Auswertung von Filesystemmetadaten mit Elasticsearch and Kibana: Difference between revisions
From Lsdf
Jump to navigationJump to search
No edit summary |
No edit summary |
||
| Line 1: | Line 1: | ||
= Beschreibung = |
= Beschreibung = |
||
Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch [1] |
Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch Datenbank [1] gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken mittels Kibana [2] über mehrere Dumps hinweg ermitteln zu können. |
||
= |
= Voraussetzungen = |
||
* Grundkenntnisse in der Nutzung von Elasticsearch und Kibana sind hilfreich aber nicht zwingend. |
|||
* good knowledge of C++ and Python |
|||
* some theoretical computer science background or machine learning knowledge would be a plus |
|||
= References = |
= References = |
||
: [0] [http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System] |
: [0] [http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System] |
||
: [1] [http://elastic.co http://elastic.co] |
: [1] [http://elastic.co http://elastic.co] |
||
: [2] [https://www.elastic.co/de/products/kibana https://www.elastic.co/de/products/kibana] |
|||
= Contact = |
= Contact = |
||
Revision as of 14:19, 13 September 2016
Beschreibung
Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch Datenbank [1] gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken mittels Kibana [2] über mehrere Dumps hinweg ermitteln zu können.
Voraussetzungen
- Grundkenntnisse in der Nutzung von Elasticsearch und Kibana sind hilfreich aber nicht zwingend.
References
- [0] http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System
- [1] http://elastic.co
- [2] https://www.elastic.co/de/products/kibana
