Difference between revisions of "Auswertung von Filesystemmetadaten mit Elasticsearch and Kibana"
From Lsdf
| Line 1: | Line 1: | ||
= Beschreibung = |
= Beschreibung = |
||
| − | Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch [1] |
+ | Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch Datenbank [1] gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken mittels Kibana [2] über mehrere Dumps hinweg ermitteln zu können. |
| − | = |
+ | = Voraussetzungen = |
| + | * Grundkenntnisse in der Nutzung von Elasticsearch und Kibana sind hilfreich aber nicht zwingend. |
||
| − | * good knowledge of C++ and Python |
||
| − | * some theoretical computer science background or machine learning knowledge would be a plus |
||
= References = |
= References = |
||
: [0] [http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System] |
: [0] [http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System] |
||
: [1] [http://elastic.co http://elastic.co] |
: [1] [http://elastic.co http://elastic.co] |
||
| + | : [2] [https://www.elastic.co/de/products/kibana https://www.elastic.co/de/products/kibana] |
||
= Contact = |
= Contact = |
||
Revision as of 14:19, 13 September 2016
Beschreibung
Das GPFS Filesystem [0] bietet die Möglichkeit die Metadaten aller Files sehr schnell auszulesen. Diese Metadaten werden regelmäßig ausgelesen (Dumps) und sollen zur Auswertung in einer Elasticsearch Datenbank [1] gespeichert werden. Dafür soll ein System entwickelt werden, um den zeitlichen Verlauf verschiedener Metriken mittels Kibana [2] über mehrere Dumps hinweg ermitteln zu können.
Voraussetzungen
- Grundkenntnisse in der Nutzung von Elasticsearch und Kibana sind hilfreich aber nicht zwingend.
References
- [0] http://en.wikipedia.org/wiki/IBM_General_Parallel_File_System
- [1] http://elastic.co
- [2] https://www.elastic.co/de/products/kibana
