https://wiki.scc.kit.edu/lsdf/api.php?action=feedcontributions&user=Nico.schlitter&feedformat=atomLsdf - User contributions [en]2024-03-28T14:01:55ZUser contributionsMediaWiki 1.31.16https://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5658Praktikum Datenmanagement und Datenanalyse am SCC2020-04-20T09:21:46Z<p>Nico.schlitter: </p>
<hr />
<div>Seit dem Sommersemester 2020 nutzen wir Ilias zur Verwaltung des Praktikums:<br />
https://ilias.studium.kit.edu/goto.php?target=crs_1101699&client_id=produktiv<br />
<br />
<!-- <br />
Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de] <br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] <br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
<br />
--></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5657Praktikum Datenmanagement und Datenanalyse am SCC2020-04-20T09:20:51Z<p>Nico.schlitter: </p>
<hr />
<div>Seit dem Sommersemester 2020 nutzen wir Ilias zur Verwaltung des Praktikums:<br />
https://ilias.studium.kit.edu/goto.php?target=crs_1101699&client_id=produktiv<br />
<br />
<!-- <br />
Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 3114 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de] --><br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] <br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
<br />
--></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5656Praktikum Datenmanagement und Datenanalyse am SCC2020-04-20T09:20:38Z<p>Nico.schlitter: </p>
<hr />
<div>Seit dem Sommersemester 2020 nutzen wir Ilias zur Verwaltung des Praktikums:<br />
https://ilias.studium.kit.edu/goto.php?target=crs_1101699&client_id=produktiv<br />
<br />
<!-- *<br />
Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 3114 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de] --><br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] <br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
<br />
--></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5655Praktikum Datenmanagement und Datenanalyse am SCC2020-04-20T09:19:44Z<p>Nico.schlitter: </p>
<hr />
<div>Seit dem Sommersemester 2020 nutzen wir Ilias zur Verwaltung des Praktikums:<br />
https://ilias.studium.kit.edu/goto.php?target=crs_1101699&client_id=produktiv<br />
<br />
<!-- *<br />
Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 3114 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
<!-- * Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de] --><br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
<!-- * [[ Migrating annotations from PDF files to Linked Data ]] --><br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --><br />
<br />
--></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5571Praktikum Datenmanagement und Datenanalyse am SCC2019-10-16T12:22:41Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 3114 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
<!-- * Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de] --><br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
<!-- * [[ Migrating annotations from PDF files to Linked Data ]] --><br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5570Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-10-15T13:55:41Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting deep learning and other intensive computing techniques to exploit very large data sources. In order to ease and lower the entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins CI/CD pipeline. Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
= Tasks =<br />
* get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
* understand Gitlab CI/CD pipeline and its features [3]<br />
* understand Docker container technology [4-5]<br />
* migrate existing Jenkins pipeline into Gitlab CI/CD [6]<br />
<br />
= Requirements =<br />
* understanding of CI/CD<br />
* ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile structure, yaml, Gitlab CI/CD<br />
<br />
= Contact =<br />
[mailto:valentin.kozlov@kit.edu Valentin Kozlov]<br />
<br />
= References =<br />
[1] https://deep-hybrid-datacloud.eu<br />
<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
<br />
[4] https://www.docker.com<br />
<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/<br />
<br />
[6] https://jenkins.indigo-datacloud.eu/job/Pipeline-as-code/job/DEEP-OC-org/job/dogs_breed_det/job/test</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Evaluation_und_Aufbau_eines_webbasierten_Dokumentationsservers&diff=5568Evaluation und Aufbau eines webbasierten Dokumentationsservers2019-10-10T15:17:52Z<p>Nico.schlitter: Created page with "Bei der täglichen Arbeit im Rechenzentrum spielt die Dokumentation von Prozessen und Konfigurationen eine wichtige Rolle. Aufgrund ihrer Einfachheit nutzen wir dafür die Mar..."</p>
<hr />
<div>Bei der täglichen Arbeit im Rechenzentrum spielt die Dokumentation von Prozessen und Konfigurationen eine wichtige Rolle. Aufgrund ihrer Einfachheit nutzen wir dafür die Markdown [1] Syntax und erzeugen Text-Dateien mit entsprechenden Inhalt.<br />
<br />
Zur Dokumentation größerer Projekte werden mehrere Dateien in Verzeichnisstrukturen abgelegt und über das Versionierungs-Werkzeug git [2] versioniert.<br />
<br />
Ziel des Praktikums ist die Evaluation von vorhandenen Frameworks, um das Erzeugen, Anzeigen und Verwalten von projektbezogener Dokumentation zu vereinfachen. Es müssen Evaluierungskriterien (z.B. git-Integration, Authentifizierung, Autorisierung) entwickelt und anschließend auf existierende Frameworks angewendet werden. Nach Auswahl einer kleinen Anzahl geeigneter Frameworks werden dieses auf einem Linux-Server installiert und getestet. <br />
<br />
Die Praktikumsergebnisse werden am Ende in einem Vortrag inkl. kurzer Demo vorgestellt. Die Evaluierung vorhandener Frameworks sollte in einem kurzen Bericht dokumentiert werden.<br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse über git-Nutzung [1]<br />
* Grundkenntnisse über Markdown [2]<br />
* Grundkenntnisse über Linux Administration<br />
<br />
= Kontakt =<br />
[mailto:nico.schlitter@kit.edu nico.schlitter@kit.edu]<br />
<br />
= Weitere Informationen =<br />
<br />
[1]: https://de.wikipedia.org/wiki/Git<br />
[2]: https://de.wikipedia.org/wiki/Markdown</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5567Praktikum Datenmanagement und Datenanalyse am SCC2019-10-08T08:22:21Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 16.10.2019 um 15.30 Uhr am Campus Süd Gebäude 20.21 in Raum 3114 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
<!-- * [[ Migrating annotations from PDF files to Linked Data ]] --><br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5561Praktikum Datenmanagement und Datenanalyse am SCC2019-09-19T11:54:49Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
<!-- * [[ Migrating annotations from PDF files to Linked Data ]] --><br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5559Praktikum Datenmanagement und Datenanalyse am SCC2019-09-09T15:19:21Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Evaluation und Aufbau eines webbasierten Datei-Managers]]<br />
* [[ Evaluation und Aufbau eines webbasierten Dokumentationsservers]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5558Praktikum Datenmanagement und Datenanalyse am SCC2019-09-09T14:58:27Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
<!-- * [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]] --><br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5557Praktikum Datenmanagement und Datenanalyse am SCC2019-09-09T14:56:47Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
<!-- * [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]] --><br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
<!-- * [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]] --><br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
<!-- * [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]] --><br />
* [[ Weiterentwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5412Praktikum Datenmanagement und Datenanalyse am SCC2019-04-24T10:47:07Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5411Praktikum Datenmanagement und Datenanalyse am SCC2019-04-24T10:19:58Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
<!-- * [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]] --></div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5404Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-04-23T19:36:59Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting deep learning and other intensive computing techniques to exploit very large data sources. In order to ease and lower the entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins CI/CD pipeline. Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
= Tasks =<br />
* get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
* understand Gitlab CI/CD pipeline and its features [3]<br />
* understand Docker container technology [4-5]<br />
* migrate existing Jenkins pipeline into Gitlab CI/CD<br />
<br />
= Requirements =<br />
* understanding of CI/CD<br />
* ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile structure, yaml, Gitlab CI/CD<br />
<br />
= Contact =<br />
[mailto:valentin.kozlov@kit.edu Valentin Kozlov]<br />
<br />
= References =<br />
[1] https://deep-hybrid-datacloud.eu<br />
<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
<br />
[4] https://www.docker.com<br />
<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5403Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-04-23T19:36:42Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting deep learning and other intensive computing techniques to exploit very large data sources. In order to ease and lower the entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins CI/CD pipeline. Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
= Tasks =<br />
* get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
* understand Gitlab CI/CD pipeline and its features [3]<br />
* understand Docker container technology [4-5]<br />
* migrate existing Jenkins pipeline into Gitlab CI/CD<br />
<br />
= Requirements =<br />
* understanding of CI/CD<br />
* ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile structure, yaml, Gitlab CI/CD<br />
<br />
= Contact =<br />
[mailto:valentin.kozlov@kit.edu Valentin Kozlov]<br />
<br />
= References =<br />
[1] https://deep-hybrid-datacloud.eu<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
[4] https://www.docker.com<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5402Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-04-23T19:35:54Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting deep learning and other intensive computing techniques to exploit very large data sources. In order to ease and lower the entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins CI/CD pipeline. Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
= Tasks =<br />
* get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
* understand Gitlab CI/CD pipeline and its features [3]<br />
* understand Docker container technology [4-5]<br />
* migrate existing Jenkins pipeline into Gitlab CI/CD<br />
<br />
= Requirements =<br />
* understanding of CI/CD<br />
* ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile structure, yaml, Gitlab CI/CD<br />
<br />
= Contact =<br />
[mailto: valentin.kozlov@kit.edu Valentin Kozlov]<br />
<br />
= References =<br />
[1] https://deep-hybrid-datacloud.eu<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
[4] https://www.docker.com<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5401Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-04-23T19:34:21Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-<br />
Infrastructures that harness latest generation technologies, supporting deep learning and other<br />
intensive computing techniques to exploit very large data sources. In order to ease and lower the<br />
entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins<br />
CI/CD pipeline.<br />
Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
= Tasks =<br />
- get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
- understand Gitlab CI/CD pipeline and its features [3]<br />
- understand Docker container technology [4-5]<br />
- migrate existing Jenkins pipeline into Gitlab CI/CD<br />
<br />
= Requirements =<br />
- understanding of CI/CD<br />
- ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile<br />
structure, yaml, Gitlab CI/CD<br />
<br />
= Contact =<br />
<br />
= References =<br />
[1] https://deep-hybrid-datacloud.eu<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
[4] https://www.docker.com<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_of_the_Jenkins_CI/CD_pipeline_into_Gitlab_CI/CD&diff=5400Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD2019-04-23T19:33:36Z<p>Nico.schlitter: Created page with "== Description The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e- Infrastructures that harness latest generation technologies, supporting d..."</p>
<hr />
<div>== Description<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-<br />
Infrastructures that harness latest generation technologies, supporting deep learning and other<br />
intensive computing techniques to exploit very large data sources. In order to ease and lower the<br />
entry barrier for non-skilled scientists, DEEP offers DevOps approach to its users based on Jenkins<br />
CI/CD pipeline.<br />
Aim of the student project is to migrate existing Jenkins CI/CD pipeline into Gitlab CI/CD.<br />
<br />
== Tasks<br />
- get acquanted with Jenkins and declarative CI/CD pipeline [2].<br />
- understand Gitlab CI/CD pipeline and its features [3]<br />
- understand Docker container technology [4-5]<br />
- migrate existing Jenkins pipeline into Gitlab CI/CD<br />
<br />
== Requirements<br />
- understanding of CI/CD<br />
- ideally you have knowledge of Docker containers, Jenkins declarative pipeline/Jenkinsfile<br />
structure, yaml, Gitlab CI/CD<br />
<br />
== References<br />
[1] https://deep-hybrid-datacloud.eu<br />
[2] https://jenkins.io/doc/book/pipeline/jenkinsfile/<br />
[3] https://docs.gitlab.com/ee/ci/pipelines.html<br />
[4] https://www.docker.com<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5399Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T19:32:58Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Migration of the Jenkins CI/CD pipeline into Gitlab CI/CD ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5398Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T17:56:20Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5397Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T16:05:13Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5396Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T16:03:33Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5395Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T16:02:46Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5394Praktikum Datenmanagement und Datenanalyse am SCC2019-04-23T16:01:46Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
<!-- * [[ Migration eines RedMine Systems ]] --><br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5379Praktikum Datenmanagement und Datenanalyse am SCC2019-04-16T11:55:10Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 217 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
* [[ Migration eines RedMine Systems ]]<br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migrating_annotations_from_PDF_files_to_Linked_Data&diff=5351Migrating annotations from PDF files to Linked Data2019-04-15T17:00:21Z<p>Nico.schlitter: /* Supervisor */</p>
<hr />
<div>= Description =<br />
The annotation of books is a very old scholarly practice (especially in the field of humanities). With the mass digitization of cultural heritage objects (such as historical books), digital collaborative annotation gains in importance and enables new research methods combining manual annotations with algorithmic annotation processes.<br />
One common way of annotating digitized books is to use the commenting/annotation functionality of popular PDF editors. Annotations in PDFs however are not sufficient for use in research data management and can hardly be handled in further data analysis.<br />
The goal of the project is to retrieve annotations from PDF files with images of book pages and to transfer them to the standard of the Web Annotation Data Model [1].<br />
This data model will allow to use the annotations in a client-server architecture based on the Web Annotation Protocol [2]. The annotation server offers CRUD functionalities via RESTful interfaces [3] and the annotations can be analyzed via SPARQL[4] requests.<br />
(project supervision in German or English)<br />
<br />
= Tasks =<br />
* Exporting images and annotation data from PDFs<br />
* Designing a data model for the annotations compliant to the WADM [1]<br />
* Transformation of annotation data to the new model<br />
* Ingest in an existing RDF[5] annotation server via REST apis<br />
<br />
<br />
= Supervisor =<br />
[mailto:germaine.goetzelmann@kit.edu Germaine Götzelman]<br />
<br />
= References =<br />
[1] https://www.w3.org/TR/annotation-model/<br />
<br />
[2] https://www.w3.org/TR/annotation-protocol/<br />
<br />
[3] https://restfulapi.net/<br />
<br />
[4] https://www.w3.org/TR/rdf-sparql-query/<br />
<br />
[5] https://www.w3.org/TR/rdf-primer/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migrating_annotations_from_PDF_files_to_Linked_Data&diff=5350Migrating annotations from PDF files to Linked Data2019-04-15T17:00:05Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
The annotation of books is a very old scholarly practice (especially in the field of humanities). With the mass digitization of cultural heritage objects (such as historical books), digital collaborative annotation gains in importance and enables new research methods combining manual annotations with algorithmic annotation processes.<br />
One common way of annotating digitized books is to use the commenting/annotation functionality of popular PDF editors. Annotations in PDFs however are not sufficient for use in research data management and can hardly be handled in further data analysis.<br />
The goal of the project is to retrieve annotations from PDF files with images of book pages and to transfer them to the standard of the Web Annotation Data Model [1].<br />
This data model will allow to use the annotations in a client-server architecture based on the Web Annotation Protocol [2]. The annotation server offers CRUD functionalities via RESTful interfaces [3] and the annotations can be analyzed via SPARQL[4] requests.<br />
(project supervision in German or English)<br />
<br />
= Tasks =<br />
* Exporting images and annotation data from PDFs<br />
* Designing a data model for the annotations compliant to the WADM [1]<br />
* Transformation of annotation data to the new model<br />
* Ingest in an existing RDF[5] annotation server via REST apis<br />
<br />
<br />
= Supervisor =<br />
[mailto:Germaine Götzelmann germaine.goetzelmann@kit.edu]<br />
<br />
= References =<br />
[1] https://www.w3.org/TR/annotation-model/<br />
<br />
[2] https://www.w3.org/TR/annotation-protocol/<br />
<br />
[3] https://restfulapi.net/<br />
<br />
[4] https://www.w3.org/TR/rdf-sparql-query/<br />
<br />
[5] https://www.w3.org/TR/rdf-primer/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migrating_annotations_from_PDF_files_to_Linked_Data&diff=5349Migrating annotations from PDF files to Linked Data2019-04-15T16:59:21Z<p>Nico.schlitter: Created page with "= Description = The annotation of books is a very old scholarly practice (especially in the field of humanities). With the mass digitization of cultural heritage objects (such..."</p>
<hr />
<div>= Description =<br />
The annotation of books is a very old scholarly practice (especially in the field of humanities). With the mass digitization of cultural heritage objects (such as historical books), digital collaborative annotation gains in importance and enables new research methods combining manual annotations with algorithmic annotation processes.<br />
One common way of annotating digitized books is to use the commenting/annotation functionality of popular PDF editors. Annotations in PDFs however are not sufficient for use in research data management and can hardly be handled in further data analysis.<br />
The goal of the project is to retrieve annotations from PDF files with images of book pages and to transfer them to the standard of the Web Annotation Data Model [1].<br />
This data model will allow to use the annotations in a client-server architecture based on the Web Annotation Protocol [2]. The annotation server offers CRUD functionalities via RESTful interfaces [3] and the annotations can be analyzed via SPARQL[4] requests.<br />
(project supervision in German or English)<br />
<br />
= Tasks =<br />
* Exporting images and annotation data from PDFs<br />
* Designing a data model for the annotations compliant to the WADM [1]<br />
* Transformation of annotation data to the new model<br />
* Ingest in an existing RDF[5] annotation server via REST apis<br />
<br />
<br />
= Supervisor =<br />
Germaine Götzelmann germaine.goetzelmann@kit.edu<br />
<br />
= References =<br />
[1] https://www.w3.org/TR/annotation-model/<br />
[2] https://www.w3.org/TR/annotation-protocol/<br />
[3] https://restfulapi.net/<br />
[4] https://www.w3.org/TR/rdf-sparql-query/<br />
[5] https://www.w3.org/TR/rdf-primer/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5348Praktikum Datenmanagement und Datenanalyse am SCC2019-04-15T16:58:13Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 218 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
* Virtuelle Forschungsumgebung für die Wasser- und Terrestrische Umweltforschung [http://www.vforwater.de/ http://www.vforwater.de/]<br />
<br />
Themenliste:<br />
<!-- * [[ Performance Optimization of the dCache Storage System ]] --><br />
* [[ Migration eines RedMine Systems ]]<br />
<!-- * [[ Monitoring the availability of firmware updates ]] --><br />
* [[ Analyse von Netzwerkpaketen im LHCONE Netzwerk mit Logstash/Elasticsearch/Kibana/Grafana ]]<br />
* [[ Datareduction/Downsampling in InfluxDB ]]<br />
* [[ Implementation of a Software Layer for the Control of Data Transfers to/from Magnetic Tape at GridKa ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Standardisierte Metadaten für Virtuelle Forschungsumgebung ]]<br />
* [[ Entwicklung eines Kommandozeilenwerkzeugs zur Überwachung von Speichersystemen ]]<br />
* [[ Entwicklung eines Web-Portals zur Antragstellung und Verwaltung von Speicherprojekten ]]<br />
* [[ Entwicklung eines Plugins zur Authentifizierung mittels OpenID Connect ]]<br />
* [[ Erweiterung des WebDAV-Protokolls zur Ermöglichung von Third-Party Transfers in Apache ]]<br />
* [[ Entwicklung einer SSH-Kommandozeilenumgebung mit eingeschränktem und frei konfigurierbarem Befehlssatz ]]<br />
* [[ Entwicklung einer automatisierten Berichterstattung über archivierte Dateien und deren technische Metadaten ]]<br />
* [[ Optimizing Python Code for Climate Research on HPC Systems ]]<br />
* [[ Exploratory Data Analysis for Spatio-Temporal Climate Data ]]<br />
* [[ Migrating annotations from PDF files to Linked Data ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5271Praktikum Datenmanagement und Datenanalyse am SCC2019-03-11T12:07:41Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 218 statt.<br />
<br />
Die nachfolgende Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5270Praktikum Datenmanagement und Datenanalyse am SCC2019-03-11T12:06:51Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Detailliertere Informationen zum Praktikum finden Sie unter https://www.scc.kit.edu/personen/12890.php.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 218 statt.<br />
<br />
Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden:<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5269Praktikum Datenmanagement und Datenanalyse am SCC2019-03-11T12:00:27Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.studium.kit.edu/ev/qpEEaBn9RISRk0GmCnB9Qw Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden. Detailliertere Informationen zum Praktikum finden Sie unter<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 24.04.2019 um 13.00 Uhr am Campus Süd Gebäude 20.21 in Raum 218 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
<br />
<br />
Themenliste:<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Monitoring_the_availability_of_firmware_updates&diff=5228Monitoring the availability of firmware updates2018-10-09T10:56:35Z<p>Nico.schlitter: </p>
<hr />
<div>= Description =<br />
On many hardware components (e.g. hard disks and network interfaces) of modern servers a special software is running which controls these components. This software is often referred to as firmware [0]. Like usual software also firmware might be flawed and needs to be updated frequently.<br />
<br />
The goal of this project is to develop vendor-specific scripts which will run on SCC servers and frequently check for available firmware updates. In case of available updates the server administrators should be notified.<br />
<br />
= Tasks =<br />
* getting familiar with the firmware update procedures of different hardware vendors like e.g. IBM, HP, Dell, SuperMicro<br />
* implement scripts that use the firmware update tools provided by the vendors to check for available updates<br />
* integrate the scripts into the SCC monitoring system<br />
<br />
= Requirements =<br />
* good knowledge of Linux<br />
* programming experience e.g. bash or python<br />
<br />
= References =<br />
: [0] [https://en.wikipedia.org/wiki/Firmware https://en.wikipedia.org/wiki/Firmware]<br />
<br />
= Contact =<br />
[mailto:Nico.Schlitter@kit.edu Nico.Schlitter@kit.edu]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5227Praktikum Datenmanagement und Datenanalyse am SCC2018-10-09T09:28:36Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.kit.edu/live/campus/all/event.asp?objgguid=NEW&from=vvz&gguid=0x2D8B046C62054DAEA90729B113E4F479&mode=own&tguid=0x02C1D432853BA34E9DDF95D27D01436F Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 10.10.2018 um 14.00 Uhr am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [https://www.scc.kit.edu/forschung/lsdf.php https://www.scc.kit.edu/forschung/lsdf.php]<br />
<br />
<br />
Themenliste:<br />
* [[ Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung]]<br />
* [[ Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale ]]<br />
* [[ Auswertung von Metadaten in großen Speichersystemen ]]<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Benchmarking Deep learning platforms by means of Tensorflow and Docker ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5226Praktikum Datenmanagement und Datenanalyse am SCC2018-10-09T09:27:46Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.kit.edu/live/campus/all/event.asp?objgguid=NEW&from=vvz&gguid=0x2D8B046C62054DAEA90729B113E4F479&mode=own&tguid=0x02C1D432853BA34E9DDF95D27D01436F Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 10.10.2018 um 14.00 Uhr am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [http://wiki.lsdf.kit.edu http://wiki.lsdf.kit.edu]<br />
<br />
<br />
Themenliste:<br />
* [[ Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung]]<br />
* [[ Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale ]]<br />
* [[ Auswertung von Metadaten in großen Speichersystemen ]]<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Benchmarking Deep learning platforms by means of Tensorflow and Docker ]]<br />
* [[ Migration eines RedMine Systems ]]<br />
* [[ Monitoring the availability of firmware updates ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Prototypische_Entwicklung_eines_WebDAV-Servers_mit_OpenID-Connect_Authentifizierung&diff=5225Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung2018-10-09T09:26:03Z<p>Nico.schlitter: </p>
<hr />
<div>= Beschreibung =<br />
[[File:OpenID_logo.png | right | frameless ]] <br />
Die Large Scale Data Facility am SCC stellt Wissenschaftlern mit über 10 Petabyte gewaltige Datenspeicher bereit. Diese sollen nun über das Transferprotokoll WebDAV und das Authentifizierungsprotokoll OpenID Connect weltweit zugreifbar gemacht werden.<br />
<br />
Im Rahmen dieses Praktikums sollen zunächst verschiedene Möglichkeiten zur Integration der 10 Petabyte Storage Infrastruktur und der Authentifizierung bzw. dem Datentransfer evaluiert werden. Im Anschluss soll ein Prototyp hierfür aufgebaut werden.<br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse in der Administration von Linuxsystemn<br />
* Programmiererfahrung<br />
<br />
= Contact =<br />
[mailto:jan.sundermann@kit.edu jan.sundermann@kit.edu]<br />
<br />
[mailto:hardt@kit.edu hardt@kit.edu]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Benchmarking_Deep_learning_platforms_by_means_of_Tensorflow_and_Docker&diff=5224Benchmarking Deep learning platforms by means of Tensorflow and Docker2018-10-09T09:25:38Z<p>Nico.schlitter: </p>
<hr />
<div>=== Description ===<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting e.g. deep learning. In order to assess our solutions for new e-Infrastructures, a set of benchmark tools is needed.<br />
<br />
Aim of this project is to prepare a set of benchmarks in form of Docker image(s) based on Tensorflow [2] and a number of pre-existing Tensorflow scripts (e.g. [3]), run them by means of various container tools and in different environments, compare performance.<br />
<br />
=== Tasks ===<br />
* get acquanted with Docker containers and best practices [4, 5].<br />
* adapt existing Convolutional Neural Network (CNN) benchmarks [3] and pack them in Docker image(s) such that they can be run on GPUs in the DEEP testbeds.<br />
* run these benchmarks in HPC-like environment by means of udocker and singularity and on DEEP testbeds, use syntetic and real data, compare performance with bare-metal case.<br />
* (optional) extend the benchmarks for another neural network type (neural network code will be provided). Run same experiments as for CNN scripts.<br />
* at the end of Praktikum you write a short report with results of the performance tests (similar to [3]).<br />
<br />
=== Requirements ===<br />
* programming experience in python<br />
* knowledge on how to install a program from source in Linux<br />
* ideally you have knowledge of containers and neural networks<br />
<br />
=== Contact ===<br />
[mailto:valentin.kozlov@kit.edu valentin.kozlov@kit.edu]<br />
<br />
=== References ===<br />
[1] https://deep-hybrid-datacloud.eu<br />
<br />
[2] https://www.tensorflow.org<br />
<br />
[3] https://www.tensorflow.org/performance/benchmarks <br />
<br />
[4] https://www.docker.com<br />
<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Benchmarking_Deep_learning_platforms_by_means_of_Tensorflow_and_Docker&diff=5223Benchmarking Deep learning platforms by means of Tensorflow and Docker2018-10-09T09:25:21Z<p>Nico.schlitter: </p>
<hr />
<div>=== Description ===<br />
The goal of the DEEP Hybrid DataCloud project [1] is to prepare a new generation of e-Infrastructures that harness latest generation technologies, supporting e.g. deep learning. In order to assess our solutions for new e-Infrastructures, a set of benchmark tools is needed.<br />
<br />
Aim of this project is to prepare a set of benchmarks in form of Docker image(s) based on Tensorflow [2] and a number of pre-existing Tensorflow scripts (e.g. [3]), run them by means of various container tools and in different environments, compare performance.<br />
<br />
=== Tasks ===<br />
* get acquanted with Docker containers and best practices [4, 5].<br />
* adapt existing Convolutional Neural Network (CNN) benchmarks [3] and pack them in Docker image(s) such that they can be run on GPUs in the DEEP testbeds.<br />
* run these benchmarks in HPC-like environment by means of udocker and singularity and on DEEP testbeds, use syntetic and real data, compare performance with bare-metal case.<br />
* (optional) extend the benchmarks for another neural network type (neural network code will be provided). Run same experiments as for CNN scripts.<br />
* at the end of Praktikum you write a short report with results of the performance tests (similar to [3]).<br />
<br />
=== Requirements ===<br />
* programming experience in python<br />
* knowledge on how to install a program from source in Linux<br />
* ideally you have knowledge of containers and neural networks<br />
<br />
=== Contact ===<br />
[mailto: valentin.kozlov@kit.edu valentin.kozlov@kit.edu]<br />
<br />
=== References ===<br />
[1] https://deep-hybrid-datacloud.eu<br />
<br />
[2] https://www.tensorflow.org<br />
<br />
[3] https://www.tensorflow.org/performance/benchmarks <br />
<br />
[4] https://www.docker.com<br />
<br />
[5] https://docs.docker.com/develop/develop-images/dockerfile_best-practices/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Performance_Optimization_of_the_dCache_Storage_System&diff=5222Performance Optimization of the dCache Storage System2018-10-09T09:24:21Z<p>Nico.schlitter: </p>
<hr />
<div>=== Introduction ===<br />
dCache is a distributed management software for governing huge amounts of data without a hard limit, easily reaching the petabyte range. Besides disk storage, it also has the ability to incorporate additional "tertiary storage systems", like magnetic tape libraries, as supplementary, cheaper storage extensions. Whenever a file is copied from disk to such a tertiary storage backend, dCache relies on user-provided, third party executables - scripts or binaries - to perform all necessary steps. The result of that process is a URI, which dCache needs to stage the specific file back to disk on demand, ideally by means of the very same executable.<br />
<br />
=== Task ===<br />
With the current implementation, we face problems about Kernel limitations and memory starvation, which are not fully understood. The task you will take on is to evaluate different solutions and implement the one you consider most appropriate.<br />
<br />
=== Requirements ===<br />
dCache is developed in Java, hence, some familiarity would be highly beneficial.<br />
Because dCache and the frontend of the tape backend are hosted on different nodes, communication has to travel through network. So whatever facilities are employed, knowledge regarding TCP/IP capabilities of the selected tools is of vital importance.<br />
Lastly, we're talking about storage solutions, which are always based on POSIX standards (so far). Depending on your ideas, you might need to work in accordance with those standards.<br />
<br />
=== Contact ===<br />
[mailto:samuel.perez@kit.edu samuel.perez@kit.edu]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Performance_Optimization_of_the_dCache_Storage_System&diff=5221Performance Optimization of the dCache Storage System2018-10-09T09:24:02Z<p>Nico.schlitter: </p>
<hr />
<div>=== Introduction ===<br />
dCache is a distributed management software for governing huge amounts of data without a hard limit, easily reaching the petabyte range. Besides disk storage, it also has the ability to incorporate additional "tertiary storage systems", like magnetic tape libraries, as supplementary, cheaper storage extensions. Whenever a file is copied from disk to such a tertiary storage backend, dCache relies on user-provided, third party executables - scripts or binaries - to perform all necessary steps. The result of that process is a URI, which dCache needs to stage the specific file back to disk on demand, ideally by means of the very same executable.<br />
<br />
=== Task ===<br />
With the current implementation, we face problems about Kernel limitations and memory starvation, which are not fully understood. The task you will take on is to evaluate different solutions and implement the one you consider most appropriate.<br />
<br />
=== Requirements ===<br />
dCache is developed in Java, hence, some familiarity would be highly beneficial.<br />
Because dCache and the frontend of the tape backend are hosted on different nodes, communication has to travel through network. So whatever facilities are employed, knowledge regarding TCP/IP capabilities of the selected tools is of vital importance.<br />
Lastly, we're talking about storage solutions, which are always based on POSIX standards (so far). Depending on your ideas, you might need to work in accordance with those standards.<br />
<br />
= Contact =<br />
[mailto:samuel.perez@kit.edu samuel.perez@kit.edu]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Auswertung_von_Metadaten_in_gro%C3%9Fen_Speichersystemen&diff=5220Auswertung von Metadaten in großen Speichersystemen2018-10-09T09:23:18Z<p>Nico.schlitter: </p>
<hr />
<div>= Beschreibung =<br />
<br />
Die Large Scale Data Facility (LSDF) am SCC stellt Wissenschaftlern einen großen Datenspeicher mit momentan über 10 Petabyte zur Verfügung. In dem Speichersystem befinden sich momentan mehrere 100-Millionen einzelne Dateien sehr unterschiedlicher Größe. Für die Überwachung des Systems und zum Verständnis der Arbeitsweise der Nutzer werden in regelnmäßigen Abständen Informationen über die Eigenschaften aller Dateien in eine NoSQL-Datenbank (Elasticsearch) gespeichert. Im Rahmen dieses Praktikums geht es darum, die in der Elasticsearch-Datenbank gespeicherte Daten auszuwerten und mit geeigneten Werkzeugen zu visualiseren, um verschiedene für den Betrieb der Speicherplattform relevante Fragestellungen zu beantworten,<br />
<br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse in der Administration von Linuxsystemn<br />
<br />
= Kontakt =<br />
[mailto:jan.sundermann@kit.edu jan.sundermann@kit.edu]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Migration_eines_RedMine_Systems&diff=5219Migration eines RedMine Systems2018-10-09T09:22:04Z<p>Nico.schlitter: Created page with "=== Beschreibung === Das SCC betreibt mehrere Projektmanagement-System basierend auf der OpenSource Software RedMine [1]. Um den langfristigen Betrieb zu vereinfachen, streben..."</p>
<hr />
<div>=== Beschreibung ===<br />
Das SCC betreibt mehrere Projektmanagement-System basierend auf der OpenSource Software RedMine [1]. Um den langfristigen Betrieb zu vereinfachen, streben wir eine Konsolidierung dieser Infrastrukturen an. <br />
<br />
Das Ziel des Praktikums ist die Überführung der Inhalte eines älteren RedMine-Systems auf eine bereits vorhandene andere Instanz. Das Praktikum lässt sich in die folgenden Arbeitsschritte unterteilen:<br />
* Untersuchung der Redmine-Software (Inhaltstypen, Rechtemanagement, APIs)<br />
* Analyse des zu migrierenden System (Inhalte)<br />
* Untersuchung verschiedenen Migrationspfade (eigene vs. vorhandene Tools)<br />
* Erstellung eines Migrationsplan<br />
* Installation einer Testumgebung<br />
* Implementierung notwendiger Tools<br />
* Migration der Inhalte<br />
* Prüfen der Migration<br />
<br />
=== Voraussetzungen ===<br />
* Grundkenntnisse in der Administration von Linuxsystemen<br />
* Grundkenntnisse in der Nutzung von Datenbanken z.B. mysql<br />
* Programmierkenntnisse<br />
<br />
<br />
=== Kontakt ===<br />
<br />
[mailto:Nico.Schlitter@kit.edu Nico.Schlitter@kit.edu]<br />
<br />
=== Referenzen ===<br />
[1] http://www.redmine.org/</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Prototypische_Entwicklung_eines_S3-Servers_in_IBM_Spectrum_Scale&diff=5218Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale2018-10-09T09:03:58Z<p>Nico.schlitter: </p>
<hr />
<div>= Beschreibung =<br />
<br />
Die Large Scale Data Facility (LSDF) am SCC stellt Wissenschaftlern einen großen Datenspeicher mit momentan über 10 Petabyte zur Verfügung. Als Software-Defined-Storage-Layer wird in der LSDF das geclusterte Dateisystem IBM Spectrum Scale eingesetzt. Der Zugriff kann über verschiedene Protokolle wie NFS, CIFS oder SFTP/SSH erfolgen. Im Rahmen dieses Praktikums soll untersucht werden, wie der Zugriff auf die Daten in der LSDF über das Simple Storage Service (S3) Protokoll erfolgen kann und anschliessend ein Service als Prototyp aufgebaut werden. Der Fokus liegt dabei insbesondere auf der S3-Implementierung, die in Spectrum Scale bereits existiert. <br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse in der Administration von Linuxsystemen<br />
<br />
= Contact =<br />
[mailto:jan.sundermann@kit.edu jan.sundermann@kit.edu]<br />
<br />
= Weitere Informationen =<br />
<br />
[1]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/ibmspectrumscale423_welcome.html<br />
<br />
[2]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1ins_S3APIemulation.htm</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5217Praktikum Datenmanagement und Datenanalyse am SCC2018-10-09T08:56:37Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.kit.edu/live/campus/all/event.asp?objgguid=NEW&from=vvz&gguid=0x2D8B046C62054DAEA90729B113E4F479&mode=own&tguid=0x02C1D432853BA34E9DDF95D27D01436F Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 10.10.2018 um 14.00 Uhr am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [http://wiki.lsdf.kit.edu http://wiki.lsdf.kit.edu]<br />
<br />
<br />
Themenliste:<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Auswertung von Metadaten in großen Speichersystemen ]]<br />
* [[ Benchmarking Deep learning platforms by means of Tensorflow and Docker ]]<br />
* [[ Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale ]]<br />
* [[ Performance Optimization of the dCache Storage System ]]<br />
* [[ Migration eines RedMine Systems ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5216Praktikum Datenmanagement und Datenanalyse am SCC2018-10-09T08:01:49Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.kit.edu/live/campus/all/event.asp?objgguid=NEW&from=vvz&gguid=0x2D8B046C62054DAEA90729B113E4F479&mode=own&tguid=0x02C1D432853BA34E9DDF95D27D01436F Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 10.10.2018 um 14.00 Uhr am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [http://wiki.lsdf.kit.edu http://wiki.lsdf.kit.edu]<br />
<br />
<br />
Themenliste:<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Auswertung von Metadaten in großen Speichersystemen ]]<br />
* [[ Benchmarking Deep learning platforms by means of Tensorflow and Docker ]]<br />
* [[ Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale ]]<br />
* [[ Performance Optimization of the dCache Storage System ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Performance_Optimization_of_the_dCache_Storage_System&diff=5209Performance Optimization of the dCache Storage System2018-10-02T12:19:28Z<p>Nico.schlitter: Created page with "=== Introduction === dCache is a distributed management software for governing huge amounts of data without a hard limit, easily reaching the petabyte range. Besides disk stor..."</p>
<hr />
<div>=== Introduction ===<br />
dCache is a distributed management software for governing huge amounts of data without a hard limit, easily reaching the petabyte range. Besides disk storage, it also has the ability to incorporate additional "tertiary storage systems", like magnetic tape libraries, as supplementary, cheaper storage extensions. Whenever a file is copied from disk to such a tertiary storage backend, dCache relies on user-provided, third party executables - scripts or binaries - to perform all necessary steps. The result of that process is a URI, which dCache needs to stage the specific file back to disk on demand, ideally by means of the very same executable.<br />
<br />
=== Task ===<br />
With the current implementation, we face problems about Kernel limitations and memory starvation, which are not fully understood. The task you will take on is to evaluate different solutions and implement the one you consider most appropriate.<br />
<br />
=== Requirements ===<br />
dCache is developed in Java, hence, some familiarity would be highly beneficial.<br />
Because dCache and the frontend of the tape backend are hosted on different nodes, communication has to travel through network. So whatever facilities are employed, knowledge regarding TCP/IP capabilities of the selected tools is of vital importance.<br />
Lastly, we're talking about storage solutions, which are always based on POSIX standards (so far). Depending on your ideas, you might need to work in accordance with those standards.</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Praktikum_Datenmanagement_und_Datenanalyse_am_SCC&diff=5208Praktikum Datenmanagement und Datenanalyse am SCC2018-10-02T12:18:15Z<p>Nico.schlitter: </p>
<hr />
<div>Die unten gelisteten Themen können im Rahmen des [https://campus.kit.edu/live/campus/all/event.asp?objgguid=NEW&from=vvz&gguid=0x2D8B046C62054DAEA90729B113E4F479&mode=own&tguid=0x02C1D432853BA34E9DDF95D27D01436F Praktikums Datenmanagement und Datenanalyse] am SCC bearbeitet werden. Die Themenliste wird bis zur Einführungsveranstaltung um weitere Themen ergänzt werden.<br />
<br />
Für die Teilnahme am Praktikum ist eine vorherige Anmeldung erforderlich. Bitte schicken Sie eine kurze E-Mail mit Lebenslauf und Notenauszug an Nico.Schlitter@kit.edu. <br />
<br />
Die Einführungsveranstaltung findet am 10.10.2018 am Campus Süd Gebäude 20.21 in Raum 314 statt.<br />
<br />
<br />
Die Themen stammen aus unterschiedlichen, am SCC beheimateten Projekten:<br />
* LHC GridComputing Karlsruhe [http://www.gridka.de http://www.gridka.de]<br />
* Smart Data Innovation Lab [http://www.sdil.de http://www.sdil.de]<br />
* Large Scale Data Facility (LSDF) [http://wiki.lsdf.kit.edu http://wiki.lsdf.kit.edu]<br />
<br />
<br />
Themenliste:<br />
* [[ Monitoring the availability of firmware updates ]]<br />
* [[ Prototypische Entwicklung eines WebDAV-Servers mit OpenID-Connect Authentifizierung]]<br />
* [[ Large-scale visualisation/analysis platform for climate data ]]<br />
* [[ Auswertung von Metadaten in großen Speichersystemen ]]<br />
* [[ Benchmarking of Tensorflow using Docker ]]<br />
* [[ Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale ]]<br />
* [[ Performance Optimization of the dCache Storage System ]]</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Prototypische_Entwicklung_eines_S3-Servers_in_IBM_Spectrum_Scale&diff=5207Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale2018-10-02T12:06:41Z<p>Nico.schlitter: </p>
<hr />
<div>= Beschreibung =<br />
<br />
Die Large Scale Data Facility (LSDF) am SCC stellt Wissenschaftlern einen großen Datenspeicher mit momentan über 10 Petabyte zur Verfügung. Als Software-Defined-Storage-Layer wird in der LSDF das geclusterte Dateisystem IBM Spectrum Scale eingesetzt. Der Zugriff kann über verschiedene Protokolle wie NFS, CIFS oder SFTP/SSH erfolgen. Im Rahmen dieses Praktikums soll untersucht werden, wie der Zugriff auf die Daten in der LSDF über das Simple Storage Service (S3) Protokoll erfolgen kann und anschliessend ein Service als Prototyp aufgebaut werden. Der Fokus liegt dabei insbesondere auf der S3-Implementierung, die in Spectrum Scale bereits existiert. <br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse in der Administration von Linuxsystemn<br />
<br />
= Contact =<br />
[mailto:jan.sundermann@kit.edu jan.sundermann@kit.edu]<br />
<br />
= Weitere Informationen =<br />
<br />
[1]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/ibmspectrumscale423_welcome.html<br />
<br />
[2]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1ins_S3APIemulation.htm</div>Nico.schlitterhttps://wiki.scc.kit.edu/lsdf/index.php?title=Prototypische_Entwicklung_eines_S3-Servers_in_IBM_Spectrum_Scale&diff=5206Prototypische Entwicklung eines S3-Servers in IBM Spectrum Scale2018-10-02T12:06:27Z<p>Nico.schlitter: Created page with "= Beschreibung = Die Large Scale Data Facility (LSDF) am SCC stellt Wissenschaftlern einen großen Datenspeicher mit momentan über 10 Petabyte zur Verfügung. Als Software-D..."</p>
<hr />
<div>= Beschreibung =<br />
<br />
Die Large Scale Data Facility (LSDF) am SCC stellt Wissenschaftlern einen großen Datenspeicher mit momentan über 10 Petabyte zur Verfügung. Als Software-Defined-Storage-Layer wird in der LSDF das geclusterte Dateisystem IBM Spectrum Scale eingesetzt. Der Zugriff kann über verschiedene Protokolle wie NFS, CIFS oder SFTP/SSH erfolgen. Im Rahmen dieses Praktikums soll untersucht werden, wie der Zugriff auf die Daten in der LSDF über das Simple Storage Service (S3) Protokoll erfolgen kann und anschliessend ein Service als Prototyp aufgebaut werden. Der Fokus liegt dabei insbesondere auf der S3-Implementierung, die in Spectrum Scale bereits existiert. <br />
<br />
= Voraussetzungen =<br />
* Grundkenntnisse in der Administration von Linuxsystemn<br />
<br />
= Contact =<br />
[mailto:jan.sundermann@kit.edu jan.sundermann@kit.edu]<br />
<br />
= Weitere Informationen =<br />
<br />
[1]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/ibmspectrumscale423_welcome.html<br />
[2]: https://www.ibm.com/support/knowledgecenter/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1ins_S3APIemulation.htm</div>Nico.schlitter