PSE: Difference between revisions

From Lsdf
Jump to navigationJump to search
(Created page with "Praxis der Software Entwicklung: Entwicklung eines Big Data Brokers Überblick: Wissenschaftliche Forschungsprojekte nutzen oftmals mehrere heterogene Speichersysteme, um wiss…")
 
 
(12 intermediate revisions by 2 users not shown)
Line 1: Line 1:
Praxis der Software Entwicklung: Entwicklung eines Big Data Brokers
=Praxis der Software Entwicklung: Entwicklung eines Big (Meta) Data Visualisers=


===Erster Termin:===
Donnerstag 31.10. 17:00 Scc Geb 20.20 Raum 314 (falls der noch belegt ist: Ausweichraum 203, selbes Gebäude)


⚫
===Überblick===
⚫
Wissenschaftliche Forschungsprojekte nutzen oftmals mehrere heterogene Speichersysteme, um wissenschaftliche Daten im Petabyte-Bereich abzulegen. Bei diesem Projekt am SCC soll ein Werkzeug zur Visualisierung von Nutzungsdaten dieser großen Datenmengen entstehen. Das Ziel ist hierbei produktive Tools zu entwickeln, mit denen dieser teure Speicherplatz effizient verwaltet werden kann. Es soll helfen, ungenutzte Datenmengen zu erkennen und zeitnah auf kostengünstige Speichermedien (Bandlaufwerke) zu migrieren.


⚫
===Projekt===
⚫
Überblick:
Konkret soll eine Web Anwendung implementiert werden, bei der die Clients vom Server die Metadaten abrufen und visualisieren. Vorverarbeitungsschritte können auf dem Server durchgeführt werden.
⚫
Wissenschaftliche Forschungsprojekte nutzen oftmals mehrere heterogene Speichersysteme, um wissenschaftliche Daten im Petabyte-Bereich abzulegen. Beim „Big Data“-Projekt am SCC soll ein Werkzeug zur asynchronen Verwaltung dieser großen Datenmengen entstehen. Das Ziel ist hierbei eine Schnittstelle für die Verwaltung von Datenmengen von mehreren Petabytes zu schaffen.


⚫
===Details===
⚫
Projekt:
⚫
* Es soll ein REST-Server konzipiert und in Python implementiert werden, der Anfragen der clients. Aufgaben des Servers sind:
Konkret soll eine Client-Server Lösung implementiert werden, bei der die Clients dem Server Änderungen in der Dateisystemstruktur und dem Speicherort mitteilen. Der Server muss die Anfrage auf Machbarkeit prüfen, die Durchführung planen (Optimierung, Scheduling) und garantieren und an die ausführenden Agenten weiterleiten. Letztere kopieren, verschieben oder Archivieren die vom Nutzer ausgewählten Dateien.
⚫
** Clientanfragen überprüfen (authentisierung, authorisierung)
⚫
** Statusinformationen bereitstellen
** Vorverarbeitung der Metadaten
⚫
** Fehlerbehanglung, Logging
⚫
* Speichersysteme sollen abstrakt behandelt und klassifiziert werden (Qualitäten, wie Kosten, Verfügbarkeit, ...)


⚫
Clients können jederzeit Statusabfragen machen. Es sollen geeignete Clients entworfen und implementiert werden:
⚫
Details:
** Graphisches Web User Interface (Javascript/HTML5)
⚫
Es soll ein REST-Server konzipiert und in Python implementiert werden, der Datentransfers über Agents koordiniert. Aufgaben des Servers sind:
⚫
* Die Clients sollen von den gängigsten Betriebssystemen aus verwendet werden können
⚫
Clientanfragen überprüfen (collision detection)
⚫
* Zur Kommunikation zwischen den Komponenten sollen REST Schnittstellen verwendet werden
Scheduling und Priorisierung von Datentransfers

Benutzerrechte-Verwaltung
===Kontakt===
⚫
Statusinformationen bereitstellen, Zeitabschätzungen
* Marcus Hardt SCC [mailto:hardt@kit.edu] 24659
⚫
Fehlerbehanglung, Logging
* Jörg Meyer SCC [mailto:joerg.meyer2@kit.edu] 24327
⚫
Speichersystem sollen abstrakt behandelt und klassifiziert werden (Qualitäten, wie Geschwindigkeit, Kapazität, Latenz)
Es sollen durch Module (Agents) verschiedene Kopierprotokolle unterstützt werden (cp, scp, gridftp)
⚫
Clients sollen dazu dienen Datentransfers zu konfigurieren. Die Transfer-Tasks werden an den Server submittiert, der die Anfragen dann asynchron abarbeitet. Clients können jederzeit Statusabfragen machen. Es sollen geeignete Clients entworfen und implementiert werden:
App bzw. Graphisches User Interface (Python/Java)
Web Client
Kommandozeilenbasierte Python-API
optional: virtuelles Dateisystem (FUSE)
⚫
Die Clients sollen von den gängigsten Betriebssystemen aus verwendet werden können
⚫
Zur Kommunikation zwischen den Komponenten sollen REST Schnittstellen verwendet werden

Latest revision as of 20:27, 29 October 2013

Praxis der Software Entwicklung: Entwicklung eines Big (Meta) Data Visualisers

Erster Termin:

Donnerstag 31.10. 17:00 Scc Geb 20.20 Raum 314 (falls der noch belegt ist: Ausweichraum 203, selbes Gebäude)

Überblick

Wissenschaftliche Forschungsprojekte nutzen oftmals mehrere heterogene Speichersysteme, um wissenschaftliche Daten im Petabyte-Bereich abzulegen. Bei diesem Projekt am SCC soll ein Werkzeug zur Visualisierung von Nutzungsdaten dieser großen Datenmengen entstehen. Das Ziel ist hierbei produktive Tools zu entwickeln, mit denen dieser teure Speicherplatz effizient verwaltet werden kann. Es soll helfen, ungenutzte Datenmengen zu erkennen und zeitnah auf kostengünstige Speichermedien (Bandlaufwerke) zu migrieren.

Projekt

Konkret soll eine Web Anwendung implementiert werden, bei der die Clients vom Server die Metadaten abrufen und visualisieren. Vorverarbeitungsschritte können auf dem Server durchgeführt werden.

Details

  • Es soll ein REST-Server konzipiert und in Python implementiert werden, der Anfragen der clients. Aufgaben des Servers sind:
    • Clientanfragen überprüfen (authentisierung, authorisierung)
    • Statusinformationen bereitstellen
    • Vorverarbeitung der Metadaten
    • Fehlerbehanglung, Logging
  • Speichersysteme sollen abstrakt behandelt und klassifiziert werden (Qualitäten, wie Kosten, Verfügbarkeit, ...)

Clients können jederzeit Statusabfragen machen. Es sollen geeignete Clients entworfen und implementiert werden:

    • Graphisches Web User Interface (Javascript/HTML5)
  • Die Clients sollen von den gängigsten Betriebssystemen aus verwendet werden können
  • Zur Kommunikation zwischen den Komponenten sollen REST Schnittstellen verwendet werden

Kontakt

  • Marcus Hardt SCC [1] 24659
  • Jörg Meyer SCC [2] 24327
Retrieved from "https://wiki.scc.kit.edu/lsdf/index.php?title=PSE&oldid=1986"