hidden:Plans to be discussed: Difference between revisions

From Lsdf
Jump to navigationJump to search
No edit summary
No edit summary
Line 44: Line 44:
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)

* zugang von DIS SONAS auf Hadoop ermoeglichen
* zugang von DIS SONAS auf Hadoop ermoeglichen
** Marcus koordiniert mit Peter
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht)
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)
** die hadoop wird an die ldap facade haengen.
** die hadoop wird an die ldap facade haengen.
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt
** ditto fuer die HDFS daten
** hadoop freigeben fuer betrieb


* neue version von hadoop fertig stellen
* neue version von hadoop fertig stellen
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)

Revision as of 13:02, 24 October 2014

Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.

  • LSDF-DIS

bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter? Erweiterung -> geht wohl technisch eher nicht Was planen wir? Wie sieht es mit Wartung aus usw.

Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.

Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.

  • DDN-Cluster - Wartung? Zukunft?
  • SONAS - Wartung? Zukunft?
  • cfengine - abschalten, puppet einfuehren?

Weitere Vorschlaege zur Konsolidierung:

  • Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
  • share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
    • share.lsdf.kit.edu is zugaenglich fuer alle.
  • NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen

derzeitige manuelle Benutzerverwaltung per Datenbank abschalten

  • Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?

Dann zukuenftig nur cifs (scp/sftp) erlauben?

  • -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
  • -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
  • gridftp zu und von LSDF DIS in stand setzen und beschreiben fuer Benutzer
  • konsolidierung von benutzer/institute/accounts
    • beispiel: ITG hat mehere direktories auf mehrere Systeme
    • beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
    • beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)

rueckbau der NFS und der remote GPI machine (Frau Knopf)

  • verbesserte anbindung an IC2, FORlr etc.
  • zweiter Jumphost oder andere redundante zugang fuer admins
    • SSH zugriff nur ueber jumphost. Keine loecher in den FW.
  • themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
    • benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
    • die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
    • neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
  • zugang von DIS SONAS auf Hadoop ermoeglichen
    • Marcus koordiniert mit Peter
    • rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht)
    • marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)
    • die hadoop wird an die ldap facade haengen.
    • dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt
    • ditto fuer die HDFS daten
    • hadoop freigeben fuer betrieb


  • neue version von hadoop fertig stellen
  • accounting fuer berichterstattung (wer verbraucht wieviel speicher)
  • rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
  • Wo ist die V7000 hin der mal als Block storage benutzt wurde?
  • ist der von DIS an BW ausgeliehene DS5000 schon zurueck?