Difference between revisions of "hidden:Plans to be discussed"

From Lsdf
(Added DIS todo for Jos, Petzi and marcus)
Line 1: Line 1:
−
Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.
 +
=Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.=
   
  +
* Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
−
* LSDF-DIS
  
  +
** => Dann zukuenftig nur cifs (scp/sftp) erlauben?
−
bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter?
  
−
Erweiterung -> geht wohl technisch eher nicht
  
−
Was planen wir? Wie sieht es mit Wartung aus usw.
  
   
  +
* gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
−
Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
  
  +
* konsolidierung von benutzer/institute/accounts
  +
** beispiel: ITG hat mehere direktories auf mehrere Systeme
  +
** beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
  +
** beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)
   
  +
* rueckbau der NFS und der remote GPI machine (Frau Knopf)
−
Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
  
  +
* verbesserte anbindung an IC2, FORlr etc.
  +
* zweiter Jumphost oder andere redundante zugang fuer admins
  +
** SSH zugriff nur ueber jumphost. Keine loecher in den FW.
   
  +
* themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
−
* DDN-Cluster - Wartung? Zukunft?
  
  +
** benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
−
* SONAS - Wartung? Zukunft?
  
  +
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
  +
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
   
  +
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)
−
* cfengine - abschalten, puppet einfuehren?
  
   
  +
* DDN:/gpfs/lsdf/test =>
−
Weitere Vorschlaege zur Konsolidierung:
  
   
  +
=Hardware=
  +
==LSDF-DIS==
  +
** bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter?
  +
** Erweiterung -> geht wohl technisch eher nicht
  +
** Was planen wir? Wie sieht es mit Wartung aus usw.
  +
** Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
  +
** Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
  +
* SONAS - Wartung? Zukunft?
  +
* rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
  +
* Wo ist die V7000 hin der mal als Block storage benutzt wurde?
  +
* ist der von DIS an BW ausgeliehene DS5000 schon zurueck?
  +
  +
==DDN-Cluster==
  +
* DDN-Cluster - Wartung? Zukunft?
  +
  +
=Weitere Vorschlaege zur Konsolidierung:=
  +
* cfengine - abschalten, puppet einfuehren?
 
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
  
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
 
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
  
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
   
  +
  +
=Dienste=
 
* share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
  
* share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
 
** share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
  
** share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
Line 26: Line 52:
 
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
  
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
   
−
* Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
  
−
Dann zukuenftig nur cifs (scp/sftp) erlauben?
  
   
  +
=Auth[NZ]=
 
* -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
  
* -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
 
* -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
  
* -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
   
  +
=Projekte=
−
* gridftp zu und von LSDF DIS in stand setzen und beschreiben fuer Benutzer
  
−
* konsolidierung von benutzer/institute/accounts
  
−
** beispiel: ITG hat mehere direktories auf mehrere Systeme
  
−
** beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
  
−
** beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)
  
−
rueckbau der NFS und der remote GPI machine (Frau Knopf)
  
−
* verbesserte anbindung an IC2, FORlr etc.
 
−
* zweiter Jumphost oder andere redundante zugang fuer admins
  
−
** SSH zugriff nur ueber jumphost. Keine loecher in den FW.
  
−
* themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
  
−
** benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
 
−
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
  
−
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
 
   
  +
==Hadoop Migration==
  +
* neue version von hadoop fertig stellen
 
* zugang von DIS SONAS auf Hadoop ermoeglichen
  
* zugang von DIS SONAS auf Hadoop ermoeglichen
 
** Marcus koordiniert mit Peter
  
** Marcus koordiniert mit Peter
Line 57: Line 72:
   
   
  +
==Astor==
−
* neue version von hadoop fertig stellen
  
  +
* Wo soll ASTOR hin schreiben?
−
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)
  
  +
* Wie bekommen wir nfs, samba, evtl sftp auf Trab?
−
* rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
  
  +
* Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?
−
* Wo ist die V7000 hin der mal als Block storage benutzt wurde?
  
−
* ist der von DIS an BW ausgeliehene DS5000 schon zurueck?
  

Revision as of 18:53, 19 November 2014

Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.

  • Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
    • => Dann zukuenftig nur cifs (scp/sftp) erlauben?
  • gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
  • konsolidierung von benutzer/institute/accounts
    • beispiel: ITG hat mehere direktories auf mehrere Systeme
    • beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
    • beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)
  • rueckbau der NFS und der remote GPI machine (Frau Knopf)
  • verbesserte anbindung an IC2, FORlr etc.
  • zweiter Jumphost oder andere redundante zugang fuer admins
    • SSH zugriff nur ueber jumphost. Keine loecher in den FW.
  • themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
    • benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
    • die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
    • neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
  • accounting fuer berichterstattung (wer verbraucht wieviel speicher)
  • DDN:/gpfs/lsdf/test =>

Hardware

LSDF-DIS

    • bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter?
    • Erweiterung -> geht wohl technisch eher nicht
    • Was planen wir? Wie sieht es mit Wartung aus usw.
    • Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
    • Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
  • SONAS - Wartung? Zukunft?
  • rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
  • Wo ist die V7000 hin der mal als Block storage benutzt wurde?
  • ist der von DIS an BW ausgeliehene DS5000 schon zurueck?

DDN-Cluster

  • DDN-Cluster - Wartung? Zukunft?

Weitere Vorschlaege zur Konsolidierung:

  • cfengine - abschalten, puppet einfuehren?
  • Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
    • important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.


Dienste

  • share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
    • share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
  • NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen

derzeitige manuelle Benutzerverwaltung per Datenbank abschalten


Auth[NZ]

  • -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
  • -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen

Projekte

Hadoop Migration

  • neue version von hadoop fertig stellen
  • zugang von DIS SONAS auf Hadoop ermoeglichen
    • Marcus koordiniert mit Peter
    • rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht)
    • marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)
    • die hadoop wird an die ldap facade haengen.
    • dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt
    • ditto fuer die HDFS daten
    • hadoop freigeben fuer betrieb
    • DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus)


Astor

  • Wo soll ASTOR hin schreiben?
  • Wie bekommen wir nfs, samba, evtl sftp auf Trab?
  • Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?
Retrieved from "https://wiki.scc.kit.edu/lsdf/index.php?title=hidden:Plans_to_be_discussed&oldid=2568"