hidden:Plans to be discussed: Difference between revisions

From Lsdf
Jump to navigationJump to search
(Added DIS todo for Jos, Petzi and marcus)
 
(14 intermediate revisions by 4 users not shown)
Line 1: Line 1:
Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.
=Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.=


⚫
* Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
⚫
* LSDF-DIS
** TAB20150225: nach auftrennung der nicht KIT/NFS mounts sind sowohl CIFS als NFS shares erlaubt
⚫
bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter?
⚫
Erweiterung -> geht wohl technisch eher nicht
⚫
Was planen wir? Wie sieht es mit Wartung aus usw.


⚫
* gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
⚫
Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
** TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
*** sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE


⚫
* konsolidierung von benutzer/institute/accounts
⚫
Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
** TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised


* Zusammen packen von directories mit das accounting/reporting besser geht DONE
⚫
* DDN-Cluster - Wartung? Zukunft?

* TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE
⚫
* verbesserte anbindung an IC2, FORlr etc.
⚫
* zweiter Jumphost oder andere redundante zugang fuer admins
⚫
** SSH zugriff nur ueber jumphost. Keine loecher in den FW.

⚫
* themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
⚫
** benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
⚫
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
⚫
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)

⚫
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)

* DDN:/gpfs/lsdf/test =>
*mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE

=Hardware=
* TAB20150408: Need price indication for GPFS in LSDF and GridKa combined. Preferred solution is GPFS as storage layer for diverse services on GPFS clients.

⚫
==LSDF-DIS==
⚫
** bereits 84% voll, ca. 400 TB frei - wie geht es damit weiter?
⚫
** Erweiterung -> geht wohl technisch eher nicht
⚫
** Was planen wir? Wie sieht es mit Wartung aus usw.
⚫
** Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
⚫
** Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
* SONAS - Wartung? Zukunft?
* SONAS - Wartung? Zukunft?
⚫
* rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
⚫
* Wo ist die V7000 hin der mal als Block storage benutzt wurde?
⚫
* ist der von DIS an BW ausgeliehene DS5000 schon zurueck?


==DDN-Cluster==
⚫
* cfengine - abschalten, puppet einfuehren?
⚫
* DDN-Cluster - Wartung? Zukunft?
** kommenden 2 Jahre ueber wartung (DDN und K&P) gesichert.
** TAB20150507. Topic geschlossen.


⚫
Weitere Vorschlaege zur Konsolidierung:


⚫
=Weitere Vorschlaege zur Konsolidierung:=
⚫
* cfengine - abschalten, puppet einfuehren? In progress
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.


=Dienste=
* share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
* share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
** share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
** share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
Line 26: Line 60:
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten


=Auth[NZ]=
⚫
* Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
Dann zukuenftig nur cifs (scp/sftp) erlauben?

* -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
* -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
* -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
* -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen


=Projekte=
⚫
* gridftp zu und von LSDF DIS in stand setzen und beschreiben fuer Benutzer
⚫
* konsolidierung von benutzer/institute/accounts
** beispiel: ITG hat mehere direktories auf mehrere Systeme
** beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
** beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)
rueckbau der NFS und der remote GPI machine (Frau Knopf)
⚫
* verbesserte anbindung an IC2, FORlr etc.
⚫
* zweiter Jumphost oder andere redundante zugang fuer admins
⚫
** SSH zugriff nur ueber jumphost. Keine loecher in den FW.
⚫
* themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
⚫
** benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
⚫
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
⚫
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)


* Bereitstellen server and storage for EUDAT iRODs. Uebersicht der verschiedene server fehlt. Services sind bekannt: ENES (=EUDAT), test? , Datenverbund
** TAB 20150507: ubersichterstellen der iRODs services

==Hadoop Migration==
⚫
* neue version von hadoop fertig stellen DONE
* zugang von DIS SONAS auf Hadoop ermoeglichen
* zugang von DIS SONAS auf Hadoop ermoeglichen
** Marcus koordiniert mit Peter
** Marcus koordiniert mit Peter DONE
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht)
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE
** die hadoop wird an die ldap facade haengen.
** die hadoop wird an die ldap facade haengen. DONE
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE
** ditto fuer die HDFS daten
** ditto fuer die HDFS daten DONE
** hadoop freigeben fuer betrieb
** hadoop freigeben fuer betrieb DONE
** DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus)
** DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN
*** Marcus nimmt kontakt auf mit DEI zur verwendung des entitlements



==Astor==
⚫
* neue version von hadoop fertig stellen
* Wo soll ASTOR hin schreiben?
⚫
* accounting fuer berichterstattung (wer verbraucht wieviel speicher)
* Wie bekommen wir nfs, samba, evtl sftp auf Trab?
⚫
* rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
* Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?
⚫
* Wo ist die V7000 hin der mal als Block storage benutzt wurde?
Share von ASTOR nach wie vor leer...!
⚫
* ist der von DIS an BW ausgeliehene DS5000 schon zurueck?

Latest revision as of 16:43, 24 February 2016

Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.

  • Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
    • TAB20150225: nach auftrennung der nicht KIT/NFS mounts sind sowohl CIFS als NFS shares erlaubt
  • gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
    • TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
      • sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE
  • konsolidierung von benutzer/institute/accounts
    • TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised
  • Zusammen packen von directories mit das accounting/reporting besser geht DONE
  • TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE
  • verbesserte anbindung an IC2, FORlr etc.
  • zweiter Jumphost oder andere redundante zugang fuer admins
    • SSH zugriff nur ueber jumphost. Keine loecher in den FW.
  • themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
    • benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
    • die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
    • neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
  • accounting fuer berichterstattung (wer verbraucht wieviel speicher)
  • DDN:/gpfs/lsdf/test =>
  • mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE

Hardware

  • TAB20150408: Need price indication for GPFS in LSDF and GridKa combined. Preferred solution is GPFS as storage layer for diverse services on GPFS clients.

LSDF-DIS

    • bereits 84% voll, ca. 400 TB frei - wie geht es damit weiter?
    • Erweiterung -> geht wohl technisch eher nicht
    • Was planen wir? Wie sieht es mit Wartung aus usw.
    • Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
    • Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
  • SONAS - Wartung? Zukunft?
  • rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
  • Wo ist die V7000 hin der mal als Block storage benutzt wurde?
  • ist der von DIS an BW ausgeliehene DS5000 schon zurueck?

DDN-Cluster

  • DDN-Cluster - Wartung? Zukunft?
    • kommenden 2 Jahre ueber wartung (DDN und K&P) gesichert.
    • TAB20150507. Topic geschlossen.


Weitere Vorschlaege zur Konsolidierung:

  • cfengine - abschalten, puppet einfuehren? In progress
  • Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
    • important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.

Dienste

  • share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
    • share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
  • NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen

derzeitige manuelle Benutzerverwaltung per Datenbank abschalten

Auth[NZ]

  • -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
  • -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen

Projekte

  • Bereitstellen server and storage for EUDAT iRODs. Uebersicht der verschiedene server fehlt. Services sind bekannt: ENES (=EUDAT), test? , Datenverbund
    • TAB 20150507: ubersichterstellen der iRODs services

Hadoop Migration

  • neue version von hadoop fertig stellen DONE
  • zugang von DIS SONAS auf Hadoop ermoeglichen
    • Marcus koordiniert mit Peter DONE
    • rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE
    • marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE
    • die hadoop wird an die ldap facade haengen. DONE
    • dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE
    • ditto fuer die HDFS daten DONE
    • hadoop freigeben fuer betrieb DONE
    • DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN
      • Marcus nimmt kontakt auf mit DEI zur verwendung des entitlements

Astor

  • Wo soll ASTOR hin schreiben?
  • Wie bekommen wir nfs, samba, evtl sftp auf Trab?
  • Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?

Share von ASTOR nach wie vor leer...!

Retrieved from "https://wiki.scc.kit.edu/lsdf/index.php?title=hidden:Plans_to_be_discussed&oldid=3410"