hidden:Plans to be discussed: Difference between revisions
From Lsdf
Jump to navigationJump to search
(Created page with "hidden:Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten. 1. LSDF-DIS bereits 78% voll, ca. 622 TB frei - wie geht es damit weiter? Erweiterung -> …") |
(→Astor) |
||
(24 intermediate revisions by 4 users not shown) | |||
Line 1: | Line 1: | ||
=Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.= |
|||
* Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal? |
|||
⚫ | |||
** TAB20150225: nach auftrennung der nicht KIT/NFS mounts sind sowohl CIFS als NFS shares erlaubt |
|||
⚫ | |||
⚫ | |||
⚫ | |||
* gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer |
|||
⚫ | |||
** TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen. |
|||
*** sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE |
|||
* konsolidierung von benutzer/institute/accounts |
|||
⚫ | |||
** TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised |
|||
* Zusammen packen von directories mit das accounting/reporting besser geht DONE |
|||
⚫ | |||
* TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE |
|||
⚫ | |||
* verbesserte anbindung an IC2, FORlr etc. |
|||
* zweiter Jumphost oder andere redundante zugang fuer admins |
|||
** SSH zugriff nur ueber jumphost. Keine loecher in den FW. |
|||
* themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum |
|||
⚫ | |||
** benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF |
|||
** die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt. |
|||
** neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?) |
|||
* accounting fuer berichterstattung (wer verbraucht wieviel speicher) |
|||
⚫ | |||
* DDN:/gpfs/lsdf/test => |
|||
*mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE |
|||
=Hardware= |
|||
* TAB20150408: Need price indication for GPFS in LSDF and GridKa combined. Preferred solution is GPFS as storage layer for diverse services on GPFS clients. |
|||
⚫ | |||
⚫ | |||
⚫ | |||
⚫ | |||
** Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change. |
|||
** Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment. |
|||
* SONAS - Wartung? Zukunft? |
|||
* rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren |
|||
* Wo ist die V7000 hin der mal als Block storage benutzt wurde? |
|||
* ist der von DIS an BW ausgeliehene DS5000 schon zurueck? |
|||
==DDN-Cluster== |
|||
⚫ | |||
** kommenden 2 Jahre ueber wartung (DDN und K&P) gesichert. |
|||
** TAB20150507. Topic geschlossen. |
|||
⚫ | |||
⚫ | |||
⚫ | |||
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'. |
|||
=Dienste= |
|||
⚫ | |||
** share.lsdf.kit.edu is acessible in the internet. http sonas nicht. |
|||
⚫ | |||
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten |
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten |
||
=Auth[NZ]= |
|||
* -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden? |
|||
* -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen |
|||
=Projekte= |
|||
* Bereitstellen server and storage for EUDAT iRODs. Uebersicht der verschiedene server fehlt. Services sind bekannt: ENES (=EUDAT), test? , Datenverbund |
|||
** TAB 20150507: ubersichterstellen der iRODs services |
|||
==Hadoop Migration== |
|||
* neue version von hadoop fertig stellen DONE |
|||
* zugang von DIS SONAS auf Hadoop ermoeglichen |
|||
** Marcus koordiniert mit Peter DONE |
|||
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE |
|||
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE |
|||
** die hadoop wird an die ldap facade haengen. DONE |
|||
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE |
|||
** ditto fuer die HDFS daten DONE |
|||
** hadoop freigeben fuer betrieb DONE |
|||
** DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN |
|||
*** Marcus nimmt kontakt auf mit DEI zur verwendung des entitlements |
|||
==Astor== |
|||
* Wo soll ASTOR hin schreiben? |
|||
* Wie bekommen wir nfs, samba, evtl sftp auf Trab? |
|||
* Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht? |
|||
Share von ASTOR nach wie vor leer...! |
Latest revision as of 16:43, 24 February 2016
Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.
- Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
- TAB20150225: nach auftrennung der nicht KIT/NFS mounts sind sowohl CIFS als NFS shares erlaubt
- gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
- TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
- sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE
- TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
- konsolidierung von benutzer/institute/accounts
- TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised
- Zusammen packen von directories mit das accounting/reporting besser geht DONE
- TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE
- verbesserte anbindung an IC2, FORlr etc.
- zweiter Jumphost oder andere redundante zugang fuer admins
- SSH zugriff nur ueber jumphost. Keine loecher in den FW.
- themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
- benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
- die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
- neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
- accounting fuer berichterstattung (wer verbraucht wieviel speicher)
- DDN:/gpfs/lsdf/test =>
- mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE
Hardware
- TAB20150408: Need price indication for GPFS in LSDF and GridKa combined. Preferred solution is GPFS as storage layer for diverse services on GPFS clients.
LSDF-DIS
- bereits 84% voll, ca. 400 TB frei - wie geht es damit weiter?
- Erweiterung -> geht wohl technisch eher nicht
- Was planen wir? Wie sieht es mit Wartung aus usw.
- Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
- Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
- SONAS - Wartung? Zukunft?
- rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
- Wo ist die V7000 hin der mal als Block storage benutzt wurde?
- ist der von DIS an BW ausgeliehene DS5000 schon zurueck?
DDN-Cluster
- DDN-Cluster - Wartung? Zukunft?
- kommenden 2 Jahre ueber wartung (DDN und K&P) gesichert.
- TAB20150507. Topic geschlossen.
Weitere Vorschlaege zur Konsolidierung:
- cfengine - abschalten, puppet einfuehren? In progress
- Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
- important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
Dienste
- share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
- share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
- NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
Auth[NZ]
- -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
- -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
Projekte
- Bereitstellen server and storage for EUDAT iRODs. Uebersicht der verschiedene server fehlt. Services sind bekannt: ENES (=EUDAT), test? , Datenverbund
- TAB 20150507: ubersichterstellen der iRODs services
Hadoop Migration
- neue version von hadoop fertig stellen DONE
- zugang von DIS SONAS auf Hadoop ermoeglichen
- Marcus koordiniert mit Peter DONE
- rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE
- marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE
- die hadoop wird an die ldap facade haengen. DONE
- dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE
- ditto fuer die HDFS daten DONE
- hadoop freigeben fuer betrieb DONE
- DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN
- Marcus nimmt kontakt auf mit DEI zur verwendung des entitlements
Astor
- Wo soll ASTOR hin schreiben?
- Wie bekommen wir nfs, samba, evtl sftp auf Trab?
- Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?
Share von ASTOR nach wie vor leer...!