hidden:Plans to be discussed: Difference between revisions
From Lsdf
Jump to navigationJump to search
mNo edit summary |
(→Astor) |
||
(2 intermediate revisions by the same user not shown) | |||
Line 5: | Line 5: | ||
* gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer |
* gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer |
||
** TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen. |
** TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen. |
||
*** sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE |
|||
* konsolidierung von benutzer/institute/accounts |
* konsolidierung von benutzer/institute/accounts |
||
** TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised |
** TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised |
||
* Zusammen packen von directories mit das accounting/reporting besser geht |
* Zusammen packen von directories mit das accounting/reporting besser geht DONE |
||
* TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. |
* TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE |
||
* verbesserte anbindung an IC2, FORlr etc. |
* verbesserte anbindung an IC2, FORlr etc. |
||
* zweiter Jumphost oder andere redundante zugang fuer admins |
* zweiter Jumphost oder andere redundante zugang fuer admins |
||
Line 25: | Line 26: | ||
* DDN:/gpfs/lsdf/test => |
* DDN:/gpfs/lsdf/test => |
||
*mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? |
*mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE |
||
=Hardware= |
=Hardware= |
||
Line 48: | Line 49: | ||
=Weitere Vorschlaege zur Konsolidierung:= |
=Weitere Vorschlaege zur Konsolidierung:= |
||
* cfengine - abschalten, puppet einfuehren? |
* cfengine - abschalten, puppet einfuehren? In progress |
||
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga |
* Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga |
||
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'. |
** important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'. |
||
Line 85: | Line 86: | ||
* Wie bekommen wir nfs, samba, evtl sftp auf Trab? |
* Wie bekommen wir nfs, samba, evtl sftp auf Trab? |
||
* Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht? |
* Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht? |
||
Share von ASTOR nach wie vor leer...! |
Latest revision as of 16:43, 24 February 2016
Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.
- Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
- TAB20150225: nach auftrennung der nicht KIT/NFS mounts sind sowohl CIFS als NFS shares erlaubt
- gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
- TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
- sha2-Zertifikate funktionieren, zertifikate werden erneuert wenn Erinnerung eintriff. DONE
- TAB20150225: nachschauen wenn host certificate auslaufen und 2 monate vorher aktion unternehmen.
- konsolidierung von benutzer/institute/accounts
- TAB20150225: Meldung zur ausgeschiedene Benutzer wird besprochen in LDAP Meeting. Tobe organised
- Zusammen packen von directories mit das accounting/reporting besser geht DONE
- TAB20150225: Rueckbau der NFS und der remote GPI machine (Frau Knopf): wird in angriff genommen. Private netz umziehen. Von DDN auf DIS schieben. DONE
- verbesserte anbindung an IC2, FORlr etc.
- zweiter Jumphost oder andere redundante zugang fuer admins
- SSH zugriff nur ueber jumphost. Keine loecher in den FW.
- themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
- benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
- die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
- neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
- accounting fuer berichterstattung (wer verbraucht wieviel speicher)
- DDN:/gpfs/lsdf/test =>
- mount der LSDF-DIS auf dem bw-filestorage-login cluster. Suche nach use case. Momentat loggen user sich eine auf dem hadoop login knoten. Braucht LSDF-DIS noch einen Zugang ueber den login cluster? DONE
Hardware
- TAB20150408: Need price indication for GPFS in LSDF and GridKa combined. Preferred solution is GPFS as storage layer for diverse services on GPFS clients.
LSDF-DIS
- bereits 84% voll, ca. 400 TB frei - wie geht es damit weiter?
- Erweiterung -> geht wohl technisch eher nicht
- Was planen wir? Wie sieht es mit Wartung aus usw.
- Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
- Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
- SONAS - Wartung? Zukunft?
- rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
- Wo ist die V7000 hin der mal als Block storage benutzt wurde?
- ist der von DIS an BW ausgeliehene DS5000 schon zurueck?
DDN-Cluster
- DDN-Cluster - Wartung? Zukunft?
- kommenden 2 Jahre ueber wartung (DDN und K&P) gesichert.
- TAB20150507. Topic geschlossen.
Weitere Vorschlaege zur Konsolidierung:
- cfengine - abschalten, puppet einfuehren? In progress
- Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
- important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
Dienste
- share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
- share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
- NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
Auth[NZ]
- -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
- -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
Projekte
- Bereitstellen server and storage for EUDAT iRODs. Uebersicht der verschiedene server fehlt. Services sind bekannt: ENES (=EUDAT), test? , Datenverbund
- TAB 20150507: ubersichterstellen der iRODs services
Hadoop Migration
- neue version von hadoop fertig stellen DONE
- zugang von DIS SONAS auf Hadoop ermoeglichen
- Marcus koordiniert mit Peter DONE
- rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE
- marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE
- die hadoop wird an die ldap facade haengen. DONE
- dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE
- ditto fuer die HDFS daten DONE
- hadoop freigeben fuer betrieb DONE
- DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN
- Marcus nimmt kontakt auf mit DEI zur verwendung des entitlements
Astor
- Wo soll ASTOR hin schreiben?
- Wie bekommen wir nfs, samba, evtl sftp auf Trab?
- Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?
Share von ASTOR nach wie vor leer...!