hidden:Plans to be discussed: Difference between revisions
From Lsdf
Jump to navigationJump to search
Line 60: | Line 60: | ||
==Hadoop Migration== |
==Hadoop Migration== |
||
* neue version von hadoop fertig stellen |
* neue version von hadoop fertig stellen DONE |
||
* zugang von DIS SONAS auf Hadoop ermoeglichen |
* zugang von DIS SONAS auf Hadoop ermoeglichen |
||
** Marcus koordiniert mit Peter |
** Marcus koordiniert mit Peter DONE |
||
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) |
** rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE |
||
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren) |
** marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE |
||
** die hadoop wird an die ldap facade haengen. |
** die hadoop wird an die ldap facade haengen. DONE |
||
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt |
** dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE |
||
** ditto fuer die HDFS daten |
** ditto fuer die HDFS daten DONE |
||
** hadoop freigeben fuer betrieb |
** hadoop freigeben fuer betrieb DONE |
||
** DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) |
** DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN |
||
==Astor== |
==Astor== |
Revision as of 14:24, 3 February 2015
Sammlung von Dingen, die wir (teilweise) unbedingt gemeinsam besprechen sollten.
- Generell: Umgang mit nfs-shares wenn verwendete Benutzerverwaltung nur lokal?
- => Dann zukuenftig nur cifs (scp/sftp) erlauben?
- gridftp zu und von LSDF-DIS in stand setzen und beschreiben fuer Benutzer
- konsolidierung von benutzer/institute/accounts
- beispiel: ITG hat mehere direktories auf mehrere Systeme
- beispiel: Jos van Wezel hat eine dir auf SONAS BW. Das hat er nicht gefragt und auch nie benoetigt :-)
- beispiel: es gibt eine menge benutzer die nicht langer da sind (ausgeschieden)
- rueckbau der NFS und der remote GPI machine (Frau Knopf)
- verbesserte anbindung an IC2, FORlr etc.
- zweiter Jumphost oder andere redundante zugang fuer admins
- SSH zugriff nur ueber jumphost. Keine loecher in den FW.
- themensammlung fuer einen LSDF AHM meeting (all hands meeting) und datum
- benutzer mehr einbeziehen in die gestaltung der functionalitaeten der LSDF
- die Benutzer haben die LSDF ermoeglcht und werden auch fuer einen neuen Antrag in 2016 benoetigt.
- neue services einfuehren (S3, WebDav, Archiv Storage, IaaS, AaaS?)
- accounting fuer berichterstattung (wer verbraucht wieviel speicher)
- DDN:/gpfs/lsdf/test =>
Hardware
LSDF-DIS
- bereits 84% voll, ca. 400 TB frei - wie geht es damit weiter?
- Erweiterung -> geht wohl technisch eher nicht
- Was planen wir? Wie sieht es mit Wartung aus usw.
- Different disk sizes resulted in configuration of 2 pools. There is a policy runnign that migrates. Maybe Ludmilla can look into the system an propose change.
- Solution would be to put the S&S data on the DIS NFS Share. After that the SOFS can be switched off and the DS5000 cn be integrated into the DIS environment.
- SONAS - Wartung? Zukunft?
- rolle und aufgaben der verschiedene speichersysteme (BW,DIS,DDN) klaeren
- Wo ist die V7000 hin der mal als Block storage benutzt wurde?
- ist der von DIS an BW ausgeliehene DS5000 schon zurueck?
DDN-Cluster
- DDN-Cluster - Wartung? Zukunft?
Weitere Vorschlaege zur Konsolidierung:
- cfengine - abschalten, puppet einfuehren?
- Monitoring umziehen zu icinga (grossteils bereits gemacht), zabbix abschalten nachdem auch die benutzungsgrafiken abgebildet sind in incinga
- important is also to gather performance data. Dafuer sollten auch triggers in betracht kommen die nicht nur fuer 'ueberwachung gedacht sind'.
Dienste
- share.lsdf.kit.edu -> Daten umziehen und http ueber sonas anbieten?
- share.lsdf.kit.edu is acessible in the internet. http sonas nicht.
- NFS-shares LSDF-DIS, DDN, Hadoop uid's auf KIT-uids uebertragen
derzeitige manuelle Benutzerverwaltung per Datenbank abschalten
Auth[NZ]
- -> IDM/DEI koennen IDP's von Partnern fuer LSDF einfach eingebunden werden?
- -> IDM/DEI Konzept/Use-Cases erstellen was wir in der LSDF in der Benutzerverwaltung brauchen
Projekte
Hadoop Migration
- neue version von hadoop fertig stellen DONE
- zugang von DIS SONAS auf Hadoop ermoeglichen
- Marcus koordiniert mit Peter DONE
- rsync und hdfs auf sonas DIS (da die hadoop rechner werden plattgemacht) DONE
- marcus kan die daten der HDFS und die homes mit einen chown neu zu ordnen (skripte dazu existieren)DONE
- die hadoop wird an die ldap facade haengen. DONE
- dan wird auf hadoop die home gemounted (von DDN) die uids stimmen jetzt DONE
- ditto fuer die HDFS daten DONE
- hadoop freigeben fuer betrieb DONE
- DIS Nutzungsbedingungen diskutieren und updaten (Jos, Petzi, Marcus) OFFEN
Astor
- Wo soll ASTOR hin schreiben?
- Wie bekommen wir nfs, samba, evtl sftp auf Trab?
- Wie bekommen wir die ASTOR Leute am sinnvollsten im LSDF-DIS Dienst untergebracht?