User:Ressmann: Difference between revisions

From Lsdf
Jump to navigationJump to search
No edit summary
 
(20 intermediate revisions by 2 users not shown)
Line 1: Line 1:
[[hidden:HPSS]]

[[hidden:HPSS-Icinga-Integration]]

[[hidden:BWDataArchive to do Liste]]

[[hidden:Adding_and_deleting_cartridges]]

[[hidden:Remote_Access]]

[[hidden:How to report Incidents and Downtimes]]

= iRods =
= iRods =
Eine kleine Zusammenfassung zur momentanen iRods installation.
Eine kleine Zusammenfassung zur momentanen iRods installation.


Vorteile von iRods
iRods is installed on: '''irods-1.lsdf.kit.edu'''
* Fine granulare Regeln
* Meta Daten im iCat
** leicht zu durchsuchen
* verschiedene Repositories
** z.B. für unterschiedliche Plattentypen


iRods is installed on: '''irods-1.lsdf.kit.edu''' ist die Produktionsumgebung für den Datenverbund zwischen Köln und Göttingen
und '''irods-2.lsdf.kit.edu''' ist die Testumgebung. Dort soll Tomcat installiert werden für die iDrop Funktionalität.


== icommands ==
== icommands ==
Line 45: Line 66:




iphybun benötigt eine cache resource. Wie diese angelegt wird ist im Abschnitt [[Resource]] erklärt.
iphybun benötigt eine cache resource. Wie diese angelegt wird ist im Abschnitt [[User:Ressmann#Resource]] erklärt.


=== Resource ===
=== Resource ===
Line 59: Line 80:


iadmin mkresc tapeResc 'unix file system' cache irods-1 /gpfs/irods/irods-1_tapeResc
iadmin mkresc tapeResc 'unix file system' cache irods-1 /gpfs/irods/irods-1_tapeResc

=== Regeln ===
Es gibt client ('''irule''') und server seitige Regeln.

[https://www.irods.org/index.php/irule irule]

== iRods FAQ ==
=== Was ist eine Zone und wie wird sie definiert?===
Jede einzelne iRods Installation ist eine Zone.
=== Wie und wo werden Regeln definiert?===
/home/irods/iRODS/server/config/reConfigs/core.irb
=== Was gibt es für Konfigurationsdateien?===
*Verzeichnisse:
/home/irods/iRODS/config
/home/irods/iRODS/server/config
** zum definieren von Server Seitigen Regeln:
/home/irods/iRODS/server/config/reConfigs/core.irb
=== Wie finde ich das Datenverzeichnis? ===
iadmin lr # list resource
iadmin lf <resourceName>

=== Welche Datenverzeichnisse gibt es?===
/home/irods/iRODS/Vault/home/rods

=== Wie starte ich iRODS durch? ===
/data/irods/iRODS/irodsctl restart

=== automatische Starten bei reboot eingerichtet ===
[irods@irods-1 ~]$ chkconfig --list | grep irods
irods_start.sh 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[irods@irods-1 ~]$ locate irods_start.sh
/etc/rc.d/init.d/irods_start.sh
/etc/rc.d/rc2.d/S97irods_start.sh
/etc/rc.d/rc3.d/S97irods_start.sh
/etc/rc.d/rc4.d/S97irods_start.sh
/etc/rc.d/rc5.d/S97irods_start.sh
/var/lock/subsys/S97irods_start.sh

== iRods Datenbank ==
/data/postgres/pgsql/bin

== iRods Zonen erstellen ==
iadmin mkzone DARIAH-MUSE remote ipedariah1.lsdf.kit.edu:1247
iadmin mkuser dariah#DARIAH-MUSE rodsuser

Achtung der Port 1247 muss in der Firewall freigeschaltet werden.
iput hallo /DARIAH-MUSE/home/rods#SCCZone

Konfiguration für den Datenverbund zwischen Göttingen und Köln ist hier beschrieben:
https://redmine.gridka.de/issues/1365

Latest revision as of 18:53, 29 January 2020

hidden:HPSS

hidden:HPSS-Icinga-Integration

hidden:BWDataArchive to do Liste

hidden:Adding_and_deleting_cartridges

hidden:Remote_Access

hidden:How to report Incidents and Downtimes

iRods

Eine kleine Zusammenfassung zur momentanen iRods installation.

Vorteile von iRods

  • Fine granulare Regeln
  • Meta Daten im iCat
    • leicht zu durchsuchen
  • verschiedene Repositories
    • z.B. für unterschiedliche Plattentypen


iRods is installed on: irods-1.lsdf.kit.edu ist die Produktionsumgebung für den Datenverbund zwischen Köln und Göttingen und irods-2.lsdf.kit.edu ist die Testumgebung. Dort soll Tomcat installiert werden für die iDrop Funktionalität.

icommands

bundle

Ein bundle wird z.B. für das Automatische erzeugen von tar files verwendet.

Mit Hilfe des ibun Kommandos wird eine tar Datei als einzelne Datei hoch geladen, und kann dort dann quasi entpackt werden, so dass einzelne Dateien innerhalb dieser tar Datei zugänglich gemacht werden. Allerdings wird durch den ibun Befehl der Bezug zwischen den Dateien und dem bundle entfernt und existieren fortan unabhängig voneinander.

# iput -Dtar mydir.tar .                -> die tar Datei wird hochgeladen und gleichzeitig getagged als tar Datei
# ils                                   -> Anzeigen des repositories
/LSDF/home/rods:
 mydir.tar
# ibun -x mydir.tar mydir               -> die tar Datei wird innerhalb iRods entpackt 
# ils                                   -> nun existiert ein Ordner mydir mit den einzelnen Dateien
/LSDF/home/rods:
 mydir.tar
 C- /LSDF/home/rods/mydir

Oder andersherum ein iRods Verzeichnis enthält bereits viele Dateien und diese sollen nun innerhalb von iRods zu einem tar file zusammengefügt werden:

# ils test                              -> in dem Verzeichnis test gibt es einige Dateien
/LSDF/home/rods/test:
 hallo
 hello
 motd
 ohio
 pa
 test1
 test2
# ibun -cDtar testdir.tar test           -> das tar file wird erzeugt und gleichzeitig getagged
# ils
/LSDF/home/rods:
 mydir.tar
 testdir.tar
 C- /LSDF/home/rods/mydir
 C- /LSDF/home/rods/test

Anders verhält es sich mit dem Administrativen Kommando iphybun. Mit diesem Kommando werden mehrere Dateien zusammengefasst um diese als eine Datei z.B. auf Band zu speichern. Jedoch ist es weiterhin möglich auf jede einzelne Datei innerhalb dieses bundles zuzugreifen.

Original iRods Doku


iphybun benötigt eine cache resource. Wie diese angelegt wird ist im Abschnitt User:Ressmann#Resource erklärt.

Resource

Um eine neue Resource anzulegen ist es wichtig die Syntax genau einzuhalten.

mkresc <name> <type> <class> <host> <path>
<name> ist frei wählbar
<type>  Currently, iRODS supports 3 resource types - unix file system, HPSS, and Amazon S3 -> Achtung die Hochkommata nicht vergessen
<class> schreibweise muss excact mit der von iadmin lt resc_class übereinstimmen.
<host> 
<path>

Ein Beispiel:

iadmin mkresc tapeResc 'unix file system' cache irods-1 /gpfs/irods/irods-1_tapeResc

Regeln

Es gibt client (irule) und server seitige Regeln.

irule

iRods FAQ

Was ist eine Zone und wie wird sie definiert?

Jede einzelne iRods Installation ist eine Zone.

Wie und wo werden Regeln definiert?

/home/irods/iRODS/server/config/reConfigs/core.irb

Was gibt es für Konfigurationsdateien?

  • Verzeichnisse:
/home/irods/iRODS/config
/home/irods/iRODS/server/config
    • zum definieren von Server Seitigen Regeln:
/home/irods/iRODS/server/config/reConfigs/core.irb

Wie finde ich das Datenverzeichnis?

iadmin lr # list resource
iadmin lf <resourceName>

Welche Datenverzeichnisse gibt es?

/home/irods/iRODS/Vault/home/rods

Wie starte ich iRODS durch?

/data/irods/iRODS/irodsctl restart

automatische Starten bei reboot eingerichtet

[irods@irods-1 ~]$ chkconfig --list | grep irods
irods_start.sh  0:off   1:off   2:on    3:on    4:on    5:on    6:off
[irods@irods-1 ~]$ locate irods_start.sh
/etc/rc.d/init.d/irods_start.sh
/etc/rc.d/rc2.d/S97irods_start.sh
/etc/rc.d/rc3.d/S97irods_start.sh
/etc/rc.d/rc4.d/S97irods_start.sh
/etc/rc.d/rc5.d/S97irods_start.sh
/var/lock/subsys/S97irods_start.sh

iRods Datenbank

/data/postgres/pgsql/bin

iRods Zonen erstellen

iadmin mkzone DARIAH-MUSE remote ipedariah1.lsdf.kit.edu:1247
iadmin mkuser dariah#DARIAH-MUSE rodsuser

Achtung der Port 1247 muss in der Firewall freigeschaltet werden.

iput hallo /DARIAH-MUSE/home/rods#SCCZone

Konfiguration für den Datenverbund zwischen Göttingen und Köln ist hier beschrieben: https://redmine.gridka.de/issues/1365