Www.eu-eela.eu E-science grid facility for Europe and Latin America SE-DPM Instalación y...
-
Upload
chelo-tobar -
Category
Documents
-
view
214 -
download
0
Transcript of Www.eu-eela.eu E-science grid facility for Europe and Latin America SE-DPM Instalación y...
www.eu-eela.eu
E-science grid facility forEurope and Latin America
SE-DPMInstalación y configuraciónJesus De OliveiraGRyDs: Grupo de Investigación en Redes y
Sistemas DistribuidosUniversidad Simón BolívarCaracas - Venezuela<[email protected]>
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 2www.eu-eela.eu
Agenda
• Introducción al SE-DPM• Presentación del proceso de instalación• Instalación práctica del SE-DPM• Pruebas al SE-DPM
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 3www.eu-eela.eu
• El Storage Element/Disk Pool Manager es el servicio de almacenamiento de datos de un site
• Representa un recurso de almacenamiento en el Grid• Sus responsabilidades son:
– Gestionar replicas (almacenamiento físico, upload, download)– Responder a solicitudes de clientes a través de los protocolos
GridFTP, glite I/O y LFC para gestionar y transferir datos– Publicar la información del espacio disponible y utilizado a traves del site_bdii
• Es una interfaz entre el Grid y el sistema de almacenamiento local (tambien llamado Storage Resource Manger / SRM)– Sistema de archivos estandar (ext2, ext3, etc...) – SAN/FiberChannel/ATA over Ethernet– Disk arrays– Tape robot's
Introducción al SE-DPM
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 4www.eu-eela.eu
Introducción al SE-DPM• Cada SE-DPM esta compuesto por un nodo principal
(head node) y un servidor de discos (disc server) en la misma máquina.
• SE-DPM head node: Tendrá al menos un filesystem y además un número arbitrario de disk servers que pueden ser agregados mediante YAIM.
• El DPM es el encargado de manejar el almacenamiento en los Disk Servers. Maneja grupos de filesystems situados en uno o más disk servers, denominados pools.
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 5www.eu-eela.eu
Introducción al DPM-SE
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 6www.eu-eela.eu
Proceso de instalación– Establecer hostname de la máquina
– Descargar los repositorios de paquetes requeridos para el componente (archivos .repo para yum)
– Instalar java y autoridades certificadoras (con yum)
– Instalar paquetes del middleware (ig_SE_dpm_mysql, con yum)
– Adaptar archivo de configuración global (site-info.def y glite-bdii_site)
– Configurar usando yaim
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 7www.eu-eela.eu
Práctica de Instalación• Establecer correctamente el nombre completamente
calificado de la máquina (FQDN) [hostXXX.cedia.org.ec]– nano /etc/hostname
– nano /etc/sysconfig/network
– hostname hostXXX.cedia.org.ec
– nano /etc/hosts
• Desactivar actualizaciones automaticas: – chkconfig yum-autoupdate off
• Desactivar firewall – /etc/init.d/iptables stop
– chkconfig iptables off
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 8www.eu-eela.eu
Práctica de Instalación• Sincronizar reloj
– service ntpd stop; ntpdate ntp.usb.ve; service ntpd start;
• Descargar definiciones de repositorios requeridosREPOS="ca dag ig jpackage gilda glite-se_dpm glite-
se_dpm_disk sl-i386"
for name in $REPOS; do wget http://www.cedia.org.ec/mrepo/repos/$name.repo -O /etc/yum.repos.d/$name.repo; done
• Instalar autoridades certificadoras– yum -y install lcg-CA
– wget http://ftp.leg.uct.ac.za/pub/stuff/grid/grid018.ct.infn.it/mrepo/gilda_sl4-i386/RPMS.all/ca_GILDA_2009-1.0-14.i386.rpm && rpm -ivh ca_GILDA_2009-1.0-14.i386.rpm
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 9www.eu-eela.eu
Práctica de Instalación• Instalar certificado y clave privada de host en /etc/grid-
security
• wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAME-cert.pem" -O /etc/grid-security/hostcert.pem
• wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAME-key.pem" -O /etc/grid-security/hostkey.pem
• chmod 644 /etc/grid-security/hostcert.pem
• chmod 400 /etc/grid-security/hostkey.pem
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 10www.eu-eela.eu
Práctica de Instalación• Instalar paquetes adicionales • wget
http://linuxsoft.cern.ch/dag/redhat/el4/en/i386/RPMS.dag/perl-SOAP-Lite-0.69-1.el4.rf.noarch.rpm
• yum -y localinstall perl-SOAP-Lite-0.69-1.el4.rf.noarch.rpm
• Descargar cache de repositorio yum (para acelerar la instalación)
• wget http://www.cedia.org.ec/generic/SE_yum_cache.tar.gz
• tar xvfz SE_yum_cache.tar.gz -C /var/cache/yum
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 11www.eu-eela.eu
Práctica de Instalación• Instalar paquetes del middlewareyum -y install ig_SE_dpm_mysql ig_SE_dpm_disk
• Instalar paquete gilda_utilsyum -y install gilda_utils
• Anexar cuentas pool para gilda– cat /opt/glite/yaim/etc/gilda/gilda_ig-users.conf >> /opt/glite/yaim/examples/ig-users.conf
– cat /opt/glite/yaim/etc/gilda/gilda_ig-groups.conf >> /opt/glite/yaim/examples/ig-groups.conf
• Modificar archivo de configuración globalcp /opt/glite/yaim/examples/siteinfo/ig-site-info.def
/opt/glite/yaim/examples/siteinfo/mysite-info.def
nano /opt/glite/yaim/examples/siteinfo/mysite-info.def
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 12www.eu-eela.eu
Práctica de Instalación• Variables importantes del archivo site-info.def:
DPM_HOST="hostXXX.cedia.org.ec" (reemplazar por su maquina)
MYSQL_PASSWORD=secret SE_LIST="$DPM_HOST" SE_GRIDFTP_LOGFILE=/var/log/dpm-gsiftp/dpm-gsiftp.log
DPMFSIZE=200M SE_ARCH="multidisk" RFIO_PORT_RANGE="20000 25000" SITE_NAME=gilda_cedia SITE_LAT=0.0 SITE_LONG=0.0 NTP_HOSTS_IP="159.90.100.7 ntp.usb.ve"
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 13www.eu-eela.eu
Práctica de Instalación• Variables importantes del archivo site-info.def (cont.)
VOS="gilda"
ALL_VOMS_VOS="gilda"
QUEUES="gilda" GILDA_GROUP_ENABLE=$VOS VO_GILDA_SW_DIR=$VO_SW_DIR/gilda VO_GILDA_DEFAULT_SE=$DPM_HOST VO_GILDA_STORAGE_DIR=$CLASSIC_STORAGE_DIR/gilda VO_GILDA_VOMS_SERVERS="'vomss://voms.ct.infn.it:8443/voms/gilda?/gilda'"
VO_GILDA_VOMSES="'gilda voms.ct.infn.it 15001 /C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it gilda'"
VO_GILDA_VOMS_CA_DN="'/C=IT/O=INFN/CN=INFN CA'"
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 14www.eu-eela.eu
Práctica de Instalación• Editar archivo de configuración de servicio DPM_DISK:
– nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_disk
DPMPOOL=GILDAPOOL DPM_FILESYSTEMS="$DPM_HOST:/data"
• Editar archivo de configuración de servicio DPM_MYSQL:– nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_mysql
DPMPOOL=GILDAPOOL DPM_FILESYSTEMS="$DPM_HOST:/data" DPM_DB_USER=dpmmgr DPM_DB_PASSWORD=secret DPM_DB_HOST=$DPM_HOST DPM_INFO_USER=dpminfo DPM_INFO_PASS=secret
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 15www.eu-eela.eu
Práctica de Instalación• Configurar usando YAIM:
– /opt/glite/yaim/bin/ig_yaim -c -s /opt/glite/yaim/examples/siteinfo/mysite-info.def -n ig_SE_dpm_mysql -n ig_SE_dpm_disk
• Crear directorios predeterminados
– /etc/cron.monthly/create-default-dirs-DPM.sh
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 16www.eu-eela.eu
Pruebas del SE-DPM• Consultar al servicio GRIS para verificar la información
del SE:
ldapsearch -x -b "mds-vo-name=resource,o=grid" -h localhost -p 2170 | grep AvailableSpace
• Consultar estado del SE al servicio DPM
/opt/lcg/bin/dpm-qryconf
• Copiar un archivo desde el UI:lcg-cr -l lfn:/grid/gilda/users/brunor/hostname.sh file:
$HOME/hostname.sh -d hostXXX.cedia.org.ec
(REEMPLAZAR POR SU MÁQUINA)
EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 17www.eu-eela.eu
Preguntas