1

Arquitecturas de Referenciapara los Repositorios y Preservación de Archivos

Keith RajeckiEducation Solutions ArchitectSun Microsystems, Inc.

2

Agenda• Desafíos• Requisitos • Arquitectura Física• Soluciones Sun de

Almacenamiento de Archivo

• Referencias

3

Desafíos

4

Requisitos de Almacenamiento• El crecimiento exponencial de los contenidos

digitales, ahora y en el futuro• Infraestructura flexible:

> Guardar contenido no estructurados, fijo> Preservar contenido a largo plazo

5

Entendimiento del Modelo de OAIS• De facto estándar para depósitos y preservación• Términos tradicionales y definiciones• Establece las funciones y flujos de información

aplicables a un archivo de depósito digital.> Submission Information Package (SIP), comunica la

información proporcionada al sistema de depósito y el archivo.

> Archival Information Package (AIP), la versión de archivo.

> Dissemination Information Package (DIP), la versión de la información disponible a usuarios.

6

Open Archive Information System (OAIS)

7

OAIS Descripción Funcional• Ingesta - recepción y verificación de los registros• Archivo de almacenamiento – asegurar el

almacenamiento de los registros• Gestión de datos - asegurar el manejo de registros• Administración - manejo de relaciones internas y

externas• Preservación – manejo de la integridad y seguridad

de registros • Acceso – suministro de registros, en respuesta a

las consultas de usuarios• Generación y gestión de metadatos

8

Pautas y Recomendaciones• Evaluar procesos comerciales• Definición de objetivo• Establecer políticas de preservación• Evaluar tipo y tamaño de datos• Definir métodos de acceso• Establecer actividades de mantenimiento• Documentar especificaciones técnicas

9

Valor de las Arquitecturas de Referencia•Minimiza el costo, la complejidad y el tiempo de despliegue

> Reduce los costos administrativos mediante una gestión automatizada de datos y la migración a través de niveles de almacenamiento

> Rentablemente empareja el valor de los datos con la media apropiada de almacenamiento

> Costo de operación económico y bajo consumo de electricidad

> Flexibilidad para mejorar el desempeño, la economía o el almacenamiento de archivos mixtos

> Escalabilidad de gestión de archivos infinita

10

Desarrollar Arquitecturas de referencia en colaboración, replicable•Fedora•Fedora/Drupal (Islandora)•DSpace•EPrints•Duraspace (Cloud)•Ex Libris Rosetta•VTLS VITAL•SAM/QFS•Internet Archive in a Sun Modular Datacenter •Tessella Safety Deposit Box*

Arquitecturas de Referencia Sun

11

Almacenamiento Sun•Repositorios digitales y metadatos de almacenamiento•Fedora, EPrints, y D-Space comunidades•Ex Libris Rosetta y VTLS VITAL aplicaciones

• Proyectos de preservación de niveles de almacenamiento

•Gestión de archivos digitales•eResearch databases

•Repositorios Federados

SAM/QFS

StorageTek7210

Identity Management and SOA

StorageTek 7410

12

Repositorio Virtualizados

Servidor VirtualizadoMáquina Virtual 1:●Repositorio●Entidad de Conservación●Creación de índices●Gestión de Metadatos●Seguridad●Motor de búsqueda

Virtualized Server

Almacenamiento

ArchiveApp.

Oracle, MySQLRepositorio

Solaris + ZFS

Objetos Digitales

Máquina Virtual 2: ●Archivo DB●Políticas ●Metadatos

Máquina Virtual 3: ●Almacenamiento Abierto ●Preservación de almacenamiento●Almacenamiento físico

13

Repositorio Abierto de Niveles

Servidor Aplicaciones●Entidad de Conservación●Gestión de Metadatos●Relación con las conexiones●Seguridad●Motor de búsqueda●Gestión de Nomas●

DB ServidorNormas de archivos digitalesMetadatos

Objetos Digitales

Almacenamiento Abierto●Preservación de almacenamiento ●OpenSolaris, ZFS, SAM●Almacenamiento físico de componentes●Migración de media

Bibliotecas de Cintas●

Usuario

14

TCP/IP Copia 2

Copia 3 Copia 4Copia 6

Copia 1

Copia 5

NFS File System orAppliance

Solaris

Solaris

SolarisQFS

SAM-QFS

SAM-QFS

Archivo de Configuración SAM

15

Archivo Activo Sun “Appliance”

SAM

• Repositorios Institucionales

• Gestión de documentos

• Imagen / Audio / Video Repositorios

• Libros / Revistas / Noticias digitales

• Entornos Virtuales de Investigación - Bioscience

Ideal para:

16

FedoraFedora

DrupalDrupal

IslandoraIslandoraBLASTBLAST

Gene SequencesGene Sequences

ABBYYABBYY

Rich MetadataRich Metadata

DjatokaDjatoka

ImagenesImagenes

RR

Datos NuméricosDatos Numéricos

LDAPLDAPLDAPLDAP SherpaSherpa

Solr/LuceneSolr/LuceneLDAPLDAP

ScriptsScripts

OrquestaciónOrquestación Interfaz de AplicaciónInterfaz de Aplicación

PreservaciónPreservación Administración inteligenteAdministración inteligente

Colaboración y Descubrimiento Colaboración y Descubrimiento Creación y Adquisición datosCreación y Adquisición datos

Note: Islandora = Drupal/Fedora module + componentes adicionales

Arquitectura del Software

17

Ejemplo: Repositorio del Patrimonio Cultural

18

Ejemplo 2: Colaboración Ciencias

19

Ejemplo 3: Repositorio Institucional

20

TACC Almacenamiento de SupercómputoHPC Soluciones de Almacenamiento

SupercomputadoraDatos de caché• Escalable a

> 72 GB / seg. ancho de banda sostenido> 1,728 petabytes de capacidad

Retención y Archivo• Escalable a

> 200 Petabytes de near-line> 3.1 Petabytes de on-line

Transferencia

• Configuración incluye> 72 SunFire x4500s> Más de 3,000 500GB discos> 8 estantes

> Configuración incluye> 5 StorageTek SL8500s> 48 StorageTek T10000Bs> 10 StorageTek 6540s> 6 SunFire Metadata

servidor con SAM-QFS

21

• Desafíos•Convertir millones de grabaciones, vídeos, clips de película, y fotos a la forma digital•Mejorar su capacidad de adquirir y proporcionar el acceso público al contenido audiovisual •Archivar para “la vida de la república”

• Solución•Una red de área de almacenaje robusta basada en tecnología de almacenaje de cinta y disco Sun•SAM-QFS software de almacenaje Sun

• Resultados• Aumento considerable de:>Velocidad para adquirir el nuevo contenido>Cantidad del contenido almacenable>Tiempo de conservación de contenido

SAM-QFS Biblioteca del Congreso de Estados Unidos

22

• Desafíos•Archivar 10 TB de datos de imagen por semana•Acceder 20 TB de datos de imagen por semana •Acceder imágenes diagnósticas desde cualquier parte del mundo tan pronto el examen es completado•Continuidad del negocio... en caso de un desastre

• Solución•“SAM QFS es una tecnología clave que nos deja hacer algunas cosas muy críticas”

• - Robert Cecil, PhD, Cleveland Clinic’s network director

• Resultados•“SAM-FS and QFS software es el centro de nuestra estrategia de almacenaje de representación digital. "•"La pérdida de datos en la institución es tan pequeña, que no puede ser medida"•"... una ventaja tremenda en términos de recuperación de datos y disponibilidad de datos"

SAM-QFS: Asistencia Médica / Ciencias Cleveland Clinic

http://www.healthimaging.com/index.php?option=com_articles&view=article&id=8528

23

• Desafíos•Convertir 5,000 horas de programación de videocinta - a almacenaje digital•Reducir el uso de la costosa videocinta y su gasto de mantenimiento •Permitir la entrega rentable, segura y muy confiable de la programación digital a millones de suscriptores

• Solución•Estandarizar con la tecnología de Grass Valley y Sun para un sistema de play y almacenaje a base de servidor con una disponibilidad de sistema de 99.999 por ciento•Sun QFS software de archivo para proporcionar rendimiento escalable

• Resultados•Entrega transparente de contenido a emisión y suscriptores •Repositorios digitales para programación SD y HD eliminaron 80 % del equipo de videocinta existente•Ahorros significativos tanto en mano de obra como en gastos de mantenimiento

SAM-QFS: Medios, Entretenimiento y Servicios de InternetHBO

http://www.sun.com/customers/storage/hbo.xml

24

SAM-QFS: GobiernoMinisterio de Finanzas, Alemania

• Desafíos•Desarrollar e implementar sistemas de manejo automatizada de tarifas y aduana locales (ATLAS) para el procesamiento de aduana •Proporcionar una infraestructura segura, escalable, y altamente disponible con capacidad de replicación

• Solución•Una nueva arquitectura de replicacion de tres gradas con navegadores de Web que nivelan la primera grada•Datos almacenados en sistemas de Sun 10 kilómetros aparte con Sun StorageTek 6540 series para recuperación de desastre•Sun QFS software de archivo

• Resultados•La autorización de aduana es ahora completada más exactamente y mucho más rápido que antes •Expectativas de servidor excedidas y solución entregada seis meses antes de lo previsto•“Tenemos una tasa de fallos cero .....”

25

Archivo de Internet

• Centro de datos fiable y flexible que soporta múltiples PB de almacenamiento

• Mayor capacidad de almacenamiento de sus servidores

• Espacio, energía, y costos reducidos

• Integridad de datos superior para protegerse contra la pérdida de datos

• Implementación rápida - Sun MD entregados en menos de 45 días

Solución Sun ResultadosRequisitos • Construir una infraestructura

de servidores para respaldar grandes cantidades de datos - 2 PB de almacenamiento, un crecimiento del 1 PB por año

• Proporcionar un centro de datos eficiente, confiable y escalable

• Mantener bajos los costos de espacio, energía, gestión y mantenimiento

• Toma instantánea Web 100 TB de datos - aproximadamente 4 mil millones de páginas Web

• Soportar hasta 500 consultas de usuarios por segundo.

• Sun Modular Datacenter S20• Servidor Sun Fire X4500• Solaris 10 con ZFS• Administración Remota Sun

Arquitectura de Almacenamiento Integrado

26

• Sun Edu Essentials – Descuentoshttp://www.sun.com/solutions/landing/industry/education/edu_essentials.jsp

• Probar & Comprar – 60 dias hasta 40% menos en Productos Sunhttp://www.sun.com/tryandbuy

• Evaluación de Arquitectura de Archivo Abierto

Próximos Pasos

27

Para Más Información•Storage Archive Manager http://www.sun.com/storagetek/management_software/data_management/sam/index.xml/

•Join the Sun Preservation and Archiving Communityhttp://www.sun-pasig.org

•Sun Open Archive Solutionshttp://www.sun.com/openarchive

•Join the OpenSolaris Storage community http://www.opensolaris.org/os/community/storage/

•Open Storage http://www.sun.com/openstorage

•Open Storage Servershttp://www.sun.com/featured-articles/2008-0709/feature/index.jsp

28

Muchas Gracias

Keith RajeckiEducation Solutions ArchitectGlobal Education & ResearchSun Microsystems, Inc.