Interoperabilidad entre repositorios institucionales

académicos. BDU2

JBDU 2009 “La biblioteca universitaria en la web”5 de Noviembre de 2009

Isabel PiñeiroEmiliano Marmonti.

Módulo Bibliotecas. Consorcio SIU

Base de Datos Unificada (BDU)

• Proyecto iniciado en el año 1998 para reunir las monografías de todas las Universidades Nacionales con la finalidad de favorecer la catalogación por copia para las Bibliotecas.

• Creación de la Convención de campos mínimos. Fácilmente mapeable desde cualquier formato común (CEPAL, BIBUN, FOCAD) y MARC21,claro…

• Inicia con 14 cooperantes entre UUNN y la BNM.

• En el año 2002, Marcos López de la UNR creó para SIU-BDU el software de administración Puelche R-D (Repositorio Distribuído), basado en wxis y una arquitectura de diferentes bases de datos independientes por cooperante, con una búsqueda federada

Base de Datos Unificada (BDU). Algunos resultados.

• BDU ha sido usada con propósitos de catalogación por copia por parte de las Bibliotecas de las Universidades Nacionales, con finalidad de hallar publicaciones para Préstamo InterBibliotecario, como apoyo al área de Referencia para las Bibliotecas y como portal de consultas del usuario final.

• De los 14 cooperantes iniciales, se ha escalado a 73 bases de datos bibliográficas de instituciones que a día de hoy se administran, totalizando 2.165.000 registros administrados en la actualidad.

• El software de administración SIU-Puelche R-D ha sido mantenido en diferentes oportunidades y fue entregado a la Biblioteca del Docente del GCBA y al Ministerio de Educación de San Juan para la gestión de los catálogos cooperativos.

Base de Datos Unificada (BDU). Algunos resultados II

• A partir del año 2006 se contempla la inclusión de registros MARC21 en BDU, siendo con esto que pasa a administrarse registros en dos formatos: Convención y MARC21.

• En el año 2007 se lleva detalle estadístico del uso de BDU, incorporándose un portal de medición interno para analizar uso de la misma.

• BDU crece en forma contínua y se está afrontando a una limitante tecnológica del software de administración (wxis)

• La actualización y procesamiento, a pesar que se ha intentado con diferentes procesos que lo automaticen ha continuado siendo artesanal.

Algunas proveniencias llevan años sin actualizarse.

• Interfaz antigua, poco amigable. Pocas capacidades de descubrimiento del conocimiento a partir de la misma.

Problemas

BDU. Visión del usuario final

“…Quiero el texto completo…”

“…No estará en Google Books?…”

“…¿Como busco?... Bueno, supongo que

funciona igual que Google…”

“…Descargar el registro…Ah mirá, con esto seguro que descargo el libro…Un poco

raro, no?... ”

“…Del 2001? Me interesa material mas

moderno…No se pueden ordenar por año los resultados?”

Base de Datos Unificada (BDU).

Estadísticas de uso Demo portal

En paralelo:Repositorios Institucionales

• A partir del año 2003 en adelante se comienza a observar en las UUNN el nacimiento de repositorios institucionales académicos. Los mismos favorecen la difusión y publicación de la producción académica de las Universidades.

• Las plataformas para administración de repositorios institucionales admiten el uso, como mínimo del estándar Dublin Core para la catalogación (metadatos) del recurso digitalmente publicado.

• En el año 2009 se concreta la creación y existencia de 7 repositorios institucionales académicos activos: (BDigital UNCuyo, Memoria académica – FaHCE UNLP, SeDiCI-UNLP, CLACSO, Biblioteca Digital de la UNS, Repositorio Hipermedial de la UNR, Cartapacio de Derecho-UNICEN).

• En el año 2008 se comienza a experimentar con nuevas tecnologías para la administración de BDU. Se inicia con el motor de búsquedas Zebra, actual motor de consultas de Koha 3.0.

¿Qué es “Interoperabilidad”?

Capacidad de los sistemas de tecnologías de la información y las comunicaciones

(TIC), y de los procesos empresariales a los que apoyan, de intercambiar datos y

posibilitar la puesta en común de información y conocimientos.

Fuente: Decisión 2004/387/CE del Parlamento Europeo y del Consejo de 21 de abril de 2004 relativa a la prestación interoperable de servicios paneuropeos de administración electrónica al sector público, las empresas y los ciudadanos -IDABC-

¿Interoperables? ¿Para que?

• Una buena pregunta que contestar: ¿Un buen SEO del repositorio no es la mejor interoperabilidad? ”…Si no está en Google no pasó…”.

• El repositorio debe poder interactuar interna y externamente con otras componentes de software. ¿La mas común? El catálogo de la misma biblioteca.

• Aprovechar SEO de iniciativas que tienen buen posicionamiento. Por ejemplo biblioteca digital de UNIVERSIA, arXiv.org, OAIster, etc.

• Interoperable implica considerar los potenciales servicios B2B que un repositorio institucional podría brindar. No limitar.

¿Como se implementa

esta interoperabilidad

en repositorios

institucionales?

Iniciativa Open Archives. Conceptos. SIU…2das JBDU (2005)

• Es un protocolo que permite el intercambio de información referencial acerca de recursos de información libremente disponibles a través de la web.

Server 1 Server 2 Server 3Mi servidor

Harvesting (cosechar)

• Funciona usando el protocolo http y devuelve resultados en XML.• Puede devolver las referencias en los distintos tipos de metadato admitidos por el servidor

No hay búsqueda completaNo hay búsqueda completa

BúsquedaBúsqueda

Datos & admision protocolo

Iniciativa Open Archives. Conceptos (II).

Tipos de Acciones admitidas por los servidores (Verbos)

• Identify: Obtiene una descripción del Repo. Friends. Puede tener dc o no.• ListMetadataFormat: Obtiene los metadatos aceptados por el servidor.• ListSets: Devuelve los conjuntos incluídos en un Repo.• ListIdentifiers:Devuelve los Id de identificación de los “reg” del Repo.• ListRecords: Devuelve los conjuntos en sí de “registros”, entre fechas y/o por Set.No busca.• GetRecord: Devuelve un “registro” en particular.

Como se organizan los Repositorios OAI

Repo Set

Result

Harvesting jerarquico

Harvesting normal

Pero...Para que sirve OAI???Ejemplo de “registro” OAI

<dc:title>Limits on the cosmological abundance of supermassive compact objects from a millilensing search in gamma-ray burst data</dc:title> <dc:creator>Nemiroff, Robert J.</dc:creator> <dc:creator>Marani, Gabriela F.</dc:creator> <dc:creator>Norris, Jay P.</dc:creator> <dc:creator>Bonnell, Jerry T.</dc:creator> <dc:description> A new search for the gravitational lens effects of a significant cosmologicaldensity of supermassive compact objects (SCOs) on gamma-ray bursts has yielded...</dc:description> <dc:description>Comment: 14 pages including 3 figures, appeared 2001 January 22</dc:description> <dc:date>2001-01-26</dc:date> <dc:type>text</dc:type>

<dc:identifier>http://arXiv.org/abs/astroph/0101488</dc:identifier>

<dc:identifier>Phys.Rev.Lett. 86 (2001) 580</dc:identifier> </oai_dc:dc></metadata>

Datos para consulta

Datos para acceder al recurso digital

Se puede probar con la URL: http://arxiv.org/oai2?verb=ListRecords&from=2004-06-16&metadataPrefix=oai_dc

Pero...Para que sirve OAI???(III)

Server 1 Server 2Mi servidor

Server 1

Service ProviderService Provider

Data ProviderData Provider

Realiza harvesting sobre un conjunto de institciones con un conjunto de reglas. Harvesting enfocado. Oferta los resultados para consulta por parte de sus usuarios.

Es la institución que pone a disponibilidad de la comunidad internacional uno o mas Repositorios OAI.

La relación de Data Provider:Service Provider es 5:1

Service Provider vs Data Provider

oportunidad

UsuariosUsuarios

Mercado creciente

Michael Nelson (Old Dominion University). Valparaíso. Chile. Noviembre 2003

Tendencias en OAI

• Service Provider especializados. Análisis de los comportamientos de usuarios para realizar un harvesting “dirigido” o jerárquico a través de los Sets temáticos para abarcar las áreas de interés mas especializadas. Concordante con Bibliotecas Digitales Especializadas (Tamaño, actualizacion, etc).

• Estabilización de los repositorios en el protocolo.

• Compresión de las fuentes de almacenamiento (XML tar)

• mod_oai. Módulo de Apache para admitir directamente OAI

• Static Repo.Software para Data provider de Repo estaticos.

• Objetos Digitales complejos. Admisión no solo de la referencia sino del Objeto digital en sí (LANL).

Michael Nelson (Old Dominion University). Valparaíso. Chile. Noviembre 2003

¿Que hemos hecho?

Harvesting!

BDU2. Aspectos funcionales.

• Implementa un algoritmo de harvesting completo sobre cada repositorio.

• Realiza un mapeo y unificación de los tipos de recursos conservando los tipos de recursos locales establecidos por cada repositorio.

• Realiza las conversiones de caracteres apropiadas estabilizando en el estándar UTF-8.

• Reinterpreta y corrige casos problemáticos como múltiples fechas (recepción,creación y publicación) para tender a un criterio único de presentación.

• Unifica criterios en el cross-walk de MARC21 a Dublin Core.

BDU2. Aspectos tecnológicos

• Usa librerías del lenguaje de programación Perl para realizar el harvesting. Expresiones regulares para el manejo textual.Usa MySql para administrar información complementaria.

• Usa Apache SolR como indexador del XML obtenido.

– Facetas y Filtros– More like this– Ranking y reordenamiento de los resultados.– Did you mean? (en carpeta)– Mas servicios…

Base de Datos Unificada (BDU2).

Demo

BDU2. Planes 2010.

• Obtener el feedback en el uso de BDU2. Recomendaciones y sugerencias. Mejoras en la interfaz y las capacidades de recuperación. Consolidación de las tecnologías.

• Unificar BDU y BDU2 en un único portal de consulta de recursos de información (en soporte fisico y digital).

• Implementar servicios como descarga de citas, descarga de registros completos, etc. Mashups como Mapa de Repositorios de Argentina o Mapa de Bibliotecas cooperantes con BDU…¿Buscar en biblioteca mas cercana?

• Fortalecer el análisis estadístico de los repositorios institucionales académicos.

– Evolución del material en los repositorios.– Estadísticas de acceso y consultas.– Áreas temáticas con menor cobertura de material de libre acceso.

Muchas Gracias

http://bdu.siu.edu.ar/bdu2.html

ipineiro@siu.edu.aremarmonti@siu.edu.ar

JBDU 2009. Rosario. Santa Fé. 5 de Noviembre de 2009