OAC: recoleccin y agregacin de metadatos heterogneos para un proveedor de servicios OAI

1
OACrecolección y agregación de metadatos
heterogéneos para un proveedor de servicios OAI
Jornadas de Bibliotecas Digitales (JBiDi 2005)

• Díaz, Jacob, Abaitua, Quintana, Fernández,
  Sánchez, Echebarría1 y Azpillaga2

CodeSyntax www.codesyntax.com 2
Universidad de Deusto 1 www.deli.deusto.es
2
Presentación

• OAC Open Archives Cataloger
• implementación de OAI (Open Archives Initiative)
  para el servidor web Zope
• infraestructura básica de un gestor de recursos
  heterogéneos (y sus metadatos) dirigido a OAI
• Motivación inicial
• mejorar la gestión de metadatos de grandes
  corpora de documentos multilingües (DELi)
• aportar soluciones para la normalización de
  criterios de catalogación (DELi CodeSyntax)
• difundir entre los agentes involucrados las
  bondades de compartir metadatos (DELi CS)

3
Índice

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

4
Índice
gt

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

5
Fundamentos de OAI básico
recursos
proveedor dinámico de datos (ítems)
repositorio (registros)
servidor
petición
respuesta
protocolo OAI-PMH
proveedor de servicios
recolector
6
Fundamentos de OAI completo
recursos
proveedor dinámico de datos (ítems)
repositorio (registros)
servidor
respuesta
petición
OAI-PMH
agregador
repositorio (registros)
recolector
respuesta
petición

OAI-PMH

proveedor de servicios
proveedor estático de datos (XML)
pasarela estática
recolector
7
Fundamentos de OAIel protocolo OAI-PMH

• Usa la arquitectura HTTP
• el recolector es una especie de navegador, que
  envía una petición HTTP
• el repositorio es un servidor web, que produce
  una respuesta HTTP (específicamente en XML)
• La petición habitual deme sus registros
• http//foo.es/oai ? verb ListRecords ...
• La respuesta habitual
• conjunto de registros (metadatos) en XML

8
Fundamentos de OAIformatos de metadatos

• Recurso cualquier cosa con identidad
• Respuesta XML ha de seguir un esquema
• obligatorio Dublin Core sin calificar, para
  asegurar la máxima interoperabilidad
• opcional otros formatos (BibTeX, EAD, MARC...),
  siempre que exista el esquema XML
• Problemas
• conversión de otros formatos a Dublin Core
• existencia de esquema XML para un formato dado
• variabilidad entre formatos, adecuación

9
Fundamentos de OAIrecolección selectiva
(conjuntos)

• No es un enfoque de consulta (query)
• Conjuntos
• jerarquía hasta cualquier profundidad
• un registro puede estar en 0 o más conjuntos
• una petición puede hacerse a un conjunto
• A tener en cuenta
• pedir todos los conjuntos puede no agotar el
  repositorio y/o obtener numerosos duplicados
• la jerarquía no tiene que ser una taxonomía

10
Índice

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

gt
11
OAC Open Archives Cataloger

• Implementación de OAI en Zope zOAC
• producto de Zope (en fase final de desarrollo)
• software libre (licencia GPL)
• http//sourceforge.net/projects/zoac/
• Basada en el producto ZOpenArchives
• desarrollado por Pentila (http//www.pentila.com/)
  
• ya incluía el repertorio básico de funciones
• recolector, agregador
• servidor de metadatos, proveedor dinámico de
  datos (aunque con funcionalidad limitada)

12
OAC el producto zOAC

• Aspectos añadidos en zOAC
• pasarela estática, proveedor estático de datos
• mejora del servidor de metadatos y del proveedor
  dinámico de datos
• adaptación a objetos Zope específicos
• gestión de formatos de metadatos diversos
• proveedor de servicios, mejora del agregador
• gestión de suscripciones
• interfaces de administración web

13
OAC formatos de metadatos

• zOAC formatos de metadatos soportados
• Dublin Core sin calificar y calificado
• BibTeX, TEI, MARC
• Solución lenguaje neutro de metadatos
• superconjunto de metadatos (unión semántica, sin
  repetición de metadatos con la misma info)
• similar a lingua franca de Chan y Zeng 2004,
  2005
• evita duplicar metadatos
• asegura tanto la importación como la exportación
  a los formatos soportados

14
OAC gestor de recursos

• zOAC infraestructura básica de un gestor de
  recursos dirigido a OAI
• gestor de recursos proveedor de datos OAI
• posibilita añadir nuevos objetos Zope (recursos
  heterogéneos) y describirlos con metadatos
• los recursos y sus metadatos se reflejan
  automáticamente en el repositorio OAI a diseminar
• el prov. de servicios usa la misma arquitectura
• las funciones del gestor de recursos y de Zope
  pueden usarse para las aplicaciones

15
Índice

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

gt
16
Casos de uso de OAC

• SARE-Bi (versión 2)
• gestor documental de textos multilingües (v1,
  2002) segmentados y alineados, y que pueden
  usarse como memorias de traducción (TMX)
• la base de datos son objetos Zope de diferentes
  clases algunos llevan asociados metadatos
  (derivados del estándar TEI)
• OAI/zOAC permite de forma inmediata la
  diseminación de los metadatos, de los segmentos y
  de las memorias de traducción, aportando un grado
  adicional de flexibilidad

17
Casos de uso de OAC

• Gestión de publicaciones de DELi
• zOAC puede adaptarse de forma sencilla a la
  gestión de publicaciones académicas
• se utiliza BibTeX como formato de metadatos de
  referencia
• interfaz de administración específica, adaptada a
  la gestión de referencias
• convertir el gestor de publicaciones en un
  proveedor de datos OAI facilita su
  aprovechamiento (bibliografías, curricula...)

18
Índice

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

gt
19
Usos novedosos de OAI

• Petición OAI a un proveedor de datos
• http//foo.es / pub / oai ? ...
• Diseminación selectiva de metadatos
• http//foo.es / pub / es / oai ? ...
• http//foo.es / pub / paper / oai ? ...
• basada en los mecanismos de herencia y
  adquisición de Zope
• oai sigue siendo el repositorio estándar
  OAI-PMH
• recuerda a la recolección selectiva (conjuntos)
  de OAI, pero sin la funcionalidad completa

20
Usos novedosos de OAI

• Diseminación de metadatos por consulta
• http//foo.es / pub / gomez / paper / es / oai ?
  ...
• independiente de la organización de la base de
  datos documental
• implementada mediante filtros asociados al
  proveedor de datos
• aunque no aporta la funcionalidad completa de un
  lenguaje de consultas, tiene aplicaciones
• oai sigue siendo el repositorio estándar
  OAI-PMH

21
Índice

• Fundamentos de OAI
• OAC implementación de OAI en Zope
• Casos de uso de OAC
• Usos novedosos de OAI
• diseminación selectiva de metadatos
• diseminación de metadatos por consulta
• Perspectivas futuras y conclusiones

gt
22
Perspectivas futuras

• OAC-onto aplicación de ontologías de metadatos
  bibliográficos
• para potenciar el uso de catálogos y facilitar el
  descubrimiento de información
• existen ontologías para BibTeX y Dublin Core
• no se tiene noticia de ontologías temáticas,
  basadas en esquemas clasificatorios de contenidos
  (como LCC/LCSH, DDC, UDC, IFLA y otros)
• bastaría una ontología de metadatos
  estructurales (BibTeX/DC) en conjunción con
  mecanismos de consulta conocidos (DBLP,
  Citeseer...)?

23
Conclusiones

• Relevancia de la funcionalidad OAI
• a considerar en el diseño de sistemas de gestión
  documental accesibles por web
• Adecuación de Zope como soporte
• tanto del gestor de recursos
• como de la arquitectura OAI
• Producto zOAC
• en fase final de desarrollo
• software libre

24
Conclusiones

• OAC ha sido subvencionado por
• Gobierno Vasco
• Dept. de Industria (proyectos OAC y
  OAC-onto,oct. 2003-dic. 2005)
• CodeSyntax (Eibar, Spain)
• Agradecimientos
• Gari Araolaza, Eneko Astigarraga, Luistxo
  Fernández (CodeSyntax)

25
OACrecolección y agregación de metadatos
heterogéneos para un proveedor de servicios OAI
Jornadas de Bibliotecas Digitales (JBiDi 2005)

• Díaz, Jacob, Abaitua, Quintana, Fernández,
  Sánchez, Echebarría1 y Azpillaga2

CodeSyntax www.codesyntax.com 2
Universidad de Deusto 1 www.deli.deusto.es