Resumen de la reunión iris-search - Madrid 27/05/1999 Coordinación de los sistemas de búsqueda en la red académico científica versión 1.0.1 Iremos completandola con vuestras colaboraciones =============================================================================== Indice de la reunión =============================================================================== La reunión, como va siendo habitual, se dividió en dos partes, una dedicada al servicio de Directorio, y otra al grupo de trabajo sobre indexación. 1. Directorio (iris-x500) - Estado actual y revisión acciones última reunión - Servidores de Directorio - Consulta y gestión de datos - Certificados y Directorio - Año 2.000. Posibles problemas - Búsquedas a nivel nacional - Futuro 2. Indexación (iris-index) - Estado actual y revisión acciones última reunión - Integración en CHIC - Migración de la estructura de iris-index a la de CHIC - ¿ Problemas con la metainformación ? - Futuro =============================================================================== 1. Directorio =============================================================================== Se comenzó analizando la problemática de la coordinación de responsables del servicio en cada centro. Se va a reestructurar la lista de correo de coordinación para que no aparezcan en ella listas locales y así poder disponer de los nombres y direcciones de correo de los responsables del servicio. (Acción: IRIS-SEARCH-9905-01) Se analizaron los trabajos realizados desde la última reunión comentando la creación de una guía para la instalación de IC-R4.0 (el software usado para el servidor de Directorio) por Alfonso López de la Universidad de Murcia. Ya disponemos de 3 DSAs que funcionan con esta versión. Se comenta también la creación, por parte de Eduardo Bergasa de la Universidad de La Rioja, de unos scripts en perl y perLDAP para la carga y extracción de información del Directorio. Estos scripts nos servirán para el traspado de información entre servidores cuando se actualicen a la versión IC-R4.0. Se solicita cooperación por parte de los responsables de los servidores LDAP que existen en la comunidad para el inventario de los mismos. Una vez revisadas las acciones de la última reunión y los resultados obtenidos se comentó la necesidad de unificar el software usado como servidor de Directorio en la comunidad RedIRIS. Muchos de los servidores son de Isode (ahora MessagingDirect) pero otros son servidores LDAP de diferentes fabricantes. Hay que migrar hacia servidores IC-R4.X ya que RedIRIS los distribuye de forma gratuita a los centros afiliados que lo solicitan. En el apartado de gestión de datos del Directorio se plantean una serie de necesidades como la posibilidad de modificación de datos interactiva desde web de una forma segura. Actualmente la pasarela más usada es web500gw y no nos proporciona toda la seguridad que podríamos pedir a la hora de realizar modificaciones. Se van a realizar cambios en dicha pasarela para que las modificaciones se realicen usando los scripts en perLDAP que se han comentado anteriormente. Se enumeran otras posibilidades usando PHP3 y javascript y se van a realizar pruebas en varios centros. (Acción: IRIS-SEARCH-9905-02) Actualmente uno de los usos del Directorio es servir como base para el almacenamiento de certificados. Existen una serie de atributos que nos permiten que en la entrada de una persona podamos almacenar su certificado. Posteriormente desde el navegador podremos acceder a dicho certificado para enviarle correo seguro, por ejemplo. Debido a la cantidad de servidores distintos que se están usando para el Directorio y, a que hay que realizar ciertos ajustes en ellos, se hace necesaria la creación de un documento que explique el procedimiento para la incorporación los certificados al Directorio. (Acción: IRIS-SEARCH-9905-03) Ante la llegada del año 2.000 se plantó la necesidad de conocer la compatibilidad de todos los programas usados en el servicio de Directorio. Nos hemos puesto en contacto con los creadores de los mismos y parece que casi todos los programas usados no van a tener problemas. Se ha creado una página donde mostramos las respuestas que nos envían. http://www.rediris.es/x500/software/y2k Se habló del piloto ES-LDAP creado para permitir búsquedas bajo España. Desde la última reunión no se ha hecho mucho al respecto. Existe un servidor con OpenLDAP que mantiene réplicas de algunos atributos de las entradas de algunos servidores LDAP de España. Es una especie de índice que permite hacer búsquedas de una forma más rápida. Uno de los problemas principales ha sido que no teníamos muchos nodos de los que extraer información ya que el censo de servidores LDAP españoles no está completo. Parece que los responsables de estos servidores van a enviar la información de los mismos para colaborar con este piloto. Sería posible realizar algo parecido incorporando programas que hagan de pasarela entre LDAP y whois++. Se podría enlazar con el piloto de indexación y podríamos buscar información sobre una persona de la misma forma que buscamos información sobre una página web. Tenemos pocas noticias del piloto NameFlow LDAP europeo. Se está creado una nueva infraestructura basada en servidores IC-R4.1 para la raíz del Directorio y para los nodos principales de cada país. Para el resto de los nodos se podrá usar servidores LDAP o servidores IC-R4.X. Las réplicas de la información de la raíz se realizarán en base a un protocolo llamado SLURPY y a ficheros LDIF. Se usará Innosoft X.500 Connector para la interconexión de los servidores LDAP y los servidores LDAP/X.500. Parece que la versión IC-R5.0b ofrece las mismas prestaciones que el software de Innosoft por lo que suponemos no será necesario en el futuro. =============================================================================== 2. Indexación =============================================================================== Se comienza esta segunda parte de la reunión comentando los resultados obtenidos de las acciones a realizar especificadas en la última reunión. Se ha realizado un contacto con los responsables de CHIC (Cooperative Hierarchical Indexing Coordination) para que incorporasen nuestro índice nacional en el piloto de indexación europeo. Una vez instalado el software necesario para participar en dicho piloto podemos decir que estamos plenamente integrados en el mismo. Si una persona realiza una consulta en el formulario de consulta de CHIC automáticamente la consulta es redirigida a todos los servidores participantes en el proyecto. Nuestra pasarela recoge la consulta de CHIC (en formato whois++) y la traduce al formato de nuestro programa de indexado. Realizamos la consulta y una vez que obtenemos los resultados los volvemos a traducir a whois++ y los enviamos a CHIC. Éstos son unidos al resto de resultados de los restantes centros y mostrados al usuario. El usuario puede especificar la consulta seleccionando diversos campos como título, autor, descripción, claves, ... y, si nuestros documentos tenían metainformación, podrán ser encontrados. Hemos comprobado la efectividad de la infraestructura de CHIC y nos hemos planteado cambiar la estructura de nuestro sistema en España. Actualmente tenemos una estructura jerárquica basada en programas de indexado que recopilan la información extraída de otros programas de indexado de la estructura jerárquica y de servidores web. A medida que subimos en la estructura los servidores van manteniendo más cantidad de información. El indexador de más alto nivel (el que mantiene todos los índices de España) es bastante grande y no puede crecer hasta el infinito. Por esta razón en CHIC nos planteamos un tipo de estructura que no dependiese del número de nodos incorporados a la misma. En CHIC no se guarda toda la información existente en Europa. Sólo se guardan los nombres y direcciones de los servidores participantes en el proyecto. CHIC redirige las consultas a la red de servidores y cada uno devuelve los resultados que obtiene de sus índices locales. Queremos que en RedIRIS sólo exista un programa que redirija las consultas que le lleguen a todos los servidores de España. De esta forma todo es más escalable e incluso podríamos trabajar con diferentes programas de indexado ya que lo único necesario sería una pasarela de whois++ al lenguaje usado por nuestro indexador. (Acción: IRIS-SEARCH-9905-04) Actualmente nos llegan todas las preguntas que se realizan en CHIC aunque nosotros no tengamos los resultados. Es posible generar una pequeña base de datos con un índice de nuestro índice (centroide) de forma que CHIC no redirija todas las consultas a todos los servidores sino que busque en su pequeña base de datos los servidores que tienen respuestas para una determinada consulta. Sólo enviará las consultas a los servidores que puedan resolverlas. Uno de los problemas con los que siempre nos encontramos es la introducción de metainformación en las páginas. RedIRIS creó una serie de scripts que permiten que un usuario pueda introducir la metainformación a la vez que vuelca la página al servidor mediante un cómodo formulario. Algún centro se ha interesado y va a intentar modificarlo para adaptarlo a sus necesidades. (Acción: IRIS-SEARCH-9905-05) El grupo CHIC acabó su trabajo ya que la estructura de indexación planteada para Europa está creada y funciona. Se necesitan más centros para ampliar la estructura de CHIC y solicitan colaboración. Se va a realizar una segunda parte de CHIC llamada REIS (Pilot Index Service for Research and Education in Europe) que pretende ser una amplicación de CHIC con más facilidades como búsqueda multilenguaje y búsquedas difusas. Más información: Transparencias de la reunión http://www.rediris.es/si/iris-search Grupo iris-x500 http://www.rediris.es/x500 Registro de servidores LDAP http://ldap.rediris.es:8888/ou=ES-LDAP servers,o=rediris,c=es Grupo iris-index http://www.rediris.es/si/iris-index Piloto CHIC http://www.terena.nl/task-forces/tf-chic Búsquedas en iris-index y CHIC http://www.rediris.es/Harvest/brokers/i1-index http://www.terena.nl/cgi-bin/chic-search.cgi =============================================================================== Sumario de Acciones =============================================================================== IRIS-SEARCH-9905-01: Modificación de la lista iris-x500 para que no existan listas locales en cada organización. IRIS-SEARCH-9905-02: Adición de modificaciones seguras al web500gw usando scripts en perl y perLDAP. IRIS-SEARCH-9905-03: Creación de un documento donde se explique el procedimiento para la incorporación los certificados al Directorio. IRIS-SEARCH-9905-04: Pruebas para la modificación de la estructura de iris-index para que se redirijan las consultas a los centros participantes. IRIS-SEARCH-9905-05: Adaptación de los programas usados por las CVUs para la carga de páginas web y la incorporación de metainformación. IRIS-SEARCH-9905-06: Cambio de la lista iris-x500 a iris-dir y propuesta para unificar las listas de directorio y de indexación.