iris-index

Actividad 02 - iris-index

Ampliación de la estructura creada

Índice

  • Introducción a la actividad 02
  • Instalación de Harvest 1.5 en los nuevos centros en el nivel 2
  • Creación de un Gatherer con información local en los centros en el nivel 2
  • Creación de un Broker basado en ese Gatherer en los centros en el nivel 2

  • Creación en cada Centro en el nivel 1 de un broker que apunte a todos los brokers de sus centros en el nivel 2 y el suyo propio
  • Creación de interface de consultas a ese Broker final

Introducción la actividad 02

    Hemos visto que varios centros han generado un gatherer y un broker con información local y han exportado esta información a un nodo en RedIRIS.

    Este nodo en RedIRIS ha creado un broker con toda la información de dichos brokers y creado un interface de búsquedas.

    Nos planteamos ahora expandir esa estructura de dos niveles a una de tres. Tendríamos:

    • un nodo en el nivel 0 (RedIRIS)
    • nodos en el nivel 1 que crean un broker con la información de los brokers de nivel 2 y con la información de su propio broker. Esta información la exporta al nodo en el nivel 0.
    • nodos finales en el nivel 2 que tendrían que generar un gatherer y un broker y exportarlo a los nodos de nivel 1 

     0.                         A (b0)
             +--------------+--------------+
             |              |              |
 1.          B              |              Z
         (g,b2,b1)          |          (g,b2,b1)
         +---+---+          |       +------+------+
         |       |          |       |      |      |
 2.      B1      B2         J       Z1     Z2 ... ZN
       (g,b2)  (g,b2)     (g,b2)  (g,b2) (g,b2) (g,b2)

    En el gráfico hemos identificado los gatherers con g, los brokers de nivel X con bX. Puede darse el caso de un centro que sea de nivel 2 y envíe sus datos directamente al de nivel 0

Instalación de Harvest 1.5 en los nuevos centros en el nivel 2

Creación de un Gatherer con información local en los centros en el nivel 2

    La idea es tener una zona de cada servidor web que se pueda indexar. Para empezar lo más cómodo será indexar un fichero que contenga 10 o 15 referencias a otros ficheros del servidor. Se intentará que estas referencias sean de temas de la organiación. De esta forma será más cómodo distinguir posteriormente de quien es la información.

    Proponemos crear un fichero llamado i1-index.html que contenga, como hemos comentado, varios links a otras páginas. Ese fichero deberá estar en el directorio principal del web.

    Mostramos ahora un ejemplo de fichero de configuración del Gatherer que tendríamos que crear: 

    Gatherer-Name:  Prueba 1 iris-index ORGANIZACION
Gatherer-Port:  XXXX
Top-Directory:  /usr/local/harvest/gatherers/i1-index

<RootNodes>
http://WWWORG/i1-index.html\
        URL=100000\
        Host=1\
        Access=HTTP \
        Depth=2
</RootNodes>

<LeafNodes>
# Enter URLs for LeafNodes here
</LeafNodes>

    Fichero i1-index.cf

    Tendréis que sustituir ORGANIZACION por la vuestra y WWWORG por vuestra dirección del servidor. El puerto del gatherer puede ser el que queráis pero me lo tenéis que indicar.

    Una vez tengáis el gatherer corriendo podéis crear el broker y me enviais los puertos donde los tengáis montados para que yo pueda crear el broker total con la información de todos los brokers.

Creación de un Broker basado en ese Gatherer en los centros en el nivel 2

    Para esta misión nos hemos basado en los brokers que han generado los centros en el nivel 2 que participan en el proyecto. Estos centros han indexado un fichero llamado: /i1-index.html con unas cuantas líneas con links a páginas propias.

    Cada centro genera un gather y un broker y ha de comunicar los puertos donde los tienen levantados a los centros en el nivel 1

    Se hará pública la dirección donde se encuentra el interface de búsquedas a cada uno de los brokers en el nivel 2.

Creación de un Broker en el nivel 1 que apunte a todos los brokers de los centros en el nivel 2 y al propio en el nivel 1

    Cada centro en el nivel 1 tendrá que crear otro broker que recoja la información del los brokers que dependen de él y de su broker en el nivel 2.

    la configuración del fichero i2-index/admin/Collection.conf sería de este tipo: 

    www.c1.ccc.es 9002 4 --
www.c2.ccc.es 8501 4 --
www.c3.ccc.es 9012 4 --
www.c4.ccc.es 8632 4 --
www.c5.ccc.es 8606 4 --

    Fichero Collection.conf

    donde hemos de poner las direcciones de los servidores de Web y los puertos donde están los brokers en el nivel 2 que vamos a indexar.

Creación de interface de consultas a ese Broker final

    Se puede consultar la información indexada de forma distribuida aquí.

    También se podrá consultar la información indexada que cada centro en el nivel 1 haya obtenido de los centros en el nivel 2.