Presentazione di PowerPoint

1
Introduzione alle griglie computazionali
Università degli Studi di Napoli Federico
II Corso di Laurea in Informatica III Anno

• LEZIONE N. 6
• Introduzione allinformation modeling
• GLUE schema
• Grid Information Service MDS

2

• Information model Modello informativo
• definizione
• Astrazione del mondo reale in costrutti che
  possono essererappresentati tramite lutilizzo
  di sistemi di elaborazione(es. oggetti,
  proprietà, comportamenti, relazioni)
• Per ogni entità del problema bisogna individuare
  i parametri caratteristici che ha senso
  descrivere, misurare e rendere disponibili
• il modello informativo non e legato ad una
  particolareimplementazione
• utilizzato per scambiare informazioni tra domini
  diversi

3

• Information model
• rappresentazione
• tipicamente un modello informativo viene
  rappresentatomediante un linguaggio grafico
• per il GLUE schema (modello informativo di Grid)
  e statoscelto UML (Unified Modeling Language)
• The Unified Modeling Language (UML) is a
  graphical language
• for visualizing, specifying, constructing, and
  documenting
• the artifacts of a software-intensive system.
  The UML offers a
• standard way to write a system's blueprints,
  including conceptual things
• such as business processes and system functions
  as well as concrete things
• such as programming language statements,
  database schemas,
• and reusable software components (Object
  Management Group)

4

• Information model
• in Grid
• le risorse disponibili in Grid devono essere
  descritte inmaniera precisa e sistematica al
  fine di fornire le seguentifunzionalità
• discovery
• allocazione (brokering)
• controllo delle prestazioni
• troubleshooting
• monitoring

occorre un modello concettuale per descrivere le
risorse Grid
5

• GLUE schema
• Grid Laboratory Uniform Environment
• Collaborazione tra progetti di fisica delle alte
  energie europei ed americani, per la definizione
  di un modello informativo comune tra domini Grid
  diversi, indipendente dallimplementazione.
• Sviluppato per gran parte da INFN e ora adottato
  anche da Globus.
• Le entità da descrivere si classificano come
• siti (system) insiemi di risorse connesse che
  operano come una entità funzionale
• servizi azioni che formano una
  funzione coerente fornita da un
  provider ad un richiedente
• I siti forniscono servizi

6

• GLUE schema
• Grid Laboratory Uniform Environment
• Modello informativo usato come base del
• Grid Information Service (GIS)
• attivita concentrata principalmente su
• computing resource
• storage resource
• network resource

7

• Computing resource
• caratterizzazione
• la potenza di calcolo in genere viene offerta da
  cluster
• le richieste vengono inserite in code (queue) al
  fine diutilizzare con efficienza le risorse di
  calcolo disponibili
• le policy presenti su ciascuna coda permettono
  didifferenziare il servizio offerto (es. durata
  massima di unjob, numero massimo di job running,
  tipologia di CPU allocate)
• il computing service e in relazione 1-1 con una
  queue e lesue computing resource assegnate

8

• Computing resource
• parametri necessari per lutilizzo di risorse di
  computing
• execution environment (sistema operativo,
  librerie disponibili, ...)
• quality of service (tempo di risposta stimato,
  ...)
• status (numero di job in esecuzione, ...)
• policy (tempo massimo di esecuzione, CPU
  assegnate, ...)
• access right
• location (Uniform Resource Locator, ...)

9
Computing resource cluster (farm)
Cluster set di host gestiti coerentemente al
fine di offrire potenza di calcolo
10
Computing resource host
Host singolo calcolatore
11
(No Transcript)
12
Computing resource subcluster
SubCluster insieme omogeneo di host
13
Computing service
Il servizio di computing è offerto da un CE
infoService
gatekeeper
Batch server
Computing Element (CE) entry point di una o più
code di un sistema batch
Head node

CPUPIII RAM0.5GB OSLinux
CPUPIII RAM0.5GB OSLinux
CPUPIV RAM2GB OSLinux
CPUPIV RAM2GB OSLinux
14
(No Transcript)
15

• Storage resource
• funzionalita offerta
• spazio di memorizzazione
• parametri necessari per lutilizzo di risorse di
  storage
• protocollo di accesso (gridftp, rfio, ...)
• quality of service (affidabilita,
  disponibilita, ...)
• status (spazio disponibile, ...)
• policy (dimensione massima di un file, file
  lifetime, ...)
• access right
• location (Uniform Resource Locator, ...)

16

• Storage Service
• gestisce le risorse disco e nastro in termini di
  Storage Space
• maschera i dettagli hardware
• trasferisce file da / verso i vari Storage Space
  utilizzandoun insieme di data access protocol
  (es. nfs, GridFTP, rfio, ...)
• la gestione dei file avviene secondo le
  policydello Storage Space

17

• Storage Space
• assegnato ad una virtual organization
• associato ad una directory (es. /data/Atlas)
• policy dimensione massima di un file, numero
  massimo di file, ...
• access control base rules
• status spazio disponibile, spazio utilizzato

18

• Storage Element (SE)
• Macchina che fornisce Storage Service e Storage
  Space
• puo essere un semplice disk server oppure un
  sistema distorage complesso

• CE-SE Bind
• Descrive le relazioni tra Computing Service e
  Storage Service

19
(No Transcript)
20

• Riferimenti
• GLUE Schema Official documents ?
  http//www.cnaf.infn.it/sergio/datatag/glue
• Sharing a conceptual model of grid resources and
  servicesS. Andreozzi, M. Sgaravatto, C.
  VistoliIn Proceedings of CHEP 2003 ?
  http//www.cnaf.infn.it/sergio/publications/CHEP2
  003.pdf
• GLUE Schema implementation for the LDAP
  modelS. AndreozziTechnical report, first
  draft, 29/05/03
• ? http//www.cnaf.infn.it/sergio/publications/G
  lue4LDAP.pdf

21

• Servizi informativi MDS (1/4)
• Monitoring and Discovery Service
• servizio vitale per uninfrastruttura Grid
• resource discovery conoscere la composizione
  delle griglia in un certo istante
• resource monitoring conoscere lo stato delle
  risorse ad un certo istante
• resource selection scegliere le risorse
  opportune per un task (? vedi Workload Management
  Sys)

22
Servizi informativi MDS (2/4) requirement perfo
rmancerapidita di accesso alle informazioni
usate frequentemente scalabilita qualita di
servizio costante allaumentare dei
componenti costo costi di gestione delle
informazioni in termini di risorse usate devono
essere contenuti uniformita standard nella
rappresentazione delle risorse e
uniformitadelle API (segue)
23
Servizi informativi MDS (3/4) espressivita mod
ello dei dati capace di rappresentare le
strutture rilevanti di un sistema
distribuito estendibilita capacita di
incorporare informazioni aggiuntive, non incluse
nel modello dei dati di partenza dati dinamici
i cambiamenti sui dati di ogni risorsa devono
essere resi prontamente disponibili flessib
ilita di accessocapacita di lettura,
aggiornamento e ricerca sui dati sicurezzarestriz
ioni di accesso e/o aggiornamento delle
informazioni
24

• Servizi informativi MDS (4/4)
• su ciascuna risorsa e disponibile un information
  service(GRIS Grid Resource Information
  Service) che, tramite query LDAP, fornisce lo
  stato della risorsa
• CE ed SE contengono un GRIS.
• ciascun GRIS si registra presso un information
  index(GIIS Grid Information Index Service) che
  effettuail caching delle informazioni fornite
  dai GRISe interroga i GRIS solo quando riceve
  una querye la sua cache e invalidata
• Limplementazione del GIIS ha mostrato qualche
  limitazione sulla scalabilità ed è stata
  sostituita da BDII (Berkeley Information Index)

25
Architettura MDS
26
Glue Schema e LDAP
Lo schema astratto GLUE viene mappato nel data
model LDAP per limplementazione. Altre
implementazioni realizzano lo schema in XML o in
un modello relazionale. Le informazioni relative
alla grid sono fornite da numerosi servers LDAP
(GRIS e GIIS) ed organizzate gerarchicamente in
un Directory Information Tree (DIT) Ogni nodo del
DIT è una entry LDAP. LDAP è utilizzato anche
come linguaggio di query e protocollo. Disponibili
API per LDAP per tutti i linguaggi.
27
LDAP
Lightweight Directory Access Protocol It is the
internal protocol used by the services to share
information What is a protocol Made for? ? Any
protocol defines a set of rules to establish a
connection between a client an a server It is
NOT a database different databases can used the
same protocol In the LDAP CASE? ? Standard
derived from the OSI directory service model
called DAP ? LDAP is quite similar to DAP but has
been designed to run over TCP/IP ? It provides a
Data Model to standardizes the naming LDAP
Schema ? This Data Model structures data as a
tree The Directory Information Tree (DIT)
28
LDAP Formato entry
This is an entry collection of attributes. Its
defined by a unique DN (Distinguished Name)
Objectclass special attributes a) Defines
the tree structure of a certain entry b)
Filters the entries of this objectclass
dn ltdistinguished namegt objectclassltobjectclassn
amegt ltattributetypegtltattributevaluegt ltattributety
pegtltattributevaluegt dn ltdistinguished
namegt objectclassltobjectclassnamegt ltattributetype
gtltattributevaluegt ltattributetypegtltattributevalue
gt
White space to separate entries from each other
The types and objectclass names should follow a
schema (Glue Schema)
29
LDAP Struttura gerarchica
30
Esempio di query ldap
gtgt ldapsearch -x -H ldap//griditce01.na.infn.it2
170 -b mds-vo-nameinfn-napoli,ogrid dn
mds-vo-nameINFN-NAPOLI,ogrid objectClass
GlueTop ... dn GlueSEUniqueIDgriditse01.na.infn.
it,mds-vo-nameINFN-NAPOLI, ogrid objectClass
GlueSETop ... dn GlueClusterUniqueIDgriditce01.n
a.infn.it,mds-vo-nameINFN-NAPOLI,ogrid objectCla
ss GlueClusterTop objectClass
GlueCluster GlueClusterName griditce01.na.infn.it
GlueClusterService griditce01.na.infn.it2119/jo
bmanager-lcgpbs-atlas GlueClusterService
griditce01.na.infn.it2119/jobmanager-lcgpbs-alice
GlueClusterService griditce01.na.infn.it2119/jo
bmanager-lcgpbs-cms
31

• Riferimenti
• Grid Information Services for Distributed
  Resource SharingK. Czajkowskiy, S. Fitzgeraldz,
  I. Foster, C. KesselmanProc. 10th IEEE
  (HPDC-10), IEEE Press, 2001 ? http//www.globus.o
  rg/research/papers.html
• Grid information services (MDS) Globus Toolkit
  Developer TutorialThe Globus Project, Argonne
  National LaboratoryUSC Information Sciences
  Institute ? http//www-fp.mcs.anl.gov/gregor/gri
  d-iit/talks/globus/Dev-08-Information1.ppt