Tehnologii de integrare a datelor - PowerPoint PPT Presentation

Loading...

PPT – Tehnologii de integrare a datelor PowerPoint presentation | free to download - id: 781ce0-OTIwZ



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Tehnologii de integrare a datelor

Description:

Tehnologii de integrare a datelor Cursul 4 Martie 2015 c. d. Distribuirea mixta. Incarcarea Distribuirea mixt este opera ia de aplicare succesiv a fragment rii ... – PowerPoint PPT presentation

Number of Views:11
Avg rating:3.0/5.0
Slides: 43
Provided by: ie691
Learn more at: http://www.sinf.ase.ro
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Tehnologii de integrare a datelor


1
Tehnologii de integrare a datelor
  • Cursul 4
  • Martie 2015

2
Abordari ale integrarii
  • 1970 sisteme back end orientate pe
    functionalitati (ex SWIFT, VDA)
  • 1980 modele de date la nivel de companie (ex
    SGBD RPC)
  • 1990 integrare orientate pe procese ( ex
    sisteme ERP, sisteme WMS)
  • Sfarsit de 90 noi concepte de management, gen
    CRM, SCM care se folosesc de un Object Broker
    (Corba, EJB)
  • Middleware orientat pe mesaje (JMS, Messenger MQ)
  • Enterprise Application Integration (Message
    Broker BPMS)
  • B2B Integration (Securitate, adoptare standard)
  • 2000 SOA servicii Web
  • 2010 tehnologii semantice RDF, vocabulare/
    ontologii, etc

3
Moduri de integrare a aplicatiilor
  • Integrare aplicatie la aplicatie
  • Conectare punct la punct intre sisteme
  • Apar structure spaggetti
  • Integrare bazata pe ERP
  • Sistemul ERP este aplicatia centrala
  • EAI Enterprise Application Integration
  • Un hub central de integrare cu cunostinte despre
    procese

4
Comunicarea intre aplicatii
  • Comunicare sincrona punct la punct (extrag din
    S1, transform, inserez in S2)
  • Comunicare asincrona prin SGBD (extrag din S1,
    stochez in SGBD, consult, transform, stochez,
    consult, inserez in S2)
  • Comunicare asincrona prin folosirea de cozi de
    mesaje (extrag din S1, pun in coada, scot din
    coada, transform, pun in coada, scot din coada,
    inserez in S2)

5
EAI
  • tehnologii care automatizeaza comunicarea si
    interoperabilitatea intre aplicatii diferite si
    permit continuarea proceselor de business intre
    aplicatii
  • Integrarea pe verticala, in functie de gradul de
    semantica implicat se poate realiza la
  • Nivelul datelor
  • Nivelul functional
  • Nivelul proceselor

6
Integrarea la nivel de date
  • Transferul datelor dintr-un sistem in altul
    folosind protocoale de transfer a datelor
  • Avantaje
  • Pot fi implementate usor, cu cost redus
  • Nu necesita decat schimbari minore ale
    aplicatiilor
  • Dezavantaje
  • Depenedente intre modelul de date si baza de date
  • Poate periclita integritatea datelor din
    aplicatii
  • Ex middleware BD

7
Integrarea la nivel functional
  • Foloseste functiile sistemelor care trebuie
    integrate pentru a accesa datele si logica
    aplicatiei
  • Avantaje
  • Independenta de structura a aplicatiei
  • Dezavantaje
  • Dependenta de functionalitatea interfetelor
  • Exemple
  • Tehnologia sistemelor distribuite
  • Middleware orientat pe mesaje

8
Integrarea la nivelul proceselor
  • Suporta procesele care manipuleaza obiecte in
    timpul executiei
  • Avantaje
  • Mare flexibilitate a proceselor
  • Un singur punct de control
  • Dezavantaj
  • implementare complexa
  • Ex Servere de integrare EAI

9
I. Integrarea orientata pe date
  1. Mentinerea unor copii ale datelor
  2. Federalizarea datelor
  3. Integrarea datelor prin intermediul interfetelor
  4. Standarde utilizate la integrarea datelor

10
1. Mentinerea unor copii ale datelor
  • copii ale BD distribuite la nivelul aplicatiilor,
    fiecare are propria BD
  • desincronizari datorate intarzierilor in
    propagarea schimbarilor intre surse
  • REPLICAREA DATELOR
  • Mutarea datelor intre 2 sau mai multe BD
  • BD pot avea proveniente si modele diferite
  • Necesita o INFRASTRUCTURA pentru schimbul de date
  • Ex solutii middleware care ofera servicii pentru
    extragerea, transformari ale schemei si
    continutului, plasarea in BD tinta

11
Replicarea datelor
  • Avantaje simpla, ieftina
  • Dezavantaje dc sunt metode atasate datelor

12
Tipuri de replicare
  • Replicarea snapshot
  • datele de pe server sunt copiate in intregime pe
    un alt server sau intr-o alta BD de pe acelasi
    server
  • consum mare de timp si resurse
  • Replicarea merge
  • datele din doua sau mai multe BD sunt combinate
    intr-una singura.
  • pe fiecare se pot realiza schimbari independente,
    fara o conexiune de retea activa.
  • la reconectare, agentul de replicare merge
    verifica schimbarile care apar in seturile de
    date si modifica fiecare din BD in consecinta.
  • Replicarea tranzactionala
  • utilizatorii primesc copii initiale integrale ale
    a BD
  • ulterior primesc actualizari periodice pe masura
    ce apar schimbari ale datelor
  • un plus de flexibilitate pt. BD care se
    actualizeaza frecvent.

13
2. Federalizarea datelor
  • integrarea mai multor BD si a modelelor asociate
    într-o singura BD, cu un MODEL UNIFICAT
  • un nivel software (middleware) între BD
    distribuite fizic si aplicatiile care
    vizualizeaza datele
  • Conecteaza BD FIZICE prin INTERFETE si le mapeaza
    intr-o BD VIRTUALA
  • Gestioneaza colectarea si distribuirea datelor
    din/in BD fizice
  • Avantaje o singura interfata bine definita, nu
    se modifica aplicatiile tinta

14
Federalizarea datelor
15
3. Integrarea prin interfete de aplicatie
  • solutii de procesare a interfetelor pt integrarea
    a aplicatiilor sau pachetelor de aplicatii
  • gestioneaza diferentele de schema, continut si
    semantica aplicatiei, prin interpretarea
    informatiei interschimbata între sisteme
  • utilizat de ERP adaptori se conecteaza la
    aplicatii prin informatiile oferite prin
    interfete sau la solutii tehnologice ce includ
    tehnologii middleware si screen scrapere ca pct
    de integrare
  • avantaj integrarea gt tipuri de aplicatii
  • dezavantaj logica procesului de afaceri si
    metodele sistemelor sursa si destinatie

16
  • Informatica PowerCenter
  • IBM InfoSphere Datastage
  • SAP Business Objects Data Integrator
  • Oracle Data Integrator
  • SAS Data Integration Studio

17
Procesarea interfetei
18
4. Standarde de integrare a datelor
  1. XML
  2. Jason
  3. XSLT
  4. ebXML
  5. SOAP, WSDL, UDDI

19
a. XML eXtensible Markup Language
  • standard robust pentru interschimbul de
    informatie pe Internet
  • aplicatiile si BD comunica fara a avea informatii
    una despre cealalta.
  • Avantaje
  • structurarea datelor permite modelarea datelor
    pentru orice nivel de complexitate
  • extensibilitate - se pot defini noi marcatori
    daca este nevoie
  • validitate - se verifica corectitudinea
    structurala a datelor
  • ofera utilizatorilor posibilitatea de a-?i
    reprezenta datele într-un mod independent de
    aplica?ie
  • autodescrierea documentului nu sunt necesare
    cunostinte anterioare despre aplicatie,
    încapsuleaza atât datele cât si metadatele

20
Documentul XML
  • elementul definit prin marcatori (tag-uri) -
    numele descrie continutul elementului, iar
    structura descrie relatiile dintre elemente
  • parserul XML (componenta a nivelului middleware)
    citeste documente XML si extrage datele ce
    urmeaza a fi accesate de alt program.
  • tehnologia middleware realizeaza transferul
    efectiv de mesaje (si XML), gestioneaza
    interfetele cu aplicatiile sursa si destinatie si
    muta informatia.
  • SAP, Oracle-PeopleSoft (Open Integration
    Framework)-XML ca interfata nativa
  • Producatorii de SGBD (Oracle, Sybase, Informix)
    mecanisme care permit citire/ scriere XML direct
    in BD

21
Parser XML
22
b. JSON (JavaScript Object Notation)
  • standard bazat pe text, proiectat pentru a putea
    fi citit usor
  • Independent de platforma
  • derivat din limbajul JavaScript
  • este construit pe baza a doua structuri o
    colec?ie de perechi de tip cheie-valoare si o
    lista ordonata de valori
  • Folosit des pentru serializare si transmiterea
    datelor in cadrul unei retele de calculatoare.
  • utilizat pentru a transmite datele de la server
    la o aplicatie web

23
XML vs Json
  • JSON
  • mult mai simplu ?i mai rapid
  • are o gramatica mult mai simpla ?i folose?te
    structuri de date din limbajele de programare
    moderne.
  • nu are nevoie de noi tag-uri sau atribute pentru
    reprezentarea datelor.
  • foarte bun pentre reprezentarea obiectelor din
    limbajele de programare. Ce pot fi convertite
    rapid ?i trimise prin Web la consumatorii de
    servicii.
  • XML
  • ofera un suport puternic pentru validare,
  • este extensibil
  • un mod mai puternic de descriere a datelor decât
    JSON.

24
Un exemplu de document JSON
  • "firstName" "John", "lastName" "Smith", "age"
    25, "address"
  • "streetAddress" "21 2nd Street", "city"
    "New York", "state" "NY", "postalCode"
    "10021"
  • ,
  • "phoneNumber"
  • "type" "home", "number" "212 555-1234"
  • ,
  • "type" "fax", "number" "646 555-4567"

25
Standarde XML pt integrarea datelor B2B
26
c. XSLT Extensible Stylesheet Language
Transformations
  • un limbaj proiectat sa transforme un document XML
    într-un altul, modificând atât schema, cât si
    continutul, in functie de setul unic de semantici
    al fiecarei aplicatii
  • poate realiza si alte tipuri de procesare de text
    si operatii de transformare (ex creare formate
    standard gen PDF sau HTML)
  • PASUL 1 transformare structurala (selectare,
    grupare, sortare, agregare)
  • PASUL 2 formatarea, în care noua structura este
    adusa în formatul cerut (txt, PDF, HTML,XML)

27
Transformarea documentelor XML prin XSLT
28
d. ebXML Electronic Business using eXtensible
Markup Language
  • construit pe baza XML, pentru comert
    electronic,automatizare B2B
  • complet procese, managementul tranzactiilor,
    semantici, notatii, securitate, acorduri,
    standarde legate de transferul de informatie si
    standarde legate de structurarea informatiei
  • sistemul de mesaje suporta orice tip de date,
    tranzactii EDI si informatie binara.
  • poate contine un depozit/registru pentru a
    permite accesul simultan la informatie
  • suporta acorduri de tranzactionare între
    parteneri

29
ebXML
30
e. SOAP, WSDL, UDDI
  • Simple Object Access Protocol (SOAP) - format XML
    bazat pe mesaje
  • folosit de aplicatiile bazate pe servicii Web
  • standard pentru codificarea mesajelor în XML si
    care permite acces la functii în alte aplicatii
  • e independent de platforma si lb de programare
  • similar RPC (Remote Procedure Call)

31
WSDL Web Service Description Language
  • o colectie de metadate despre XML bazat pe
    servicii, folosita pentru descrierea scopului
    unei afaceri si a modului de accesare electronica
    a serviciilor acestora
  • specifica procedurile pentru descoperirea
    informatiei tehnice si functionale despre
    serviciile Web pe Internet
  • WSDL ofera un mecanism automat de generare a
    proxy-urilor pentru serviciile Web folosind un
    limbaj standard
  • defineste o gramatica XML pentru descrierea
    serviciilor de retea ca o colectie de puncte
    finale de comunicatie, care pot face transfer de
    informatie (operatii si mesaje).
  • Operatii si mesaje descrise abstract protocol
    de reteaformat de mesaj pct final de comunicatie

32
UDDI
33
(No Transcript)
34
UDDI
  • Universal Description, Discovery and Integration
  • standard pentru catalogarea si publicarea
    descrierilor WSDL asociate serviciilor Web, care
    sunt disponibile pe Internet
  • Registru UDDI- un mecanism comun pentru
    publicarea si cautarea informatiei prin servicii
    Web

35
II. Tehnologii informatice de integrare a datelor
36
II. Tehnologii informatice de integrare a datelor
  1. Baze de date centralizate si distribuite
  2. Depozite de date
  3. Migrarea datelor

37
II.1. Baze de date centralizate si distribuite
  • BDD - BD care nu este localizata într-o singura
    locatie fizica, ci este dispersata într-o retea
    de calculatoare interconectate, putând fi
    accesata de mai multi utilizatori concurenti.
  • SGBDD - distribuirea, concurenta si eventualele
    esecuri sa fie transparente, operatiile de citire
    / scriere se executa a.i. sa nu apara nici o
    diferenta fata de situatia unei BD cu un singur
    utilizator

38
Regulile lui Date
  • R1. Autonomia locala fiecare nod are control
    local asupra datelor si este independent dpdv
    securitate, controlul concurentei, backup si
    recuperare.
  • R2. Independenta fata serverul central fiecare
    nod trebuie sa actioneze independent, fara sa
    depinda de un server central sau un alt nod.
  • R3. Continuitatea fara întreruperi pentru
    întretineri sau reparatii.
  • R4. Transparenta localizarii nici un
    utilizator/program are nevoie sa stie unde si cum
    sunt amplasate datele folosite.
  • R5. Independenta fragmentarii SGBDD va trebui sa
    poata reconstrui automat, în orice moment, o
    colectie de date din fragmentele sale.
  • R6. Independenta replicarii utilizatorii/programe
    le nu trebuie sa stie daca datele au fost
    replicate si cum anume.
  • R7. Interogari distribuite poate fi executata pe
    orice nod din retea, pot sa participe mai multe
    noduri
  • R8. Tranzactii distribuite o tranzactie poate sa
    acceseze si sa modifice date din mai multe
    noduri, fara ca beneficiarul sa fie constient de
    acest lucru.
  • R9. Independenta fata de hardware nodurile pe
    care se gasesc datele pot fi calculatoare de
    diferite tipuri si puteri.
  • R10. Independenta fata de software nu trebuie sa
    aiba importanta sistemele de operare care exista
    pe noduri
  • R11. Independenta fata de retea BDD si SGBDD
    trebuie sa poata fi implementate pe orice
    platforma de retea corespunzatoare,
  • R12. Independenta fata de SGBD la nivel de nod
    local pot rula diferite SGBD-uri.

39
(No Transcript)
40
a. Distribuirea prin fragmentare
  • operatia de descompunere logica a colectiilor
    globale în parti disjuncte numite fragmente,
    utilizând operatori speciali.
  • REGULILE
  • completitudinea
  • reconstructia
  • disjunctia
  • METODELE
  • orizontala extragerea unui set de înregistrari,
    pastrându-se toate câmpurile colectiei initiale
  • verticala extragerea unui set de câmpuri,
    pastrându-se toate înregistrarile colectiei
    initiale
  • mixta aplicarea succesiva a metodelor orizontala
    si verticala

41
b. Distribuirea prin replicare
  • operatia de stocare a unor portiuni dintr-o BD,
    sub forma de copii, pe mai multe calculatoare
    dintr-o retea
  • la actualiz. unei copii locale, SGBDD
    actualizeaza automat toate copiile acelor date
  • METODELE (redundanta vs concurenta)
  • date nereplicate
  • date replicate partial
  • date replicate total

42
c. d. Distribuirea mixta. Incarcarea
  • Distribuirea mixta este operatia de aplicare
    succesiva a fragmentarii si replicarii pentru
    aceeasi colectie
  • Distribuirea prin încarcare este operatia de
    copiere periodica a întregii BD centralizate sau
    a unei portiuni din ea pe noduri locale
About PowerShow.com