CONSTRUCTION EFFICACE DES CUBES DE DONNEES

1
Structure Réutilisable pour le
Calcul et la Manipulation des Cubes de Données
Hassani Hachim et Noël Novelli Laboratoire
dInformatique Fondamentale de Marseille (LIF)
2
Structure Réutilisable pour le
Calcul et la Manipulation des Cubes de Données
Cube de données Problématique Etat de
lart Pré-calcul de cubes de données
DVCube Caractérisation Applications dun
DVCube EXPERIMENTATIONS CONCLUSION et
PERSPECTIVES
3
Cube de données
Un cube de données est l'union des toutes les
combinaisons possibles de Group-by sur une
relation (Jim Gray et al. ICDE 96)
SELECT A, B, C, SUM( M ) FROM Table CUBE BY A, B,
C ?
SELECT All, All, All SUM( M ) FROM
Table UNION SELECT A, All, All SUM( M ) FROM
Table Group By A UNION SELECT All, B, All SUM( M
) FROM Table Group By B UNION SELECT All, All, C
SUM( M ) FROM Table Group By C UNION SELECT A,
B, All SUM( M ) FROM Table Group By A,
B UNION SELECT A, All, C SUM( M ) FROM Table
Group By A, C UNION SELECT All, B, C SUM( M )
FROM Table Group By B, C UNION SELECT A, B, C
SUM( M ) FROM Table Group By A, B, C
2k Group By (cuboïdes)
4
Problématique
Treillis de parties de A, B, C, D et E
Espace de recherche exponentielle 2k Group By
(cuboïdes)
5
Etat de lart
Calculer de cube de donnéespipeHash, pipeSort
(S. Sarawagi 96)Overlap (S. Agrawal, R.
Ramakrishnan 96)ArrayCube (Y. Zhao
97)PartitionedCube and MemoryCube (K. A. Ross,
D. Srivastava 97)
Améliorer le temps de calcul BUC (K. Beyer, R.
Ramakrishnan 99) Approche Bottom-Up, Cube
incomplet APIC (R. Cicchetti, N. Novelli, L.
Lakhal 2001)
Réduire les besoins mémoire Quotient Cube (L. V.
S. Lakshmanan 2002)Cube Lattice (A. Casali, R.
Cicchetti, L. Lakhal 2003)
Approches diverses Cube eparpilléSélection de
vuesCalcul parallèle...
6
Pré-calcul de cubes de données DVCube
7
Caractérisation

• DV-Classe
• Intersection de 2 DV-Classe
• DV-Partition
• Produit de 2 DV-Partitions
• DV-Cube
• Algorithme RSCube

8
Applications dun DVCube (1/5)
- Calcul de plusieurs cubes de données - Calcul
de cube à la volée- Calcul de cubes partiels-
Recalcul de cubes de données(données
téléphoniques, bancaires, météorologiques...) -
Calcul de cubes de données en réseau
9
Applications dun DVCube (2/5)
- Calcul de plusieurs cubes de données - Calcul
de cube à la volée- Calcul de cubes partiels-
Recalcul de cubes de données(données
téléphoniques, bancaires, météorologiques...) -
Calcul de cubes de données en réseau
10
Applications dun DVCube (3/5)
- Calcul de plusieurs cubes de données - Calcul
de cube à la volée- Calcul de cubes partiels-
Recalcul de cubes de données(données
téléphoniques, bancaires, météorologiques...) -
Calcul de cubes de données en réseau
11
Applications dun DVCube
x
15
65
- Calcul de plusieurs cubes de données - Calcul
de cube à la volée- Calcul de cubes partiels-
Recalcul de cubes de données(données
téléphoniques, bancaires, météorologiques...) -
Calcul de cubes de données en réseau
45
35
15
12
Applications dun DVCube
- Calcul de plusieurs cubes de données - Calcul
de cube à la volée- Calcul de cubes partiels-
Recalcul de cubes de données(données
téléphoniques, bancaires, météorologiques...) -
Calcul de cubes de données en réseau
13
EXPERIMENTATIONS (1/2)
(Casali et al. (2006))
14
EXPERIMENTATIONS (2/2)
15
CONCLUSION et PERSPECTIVES

• gt Notion de pré-calcul de cubes DVCubegt
  Algorithme parallèle de calcul de cubes de
  données.gt Recalcul de cubes de donnéesgt Calcul
  de plusieurs cubes de donnéesgt Calcul de Cubes
  de Données partielsgt Calcul de cubes de données
  à la volée
• gt Calcul de cubes de données en réseau
• Cubes incomplets Résumé de DVCube Cubes
  incrémentale