1

Θέματα Hash Join

Κώστας Λίλλης

Ελένη Γεώργα

2

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

3

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

4

Binary Hash Joins

Η μία σχέση (build input) χωράει στη μνήμη Διαβάζεται η build input και δημιουργείται ο πίνακας

κατακερματισμού με βάση το πεδίο της συνένωσης Διαβάζονται μία-μία οι εγγραφές της άλλης σχέσης

(probe input) και παράγεται το αποτέλεσμα της συνένωσης

Το build input δεν χωράει στη μνήμη Διαβάζονται οι δύο σχέσεις και διαμερίζονται

αναδρομικά με βάση μια συνάρτηση κατακερματισμού στο πεδίο της συνένωσης σε διαμερίσεις που χωράνε στη μνήμη

Πραγματοποιείται Binary Hash Join μεταξύ των αντίστοιχων διαμερίσεων των δύο σχέσεων

5

Διαμέριση (Partitioning)

0

1

2

……

……

n-3

n-2

n-1

R

X …

4 …

21 …

6 …

9 …

18 …

27 …

S

… X

… 27… 9… 18… 4… 6… 18

21 …27 …

4 …6 …9 …18 …

Hash Table

.

.

.

.

.

.

.

.

.

.

.

.

21 …27 …

4 …6 …9 …18 …

.

.

.

.

.

.

Partitions of R

27 …

9 …6 …4 …18 …18 …

.

.

.

.

.

.

Partitions of S

R X S

6

Binary Hash Joins

Η πρώτη περίπτωση ονομάζεται in-memory hash join

Η δεύτερη περίπτωση Όταν δεν χρειάζονται πολλαπλά επίπεδα διαμέρισης

ονομάζεται Grace hash join Όταν χρειάζονται πολλαπλά επίπεδα διαμέρισης

ονομάζεται recursive hash join Συνδυασμός των δύο περιπτώσεων ονομάζεται

hybrid hash join Κάποια buckets (που χωράνε στη μνήμη) γίνονται

build και probe στη μνήμη, ενώ οι εγγραφές που ανήκουν στα υπόλοιπα buckets (που δεν χωράνε στη μνήμη) τοποθετούνται (spill) σε διαμερίσεις στο δίσκο

Οι spilled διαμερίσεις συνενώνονται με Grace ή recursive hash join

7

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

8

Binary Hash Joins with Grouping/Aggregation Ερωτήσεις που περιέχουν ένα join και ένα group by Παράδειγμα ερώτησης: συνολική τιμή όλων των

παραγγελιών ομαδοποιημένες με βάση την πόλη.

select c.City, sum(o.Value)

from Customer c, Order o

where c.C# = o.C#

group by c.City;

Customer(C#, City)

Order(O#, C#, Value)

9

Traditional Execution Plan

Βήματα εκτέλεσης Διαμερίζονται οι σχέσεις Customer

και Order με βάση το πεδίο της συνένωσης C#

Πραγματοποιείται η συνένωση των αντίστοιχων διαμερίσεων (partition) και προκύπτει το ενδιάμεσο αποτέλεσμα

Αν το ενδιάμεσο αποτέλεσμα δεν χωράει στη μνήμη διαμερίζεται με βάση το πεδίο City

Πραγματοποιείται η ομαδοποίηση και η συνάθροιση σε κάθε διαμέριση και παράγεται το τελικό αποτέλεσμα

Agg

OrderCustomer

Ptn on C#Ptn on C#

Ptn on City

C#

City

select c.City, sum(o.Value)

from Customer c, Order o

where c.C# = o.C#

group by c.City;

10

Generalized Hash Teams

Βήματα εκτέλεσης Διαμερίζεται η σχέση Customer με

βάση το πεδίο City και ταυτόχρονα δημιουργείται ένα bitmap για κάθε διαμέριση

Με βάση τα bitmaps πραγματοποιείται η έμμεση διαμέριση της σχέσης Order (ως προς το City)

Πραγματοποιείται η συνένωση των αντίστοιχων διαμερίσεων (partition) και προκύπτει το ενδιάμεσο αποτέλεσμα

Πραγματοποιείται η ομαδοποίηση και η συνάθροιση σε κάθε διαμέριση και παράγεται το τελικό αποτέλεσμα

Bit-maps(BM)

OrderCustomer

Ptn on City Ptn on BM

Agg

C#

City

select c.City, sum(o.Value)

from Customer c, Order o

where c.C# = o.C#

group by c.City;

11

Generalized Hash Teams

Customer

C# City

5 PA

13 M

3 NYC

9 B

17 LA

10 HH

4 NYC

7 LA

6 B

25 M

23 PA

42 HH

Order

O#

C#

Value

23 4 13

27 9 54

7 25 10

59 10 13

10 3 66

22 17 42

43 5 33

6 9 45

19 42 75

40 10 1

28 7 9

33 6 51

42 5 34

24 13 0

3 7 12

B1

0

0

0

1

0

1

0

0

0

0

B2

1

0

1

0

0

0

1

0

0

1

B3

0

0

0

1

1

0

0

1

0

0

1+(4 mod 10) = 5

1+(9 m

od 10) =

10

1+(25 mod 10)

= 6

1+(4

mod

10)

= 5

1+(3 mod 10)

= 4

12

Generalized Hash Teams

Customer1

C# City

5 PA

13 M

25 M

23 PAOrder1

O# C# Value

7 25 10

10 3 66

43 5 33

42 5 34

24 13 0

AggrCity

City

Value

PA 33

M 10

C#AggrCity

13

Generalized Hash Teams

Customer2

C# City

9 B

10 HH

6 B

42 HHOrder2

O# C# Value

27 9 54

59 10 13

6 9 45

19 42 75

40 10 1

33 6 51

AggrCity

City

Value

B 150

HH 89

C#AggrCity

14

Generalized Hash Teams

Customer3

C# City

3 NYC

17 LA

4 NYC

7 LAOrder3

O# C# Value

23 4 13

10 3 66

22 17 42

28 7 9

24 13 0

3 7 12

AggrCity

City Value

NYC

79

LA 63

C#AggrCity

15

Generalized Hash Teams – False Drops Η τοποθέτηση μιας πλειάδας της σχέσης η

οποία διαμερίζεται με βάση το bitmap, σε κάποια / ες επιπλέον διαμερίσεις ονομάζεται false drop

Τα false drop δεν επηρεάζουν τη σωστή λειτουργία του αλγορίθμου αλλά έχουν αρνητικό αντίκτυπο στην απόδοση (Ι/Ο)

Ο αριθμός των false drops εξαρτάται από το μήκος του bitmap και τη συνάρτηση κατακερματισμού

16

Generalized Hash Teams vs. Traditional Execution Plan Μειώνει το κόστος I/O που προκύπτει από την

διαμέριση του ενδιάμεσου αποτελέσματος όταν αυτό δεν χωράει στην Κύρια Μνήμη

Απαιτούν επιπρόσθετο χώρο στη μνήμη και CPU time για τα bitmaps

Πιθανόν να αυξηθεί το κόστος I/O όταν υπάρχουν false drops

Καταλληλότερα όταν υπάρχει συναρτησιακή εξάρτηση του πεδίου συνάθροισης από το πεδίο συνένωσης Διαφορετικά το κόστος I/O αυξάνεται λόγω της

τοποθέτησης πλειάδων σε πολλαπλές διαμερίσεις (partition overlapping)

17

Partition Nested Loops

Βήματα εκτέλεσης1. Η σχέση Customer διαμερίζεται με βάση το πεδίο City2. Διαβάζεται η σχέση Order, προβάλλονται τα σχετικά πεδία,

εφαρμόζονται (αν υπάρχουν) τα predicates και η τροποποιημένη σχέση Order γράφεται στο δίσκο

3. Διαβάζεται η πρώτη διαμέριση της σχέσης Customer και δημιουργείται ένα hash table στη μνήμη με βάση το πεδίο C#. Διαβάζεται η τροποποιημένη σχέση Order (ανά block) και βρίσκονται οι πλειάδες της που αντιστοιχούν στης πλειάδες της διαμέρισης της σχέσης Customer. Ταυτόχρονα εκτελείται η συνάθροιση

4. Επαναλαμβάνεται το βήμα 3 για όλες τις υπόλοιπες διαμερίσεις της σχέσης Customer

Τα βήματα 2 και 3 για την πρώτη διαμέριση της σχέσης Customer μπορούν να εκτελεστούν ταυτόχρονα ώστε μειωθεί το κόστος I/O

Αν δεν κερδίζουμε κάτι από το βήμα 2 αυτό μπορεί να παραλειφθεί

select c.City, sum(o.Value)

from Customer c, Order o

where c.C# = o.C#

group by c.City;

18

Partition Nested Loops vs. Generalized Hash Teams Υψηλό κόστος αν η σχέση Customer

είναι μεγάλη (που συνεπάγεται περισσότερες διαμερίσεις άρα και περισσότερες αναγνώσεις της σχέσης Order)

Καλύτερη απόδοση αν αναμένεται να υπάρχουν πολλά false drops

Χρειάζονται λιγότερη μνήμη στη φάση της διαμέρισης (δεν υπάρχουν bitmaps)

19

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

20

Traditional Multi-Way Hash Join

R AA S T

R

S

A

A

T

A

A

Result

Βήματα εκτέλεσης Διαμερίζονται οι

σχέσεις R, S με βάση το πεδίο A

Συνενώνονται οι αντίστοιχες διαμερίσεις και δημιουργεί-ται το ενδιάμεσο αποτέλεσμα

Διαμερίζονται το ενδιάμεσο αποτέλεσμα και η σχέση Τ

Συνενώνονται οι αντίστοιχες διαμερίσεις και παράγεται το τελικό αποτέλεσμα

R.AR.A

S.AS.A

T.AT.A

21

Multi-Way Hash Teams Join

Βήματα εκτέλεσης Διαμερίζονται σε

ένα πέρασμα οι σχέσεις R, S, T

Συνενώνονται οι αντίστοιχες διαμερίσεις (όπως φαίνεται στο σχήμα) και παράγεται το τελικό αποτέλεσμα.

R AA S T

R

S

A

A

T

Result

A

A

S.AS.A

T.AT.A

R.AR.A

22

Multi-Way Hash Teams Join vs. Traditional Multi-Way Hash Join

Μείωση του κόστους I/O διότι διαμερίζονται μόνο οι σχέσεις που συνενώνονται και όχι τα ενδιάμεσα αποτελέσματα

Μπορεί να γίνει μόνο αν όλες οι συνενώσεις γίνονται με βάση το ίδιο πεδίο

Λύση Generalized Hash Team Join

23

Multi-Way Generalized Hash Teams Join Βήματα εκτέλεσης

Διαμερίζεται η σχέση R με βάση το πεδίο Α

Διαμερίζεται η σχέση S με βάση το πεδίο Α και ταυτόχρονα δημιουργούνται τα bitmaps με βάση το B

Διαμερίζεται η σχέση T με βάση τα bitmaps.

Συνενώνονται οι αντίστοιχες διαμερίσεις (όπως φαίνεται στο σχήμα) και παράγεται το τελικό αποτέλεσμα.

R ΒA S T

R

S

A

A

T

Result

B

B

S.AS.A

BT.BBT.B

R.AR.A

Bitmapson

B(BT.B)

24

Multi-Way Generalized Hash Teams Join with Grouping/Aggregation Παράδειγμα ερώτησης με διπλή

συνένωση, group by και aggregation Συνολικό κόστος όλων των παραγγελιών

ομαδοποιημένες με βάση την πόλη

select c.City, sum(l.Price)

from Customer c, Order o, Lineitem l

where c.C# = o.C# and l.O# = o.O#

group by c.City;

Customer(C#, City)

Order(O#, C#, Value)

Lineitem(l#, O#, Price)

25

Multi-Way Generalized Hash Teams Join with Grouping/Aggregation Τρόπος εκτέλεσης της ερώτησης (Generalized Hash Team Join)

Διαμερίζεται η σχέση Customer με βάση το πεδίο City και ταυτόχρονα δημιουργούνται τα bitmaps με βάση το πεδίο C#

Διαμερίζεται η σχέση Order με βάση τα bitmaps που δημιούργησε η Customer και ταυτόχρονα δημιουργούνται τα bitmaps με βάση το πεδίο Ο#

Διαμερίζεται η σχέση Lineitem με βάση τα bitmaps που δημιούργησε η Order

Πραγματοποιείται η συνένωση των αντίστοιχων διαμερίσεων

select c.City, sum(l.Price)

from Customer c, Order o, Lineitem l

where c.C# = o.C# and l.O# = o.O#

group by c.City;

26

Multi-Way Generalized Hash Teams Join with Grouping/Aggregation Στο παράδειγμά μας οι συνενώσεις

των διαμερίσεων μπορούν να εκτελεστούν με δύο διαφορετικές διατάξεις. Η απόφαση λαμβάνεται με βάση το κόστος εκτέλεσης

27

Multi-Way Generalized Hash Teams Join with Grouping/Aggregation Το κόστος μνήμης αυξάνεται λόγω της

διατήρησης δύο συνόλων bitmaps (με βάση το C# και με βάση το O#) Το κόστος αυτό μπορεί να μειωθεί

διαγράφοντας τα bitmaps με βάση το C# μετά τη διαμέριση της σχέσης Order

Στο παράδειγμα υπάρχουν οι συναρτησιακές εξαρτήσεις Ο# C# City άρα το generalized hash team join είναι η κατάλληλη τεχνική (no overlapping partitions)

28

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

29

Implementation Details – Fine-Tuning the Indirect Partitioning Phase

R

… A

… 4

… 5

… 6

… 3

1 0

0 0

1 0

1 1

0 0

1 0

0 1 0

0 0 0

0 1 0

0 1 1

0 0 0

1 0 0

1

0

0

1

0

0

0

0

0

0

1

0

0

1

0

1

1

…

Bitmaps

used

collision

B1B

2B

3

used = B1|B2| … | Bn

collision[k]=

1 : if exists ij{1,…,n} s.t. Bi[k]==Bj[k]==1

0 : otherwise

30

Teaming up the Hash Join and the Aggregation – Build Phase

HT JoinC# Ptr

HT AggrCity Ptr

Customer1C# City5 PA

13 M25 M23 PA

5

PA

Hash-Area

City Value Hit

PA 0

M 0

M

13

25

23

31

Teaming up the Hash Join and the Aggregation – Probe Phase

HT JoinC# Ptr

HT AggrCity Ptr

Customer1C# City5 PA

13 M25 M23 PA

5

PA

Hash-Area

City Value Hit

PA 0

M 0

M

13

25

23 Order1

C# Value25 103 665 335 3413 0

10 1

32

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

33

F. D. Analysis

C O

C1

C3

C2

O1

O2

O3

..

1

..

0

..

..

0

..

1

..

..

1

..

0

..

B1

B3

B2

i

i

i

j

j

j

h( ) = h( ) = ih( ) = h( ) = j

select c.City, sum(o.Value)

from Customer c, Order o

where c.C# = o.C#

group by c.City;

34

False Drop Analysis - Binary Hash Joins with Grouping/Aggregation n : αριθμός διαμερίσεων b : μήκος κάθε bitmap της σχέσης Customer c : πλήθος customers o : πλήθος orders

η πιθανότητα ένας customer να θέσει ένα bit των bitmap

η πιθανότητα ένας customer να μη θέσει το συγκεκριμένο bit των bitmap

η πιθανότητα μόνο ένας customer να έχει θέσει το συγκεκριμένο

bit των bitmap

η πιθανότητα παραπάνω από ένας customer να έχει θέσει το

συγκεκριμένο bit των bitmap πιθανότητα για ένα false drop

bn 1

bn 1

1

11

1

c

bn

11

11

c

bn

35

False Drop Analysis - Binary Hash Joins with Grouping/Aggregation ο συνολικός αριθμός των false drops για

όλα τα orders σε όλες τις n -1 διαμερίσεις Υποθέσεις

Η συνάρτηση κατακερματισμού θέτει ομοιόμορφα τα bit σε κάθε bitmap (διαφορετικά ο αριθμός των false drops θα ήταν πολύ μεγάλος)

Οι customers κατανέμονται ομοιόμορφα στις διαμερίσεις (διαφορετικά ο αριθμός των false drops θα μειώνονταν)

Τύπος με μικρότερο υπολογιστικό κόστος

η πιθανότητα δύο customers να θέσουν το ίδιο bit

11

111c

bnno

bn

cno

1

1

bn

c

1

36

False Drop Analysis – Multi-way Hash Joins Για τη διαμέριση της σχέσης Order ισχύει η προηγούμενη ανάλυση Κατά τη διαμέριση της σχέσης Lineitem

εμφανίζονται false drops με δύο τρόπους:1. Orders που ανήκουν σε διαφορετικές

διαμερίσεις θέτουν το ίδιο bit στους bitmaps.2. Τα false drops που εμφανίζονται κατά τη

διαμέριση της σχέσης Order προκαλούν false drops κατά τη διαμέριση της σχέσης Lineitem (false drop propagation)

select c.City, sum(l.Price)

from Customer c, Order o, Lineitem l

where c.C# = o.C# and l.O# = o.O#

group by c.City;

37

F. D. Analysis

O L

O1

O2

O3

..

1

..

1

..

..

..

..

..

..

..

1

..

1

..

B1

B3

B2

i

i

j

j

h( ) = i

h( ) = j

select c.City, sum(l.Price)

from Customer c, Order o, Lineitem l

where c.C# = o.C# and l.O# = o.O#

group by c.City;

L1

L2

L3

38

False Drop Analysis – Multi-way Hash Joins

l : πλήθος lineitems bο : μήκος κάθε bitmap της σχέσης Order fο : εκτίμηση του αριθμού των false drops κατά τη

διαμέριση της σχέσης Order ο αριθμός των false drop για την πρώτη

περίπτωση ο αριθμός των false drop για την δεύτερη

περίπτωση

obn

onl

1

1

select c.City, sum(l.Price)

from Customer c, Order o, Lineitem l

where c.C# = o.C# and l.O# = o.O#

group by c.City;

o

lfo

39

Θεματολόγιο

Binary Hash Joins Binary Hash Joins with Aggregation Multi-Way Hash Joins Implementation Details False Drop Analysis XJoin

40

Xjoin - Γενικά

Απευθύνεται σε ερωτήσεις πάνω σε ευρέως κατανεμημένες πηγές δεδομένων

Τα δεδομένα (σχέσεις - πλειάδες) προέρχονται από απομακρυσμένες πηγές

Αυτό επιφέρει καθυστέρηση στην παραγωγή αποτελέσματος λόγω Καθυστέρησης στην άφιξη των πρώτων

δεδομένων (πλειάδων) Αργού ρυθμού άφιξης δεδομένων Bursty άφιξης δεδομένων

41

Xjoin - Γενικά

Επιτυγχάνει καλύτερη αλληλεπιδραστική απόδοση παράγοντας αποτελέσματα «αυξητικά»

Επιτρέπει την συνεχή εκτέλεση της ερώτησης ακόμα και όταν τα δεδομένα καθυστερούν από μία ή και της δύο πηγές. Πως; Επεξεργασία στο background δεδομένων

που έχουν ληφθεί προηγουμένως, ενώ δεν φθάνουν δεδομένα από τις πηγές

42

Xjoin - Θέματα

Διαχείριση ροής δεδομένων μεταξύ μνήμης και σκληρού δίσκου

Έλεγχος της επεξεργασίας που πραγματοποιείται στο background

Παραγωγή όλων των αποτελεσμάτων (πλήρη απάντηση στην ερώτηση)

Απαλοιφή διπλότυπων από το αποτέλεσμα

43

Xjoin - Λειτουργία

Κάθε είσοδος (σχέση) της ερώτησης διαμερίζεται σε έναν αριθμό από διαμερίσεις με βάση μια συνάρτηση κατακερματισμού

Κάθε διαμέριση PiA μίας σχέσης A αποτελείται από δύο κομμάτια Ένα κομμάτι που βρίσκεται στη μνήμη MPiA

Ένα κομμάτι που βρίσκεται στο δίσκο DPiA

PiA = MPiA DPiA και MPiA DPiA = Κάθε πλειάδα που φθάνει τοποθετείται στην

αντίστοιχη διαμέριση αν υπάρχει χώρος στη μνήμη διαφορετικά κάποια διαμέριση μεταφέρεται στο δίσκο

44

D I S K Tuple B

hash(Tuple B) = n

SOURCE-B

Memory-resident partitions of source B

. . . . . .k1 n

flu

shDisk-resident

partitions of source B

. . . . . .

Disk-residentpartitions of source A

Memory-resident partitions of source A

. . . . . . . . . . . .1

SOURCE-A

M E

M O

R Y

. . .

n

1n1 k n

Tuple A

hash(Tuple A) = 1

45

Xjoin - Λειτουργία

Το XJoin αποτελείται από τρία στάδια Το πρώτο στάδιο συνενώνει πλειάδες που βρίσκονται

στη μνήμη Μπλοκάρει όταν δεν φθάνουν δεδομένα από καμία πηγή Τερματίζει όταν έχει λάβει όλες τις πλειάδες από τις δύο

πηγές Το δεύτερο στάδιο συνενώνει πλειάδες της μίας

σχέσης που βρίσκονται στο δίσκο με πλειάδες της άλλης σχέσης που βρίσκονται στη μνήμη Ενεργοποιείται όταν μπλοκάρει το πρώτο στάδιο Σταματάει όταν επανενεργοποιείται το πρώτο στάδιο

Το τρίτο στάδιο παράγει αποτελέσματα τα οποία δεν παράχθηκαν από τα υπόλοιπα στάδια

46

XJoin – Στάδιο 1

hash(record B) = j

Partitions of source B

. . . . . . . . .ii

M E

M O

R Y

j

Partitions of source A

j

SOURCE-B

Tuple B

SOURCE-A

Tuple Ahash(record A) = i

. . . . . . . . .

insertinsert probeprobe

Output

47

XJoin – Στάδιο 2

Partitions of source BPartitions of source A

M E

M O

R Y

i. . . . . . .

ii

D I

S K

i

Output

. . . . . . .. . . . . . .. . . . . . .

Partitions of source BPartitions of source A

. . . . .. . . . .. . . . .. . . . .

DPiA MPiBprobe

48

XJoin - Στάδιο 3

Το πρώτο στάδιο δεν συνενώνει πλειάδες που δεν βρίσκονται ταυτόχρονα στη μνήμη

Το δεύτερο στάδιο δεν συνενώνει δύο πλειάδες αν η μία δεν βρισκόταν στη μνήμη όταν η άλλη μεταφέρθηκε από το δίσκο στη μνήμη

Το τρίτο στάδιο συνενώνει όλες τις διαμερίσεις (που βρίσκονται στη μνήμη ή στο δίσκο) των δύο σχέσεων

49

Απαλοιφή διπλοτύπων από το πρώτο στάδιο

Tuple X

Tuple X ATS DTS

Για κάθε πλειάδα συντηρούνται timestamps

ATS : ο χρόνος όταν η πλειάδα έφθασε από την πηγή

DTS : ο χρόνος όταν η πλειάδα μεταφέρθηκε στο δίσκο

Tuple X 99 235

Παράδειγμα

50

Ανίχνευση πλειάδων που συνενώθηκαν στο πρώτο στάδιο

Tuple A 102 234

Tuple B1

178 198

Tuples joined in the first stage

DTSATS

Overlapping

Tuple A 102 234

Tuple B2

348 601

Tuples not joined in the first stage

DTSATS

Non-Overlapping

51

Απαλοιφή διπλοτύπων από το δεύτερο στάδιο

Για κάθε διαμέριση διατηρείται μια συνδεδεμένη λίστα με στοιχεία της μορφής {DTSlast, ProbeTS} DTSlast : το DTS της τελευταίας πλειάδας

του κομματιού τις διαμέρισης που βρίσκεται στο δίσκο, το οποίο επεξεργαστικέ από το δεύτερο στάδιο

ProbeTS : ο χρόνος εκτέλεσης του δευτέρου σταδίου

52

Ανίχνευση πλειάδων που συνενώθηκαν στο δεύτερο στάδιο

Tuple A

DTS

20 340 250 550 300 700100 200

ATS

ProbeTS

DTSlast

Tuple B

DTS

100 300 800 900500 600ATS

Overlap

History list for the corresponding partitions

53

Έλεγχος εκτέλεσης του δευτέρου σταδίου Το κόστος από την εκτέλεση του δευτέρου σταδίου

κρύβεται μόνο όταν και οι δύο πηγές (είσοδοι) καθυστερούν

Προτείνεται μηχανισμός για τον περιορισμό του δεύτερου σταδίου στην επεξεργασία μόνο των διαμερίσεων που αναμένεται να παράγουν σημαντικό αποτέλεσμα (μεγάλο αριθμό πλειάδων)

Κατώφλι ενεργοποίησης ποσοστό του συνολικού αριθμού πλειάδων που αναμένεται να παραχθούν από μία διαμέριση ως αποτέλεσμα της συνένωσης της

Παράδειγμα Μια διαμέριση αναμένεται να παράγει 1000 πλειάδες Κατώφλι 0.01 επιτρέπει το δεύτερο στάδιο να εκτελεστεί αν

αναμένεται να παράγει 10 ή παραπάνω πλειάδες Δυναμική ρύθμιση του κατωφλίου: aggressive

conservative

54

References

G. Graefe, R. Bunker, S. Cooper: Hash Joins and Hash Teams in Microsoft SQL Server. VLDB 1998. pp. 86-97

A. Kemper, D. Kossmann, C. Wiesner. Generalized hash teams for join and group-by. VLDB 1999. pp. 30-41

T. Urhan, M. J. Franklin. XJoin: A ReactivelyScheduled Pipelined Join Operator. IEEE Data Engineering Bulletin, 23(2):27--33, June 2000

55

Ερωτήσεις