Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

18
Σεμινάριο - Μεθοδολογία Επιστημονικής Έρευνας Παρουσίαση Εργασίας “Fault Tolerance” του φοιτητή Αθανασίου Κωνσταντίνου, ΑΜ:13101 Διδάσκουσα: Χ. Σοφιανοπούλου Επίκουρος Καθηγήτρια 2014-2015 Χαροκόπειο Πανεπιστήμιο Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Transcript of Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Page 1: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Σεμινάριο - Μεθοδολογία Επιστημονικής ΈρευναςΠαρουσίαση Εργασίας “Fault Tolerance”του φοιτητή Αθανασίου Κωνσταντίνου, ΑΜ:13101

Διδάσκουσα: Χ. ΣοφιανοπούλουΕπίκουρος Καθηγήτρια

2014-2015

Χαροκόπειο Πανεπιστήμιο

Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Page 2: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

ΑΝΟΧΗ ΣΕ ΣΦΑΛΜΑΤΑ ΣΕ ΥΠΟΛΟΓΙΣΤΙΚΟΠΕΡΙΒΑΛΛΟΝ ΝΕΦΟΥΣ (Fault Tolerance in Cloud Computing Systems)

● Αποθήκευση μεγάλων σε όγκο δεδομένων από πολλούς χρήστες○ (Yahoo, Facebook, Google) [1]

● φθηνό υλικό (hardware) και αξιοπιστία σε ασφάλεια και με ανοχή σε σφάλματα λογισμικό

Σφάλμα: πτώση ή διακοπή παροχής ρεύματος [2], απενεργοποίηση server/cluster,

...

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Page 3: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Copysets: Reducing the Frequency of Data Loss in Cloud Storage

Ερευνητικό Ερώτημα: Ελαχιστοποίηση πιθανότητας απώλειας δεδομένων.(Tolerate Node Failures)● Αντιγραφή (Replicate) σε τεμάχια (chunks) τυχαία (Random) [3,4]● Αποτυχία επαναφοράς δεδομένων 0,5-1% [3,5]● πτώση ρεύματος, δικτύου

○ 1-2 φορές το χρόνο [Google, Yahoo, LinkedIn][2]● κόστος (χρόνος, επαναφορά δεδομένων)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Asaf Cidon, Stephen M. Rumble, Ryan Stutsman, Sachin Katti, John Ousterhout and Mendel RosenblumStanford University, 2013

Page 4: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Copysets: Reducing the Frequency of Data Loss in Cloud Storage

Υλοποίηση: Copyset Replication (1/3)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Asaf Cidon, Stephen M. Rumble, Ryan Stutsman, Sachin Katti, John Ousterhout and Mendel RosenblumStanford University, 2013

Page 5: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Copysets: Reducing the Frequency of Data Loss in Cloud Storage

Υλοποίηση: Copyset Replication (2/3)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Asaf Cidon, Stephen M. Rumble, Ryan Stutsman, Sachin Katti, John Ousterhout and Mendel RosenblumStanford University, 2013

Page 6: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Copysets: Reducing the Frequency of Data Loss in Cloud Storage

Υλοποίηση: Copyset Replication (3/3)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Asaf Cidon, Stephen M. Rumble, Ryan Stutsman, Sachin Katti, John Ousterhout and Mendel RosenblumStanford University, 2013

Page 7: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Copysets: Reducing the Frequency of Data Loss in Cloud Storage

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Asaf Cidon, Stephen M. Rumble, Ryan Stutsman, Sachin Katti, John Ousterhout and Mendel RosenblumStanford University, 2013

Αποτέλεσμα:

Page 8: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Ερευνητικό Ερώτημα: Ελαχιστοποίηση του κόστους της αντιγραφής δεδομένων (Data Replication cost) και του αριθμού των παραβιάσεων των αντιγράφων (QoS-violated Data Replicas)● πλήθος κόμβων + υλικό αποτυχίες υλικού [6,7,8]● αποτέλεσμα : οι εφαρμογές να μη “φέρνουν-διαβάζουν” δεδομένα● ελαχιστοποιώντας το κόστος η αντιγραφή γίνεται πιο γρήγορα,

ελαχιστοποιώντας τη πιθανότητα αποτυχίας● Διακρίνουμε κόμβους υψηλής απόδοσης και χαμηλής απόδοσης

QoS: χρόνος πρόσβασης, εκτέλεσης (απόδοση)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 9: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Υλοποίηση: High-QoS First-Replication Algorithm

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 10: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Υλοποίηση: Βέλτιστη Λύση στο HADR● ILP

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

μεγάλη χρονική διάρκεια υπολογισμού

Page 11: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Υλοποίηση: Μετασχηματισμός σε MCMF πρόβλημα

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 12: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Υλοποίηση: Μετασχηματισμός σε MCMF πρόβλημα

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 13: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Αποτέλεσμα: χρήση MatLab [9] σε 3.500 nodes (1/4)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 14: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Αποτέλεσμα: χρήση MatLab [9] σε 3.500 nodes (2/4)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 15: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Αποτέλεσμα: χρήση MatLab [9] σε 3.500 nodes (3/4)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 16: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Qos-Aware Data Replication for Data-Intensive Applications in Cloud Computing Systems

Αποτέλεσμα: χρήση MatLab [9] σε 3.500 nodes (4/4)

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Jenn-Wei Lin, Chien-Hung Chen, and J. Morris Chang, Senior Member, IEEE,(January-June) 2013

Page 17: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Fault Tolerance in Cloud Computing Systems

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

Ερευνητικό Ερώτημα: Μελέτη, Ανάλυση,Υλοποίηση , Σύγκριση αλγορίθμων ανοχής σε σφάλματα σε περιβάλλον υπολογιστικού νέφους

● Ελαχιστοποίηση πιθανότητας να συμβεί ένα σφάλμα ● Data Replication ● Java● Cloudsim

(Framework For Modeling And Simulation Of Cloud Computing Infrastructures And Services )

Page 18: Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας

Αναφορές

2014-2015 Π.Μ.Σ.-Πληροφορικής & Τηλεματικής

[1] Thomas Kiencke, Institute of Telematics, Hadoop Distributed File System (HDFS), University of L¨ubeck, Germany.[2] Asaf Cidon, Stephen M. Rumble, Ryan Stutsman,Sachin Katti, John Ousterhout and Mendel Rosenblum, Stanford

Universitys, Copysets: Reducing the Frequency of Data Loss in Cloud Storage.[3] K. Shvachko, H. Kuang, S. Radia, and R. Chansler. The hadoop distributed file system. Mass Storage Systems and

Technologies, IEEE / NASA Goddard Conference on, 0:1–10, 2010.[4] D. Ongaro, S. M. Rumble, R. Stutsman, J. K. Ousterhout, and M. Rosenblum. Fast crash recovery in RAMCloud. In

SOSP, pages 29–41, 2011.[5] R. J. Chansler. Data Availability and Durability with the Hadoop Distributed File System. ;login: The USENIX

Magazine, 37(1), February 2012.[6] K.V. Vishwanath and N. Nagappan, “Characterizing Cloud Computing Hardware Reliability,” Proc. ACM Symp.

Cloud Computing, pp. 193-204, June 2010.[7] E. Pinheiro, W.-D. Weber, and L.A. Barroso, “Failure Trends in a Large Disk Drive Population,” Proc. Fifth USENIX

Conf. File and Storage Technologies, pp. 17-28, Feb. 2007.[8] B. Schroeder and G.A. Gibson, “Disk Failures in the Real World: What Does an MTTF of 1,000,000 Hours Mean to

You?” Proc. Fifth USENIX Conf. File and Storage Technologies, pp. 1-16, Feb. 2007.[9] MathWorks - MATLAB and Simulink for Technical Computing, http://www.mathworks.com, 2013.