Service management in NoSQL data stores via replica-group reconfigurations
Φόρτωση...
Ημερομηνία
Συγγραφείς
Μπέκας, Εύδοξος
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Internet-scale services increasingly rely on NoSQL data store technologies for scalable,
highly available data persistence. Workload variations or imbalances in data-store resource
utilization typically require adaptation actions that involve movement of data
(e.g., migrating data between nodes) and thus involve high overhead. In this thesis
we propose the use of low-cost adaptation actions based on targeted reconfigurations
of replica groups as an effective way to offer rapid response to performance
degradation (such as when a node experiences a temporary resource shortage). Such
reconfigurations can be exercised and controlled by a management system that uses
measurement-based analysis to ensure they are only applied when their benefit outweighs
their cost. Such a management system may also leverage external cross-layer
notifications from an underlying container management system (CMS) about resourcespecific
conditions that are expected to impact the data store. We evaluate a prototype
implementation of the management system in the context of the RethinkDB data store
on Google Container Engine with the Kubernetes CMS, and on a dedicated cluster,
using the Yahoo Cloud Serving Benchmark. Our results demonstrate that low-cost
data-store adaptation actions can improve overall system manageability, availability,
and performance, and that events exposed by the CMS can be leveraged to drive
proactive adaptation actions, improving overall quality of service.
Οι συνεχώς αυξανόμενες ανάγκες των διαδικτυακών εφαρμογών για υψηλή από- δοση και διαθεσιμότητα στην αποθήκευση δεδομένων έχουν οδηγήσει στη δημιουρ- γία μιας νέας κατηγορίας κατανεμημένων αποθετηρίων δεδομένων (data stores) γνωστή με τον όρο NoSQL. Τα NoSQL συστήματα είναι βελτιστοποιημένα ως προς την επεκτασιμότητα και την κλιμακωσιμότητα σε σύγκριση με τα συστήματα SQL (δηλαδή με τα DBMS). Σε περιπτώσεις όπου υπάρχουν μεταβολές στον φόρτο εργασίας ή δεν είναι εφικτή η δέσμευση των απαιτούμενων υπολογιστικών πό- ρων από τα αποθετήρια δεδομένων, απαιτείται να γίνουν ενέργειες προσαρμογής οι οποίες περιλαμβάνουν μετακίνηση δεδομένων από κόμβο σε κόμβο εισάγοντας υψηλό φόρτο στο σύστημα. Στην παρούσα εργασία προτείνουμε την χρήση ενερ- γειών προσαρμογής χαμηλού κόστους βασισμένες σε στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων όταν ένας κόμβος αντιμετωπίζει μια προσωρινή υπερφόρτωση. Αναδιοργανώσεις αυτού του τύπου μπορούν να προγραμματιστούν και εκτελεστούν από ένα σύστημα διαχείρισης του αποθετηρίου δεδομένων, εκτιμώντας την αποτε- λεσματικότητά τους με βάση ανάλυση συστηματικών μετρήσεων, που υποδεικνύει πότε το πλεονέκτημα από τη χρήση του μηχανισμού υπερβαίνει το κόστος του. Ένα τέτοιο σύστημα διαχείρισης μπορεί επίσης να αντλήσει σημαντικά πλεονεκτήματα από τη χρήση διαστρωματικών (cross layer) ειδοποιήσεων από σύστημα διαχείρι- σης υποδομής για επικείμενα γεγονότα (όπως κατάρρευση ή υπερφόρτωση) που αφορούν πόρους του συστήματος και που εκτιμάται ότι θα επηρεάσουν την από- δοση και διαθεσιμότητα του αποθετηρίου. Στα πλαίσια της εργασίας αυτής υλοποιούμε ένα τέτοιο σύστημα διαχείρισης με βάση το αποθετήριο RethinkDB και το σύστημα διαχείρισης υποδομής Kubernetes, στην υποδομή Google Container Engine και σε υποδομή τοπικού cluster, με φόρτο παραγώμενο από το Yahoo Cloud Serving Benchmark. Τα πειράματα που εκτελέστηκαν έχουν ως σκοπό να δείξουν τα οφέλη μια τέ- τοιας αρχιτεκτονικής για την διαχείριση αναδιοργανώσεων ομάδων δεδομένων. Εξε- τάζονται οι περιπτώσεις όπου γίνεται προδραστική αναδιοργάνωση ενός RethinkDB cluster βασιζόμενη σε ειδοποίηση (notification) ότι κάποιος κόμβος επρόκειτο να τερματιστεί, καθώς και σε περιπτώσεις όπου ένας κόμβος βρίσκεται υπό συνθή- κες υψηλού φόρτου που δεν οφείλονται στο αποθετήριο δεδομένων. Με αυτή την ανάλυση στοχεύουμε να προσδιορίσουμε εάν οι προδραστικές ενέργειες προσαρ- μοστικότητας, στην περίπτωση που προηγουμένως έχει ληφθεί ειδοποίηση για τον τερματισμό κάποιο κόμβου, μπορούν να βελτιώσουν την απόδοση σε σχέση με την περίπτωση οπού ο τερματισμός του κόμβου γίνει χωρίς προειδοποίηση. Επιπρόσθετα, πραγματοποιήθηκε πειραματική ανάλυση συγκρίνοντας την επίδραση, βάση δοθέντων Service-Level Objectives (SLOs), περιόδων υψηλού φόρτου (hot-spots) διαφορετικής διάρκειας στην επίδοση, σε σχέση με την επίδραση των αναδιοργανώσεων ομάδων δεδομένων που πραγματοποιήθηκαν για την αποφυγή αυτών των hot-spot με βάσει τα ίδια SLOs. Το κόστος της αναδιοργάνωσης ομάδων αντιγράφων για την αποφυγή υψηλού φόρτου είναι μικρότερο σε σχέση με την περίπτωση όπου δεν εκτελείται καμία ενέργεια (αναδιοργάνωσης ομάδων αντιγράφων), ακόμα και για περιπτώσεις όπου η διάρκεια που επηρεάζεται ένας κόμβος από υψηλό φόρτο είναι αρκετά μικρή. Επίσης σύμφωνα με την ανάλυση που πραγματο- ποιήθηκε (θεωρητική και πειραματική) η αποτελεσματικότητα του μηχανισμού ανα- διοργάνωσης ομάδων αντιγράφων μειώνεται δραστικά με την αύξηση των κόμβων που επηρεάζονται ταυτόχρονα από υψηλό φόρτο. Επομένως, είναι αποδοτικότερο –όταν είναι εφικτό– να προγραμματίζεται η ανάθεση εργασιών υψηλού φόρτου έτσι ώστε να ελαχιστοποιείται ο χρόνος που συμβαίνουν ταυτόχρονα. Τα αποτελέσματα υποδεικνύουν ότι ο μηχανισμός προσαρμογής βασιζόμενος στις στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων μπορεί να βελτιώσει ση- μαντικά την διαθεσιμότητα, διαχειρισιμότητα, και να συνεισφέρει στην τήρηση των στόχων απόδοσης των εφαρμογών. Ταυτόχρονα, οι ειδοποιήσεις από σύστημα δια- χείρισης υποδομής για επικείμενα γεγονότα που αναμένεται να επηρεάσουν την απόδοση του αποθετηρίου επιτρέπουν την εφαρμογή προδραστικών ενεργειών διαχείρισης της ποιότητας των παρεχομένων υπηρεσιών.
Οι συνεχώς αυξανόμενες ανάγκες των διαδικτυακών εφαρμογών για υψηλή από- δοση και διαθεσιμότητα στην αποθήκευση δεδομένων έχουν οδηγήσει στη δημιουρ- γία μιας νέας κατηγορίας κατανεμημένων αποθετηρίων δεδομένων (data stores) γνωστή με τον όρο NoSQL. Τα NoSQL συστήματα είναι βελτιστοποιημένα ως προς την επεκτασιμότητα και την κλιμακωσιμότητα σε σύγκριση με τα συστήματα SQL (δηλαδή με τα DBMS). Σε περιπτώσεις όπου υπάρχουν μεταβολές στον φόρτο εργασίας ή δεν είναι εφικτή η δέσμευση των απαιτούμενων υπολογιστικών πό- ρων από τα αποθετήρια δεδομένων, απαιτείται να γίνουν ενέργειες προσαρμογής οι οποίες περιλαμβάνουν μετακίνηση δεδομένων από κόμβο σε κόμβο εισάγοντας υψηλό φόρτο στο σύστημα. Στην παρούσα εργασία προτείνουμε την χρήση ενερ- γειών προσαρμογής χαμηλού κόστους βασισμένες σε στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων όταν ένας κόμβος αντιμετωπίζει μια προσωρινή υπερφόρτωση. Αναδιοργανώσεις αυτού του τύπου μπορούν να προγραμματιστούν και εκτελεστούν από ένα σύστημα διαχείρισης του αποθετηρίου δεδομένων, εκτιμώντας την αποτε- λεσματικότητά τους με βάση ανάλυση συστηματικών μετρήσεων, που υποδεικνύει πότε το πλεονέκτημα από τη χρήση του μηχανισμού υπερβαίνει το κόστος του. Ένα τέτοιο σύστημα διαχείρισης μπορεί επίσης να αντλήσει σημαντικά πλεονεκτήματα από τη χρήση διαστρωματικών (cross layer) ειδοποιήσεων από σύστημα διαχείρι- σης υποδομής για επικείμενα γεγονότα (όπως κατάρρευση ή υπερφόρτωση) που αφορούν πόρους του συστήματος και που εκτιμάται ότι θα επηρεάσουν την από- δοση και διαθεσιμότητα του αποθετηρίου. Στα πλαίσια της εργασίας αυτής υλοποιούμε ένα τέτοιο σύστημα διαχείρισης με βάση το αποθετήριο RethinkDB και το σύστημα διαχείρισης υποδομής Kubernetes, στην υποδομή Google Container Engine και σε υποδομή τοπικού cluster, με φόρτο παραγώμενο από το Yahoo Cloud Serving Benchmark. Τα πειράματα που εκτελέστηκαν έχουν ως σκοπό να δείξουν τα οφέλη μια τέ- τοιας αρχιτεκτονικής για την διαχείριση αναδιοργανώσεων ομάδων δεδομένων. Εξε- τάζονται οι περιπτώσεις όπου γίνεται προδραστική αναδιοργάνωση ενός RethinkDB cluster βασιζόμενη σε ειδοποίηση (notification) ότι κάποιος κόμβος επρόκειτο να τερματιστεί, καθώς και σε περιπτώσεις όπου ένας κόμβος βρίσκεται υπό συνθή- κες υψηλού φόρτου που δεν οφείλονται στο αποθετήριο δεδομένων. Με αυτή την ανάλυση στοχεύουμε να προσδιορίσουμε εάν οι προδραστικές ενέργειες προσαρ- μοστικότητας, στην περίπτωση που προηγουμένως έχει ληφθεί ειδοποίηση για τον τερματισμό κάποιο κόμβου, μπορούν να βελτιώσουν την απόδοση σε σχέση με την περίπτωση οπού ο τερματισμός του κόμβου γίνει χωρίς προειδοποίηση. Επιπρόσθετα, πραγματοποιήθηκε πειραματική ανάλυση συγκρίνοντας την επίδραση, βάση δοθέντων Service-Level Objectives (SLOs), περιόδων υψηλού φόρτου (hot-spots) διαφορετικής διάρκειας στην επίδοση, σε σχέση με την επίδραση των αναδιοργανώσεων ομάδων δεδομένων που πραγματοποιήθηκαν για την αποφυγή αυτών των hot-spot με βάσει τα ίδια SLOs. Το κόστος της αναδιοργάνωσης ομάδων αντιγράφων για την αποφυγή υψηλού φόρτου είναι μικρότερο σε σχέση με την περίπτωση όπου δεν εκτελείται καμία ενέργεια (αναδιοργάνωσης ομάδων αντιγράφων), ακόμα και για περιπτώσεις όπου η διάρκεια που επηρεάζεται ένας κόμβος από υψηλό φόρτο είναι αρκετά μικρή. Επίσης σύμφωνα με την ανάλυση που πραγματο- ποιήθηκε (θεωρητική και πειραματική) η αποτελεσματικότητα του μηχανισμού ανα- διοργάνωσης ομάδων αντιγράφων μειώνεται δραστικά με την αύξηση των κόμβων που επηρεάζονται ταυτόχρονα από υψηλό φόρτο. Επομένως, είναι αποδοτικότερο –όταν είναι εφικτό– να προγραμματίζεται η ανάθεση εργασιών υψηλού φόρτου έτσι ώστε να ελαχιστοποιείται ο χρόνος που συμβαίνουν ταυτόχρονα. Τα αποτελέσματα υποδεικνύουν ότι ο μηχανισμός προσαρμογής βασιζόμενος στις στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων μπορεί να βελτιώσει ση- μαντικά την διαθεσιμότητα, διαχειρισιμότητα, και να συνεισφέρει στην τήρηση των στόχων απόδοσης των εφαρμογών. Ταυτόχρονα, οι ειδοποιήσεις από σύστημα δια- χείρισης υποδομής για επικείμενα γεγονότα που αναμένεται να επηρεάσουν την απόδοση του αποθετηρίου επιτρέπουν την εφαρμογή προδραστικών ενεργειών διαχείρισης της ποιότητας των παρεχομένων υπηρεσιών.
Περιγραφή
Λέξεις-κλειδιά
Αποθετήρια δεδομένων, Αυτόνομη διαχείριση, Αναδιοργανώσεις ομάδων αντιγράφων, Διαστρωμάτωση, Autonomic management, NoSQL datastores, Cross-layer, Reconfigurations
Θεματική κατηγορία
Service management
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Όνομα επιβλέποντος
Μαγκούτης, Κωνσταντίνος
Εξεταστική επιτροπή
Μαγκούτης, Κωνσταντίνος
Δημακόπουλος, Βασίλειος
Πιτουρά, Ευαγγελία
Δημακόπουλος, Βασίλειος
Πιτουρά, Ευαγγελία
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία : σ. 47-51
Ονόματα συντελεστών
Αριθμός σελίδων
51 σ.