Migrating a data warehouse from a relational database to a document store and lessons learned
Φόρτωση...
Ημερομηνία
Συγγραφείς
Lazos, Ioannis
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Traditional database systems have been based on the relational model for storage. These are widely known as SQL databases named after the language they were queried by. In the last few years, however, non-relational databases have dramatically risen in popularity. These databases are commonly known as NoSQL databases, clearly marking them different from the traditional SQL databases. A big number of these databases are based on document stores which provides flexibility on schema creation and are claimed to perform better than SQL databases. Medium to big sized companies use huge amounts of structured, semi structured, and unstructured corporate data. With the availability of cheap storage, this data is stored for reporting, decision taking and other various applications. Processing such vast amount of data requires speed and flexible schemas. Document stores claim to satisfy these requirements. In this thesis we are migrating a medium sized company's SQL database to a document store, taking notes on all procedures needed and finally evaluating the performance of both databases on query execution times, using alternative hardware configurations. We used two market leading products from the same vendor, Microsoft SQL Server and Microsoft Azure Cosmos. The reason we chose Microsoft Azure Cosmos DB document store is because it is also a cloud database solution, that provides all the tools needed to deploy a datastore to the cloud. In the experimental evaluation we conducted, it has been shown that document store, does not perform better on all cases, compared to SQL database.
Τα παραδοσιακά συστήματα βάσεων δεδομένων βασίζονται στο σχεσιακό μοντέλο. Είναι ευρέως γνωστά ως βάσεις δεδομένων SQL από τη γλώσσα που χρησιμοποιείται για την διαχείρισή τους. Τα τελευταία χρόνια, ωστόσο, οι μη σχεσιακές βάσεις δεδομένων έχουν αυξηθεί δραματικά σε δημοτικότητα. Αυτές οι βάσεις δεδομένων είναι κοινώς γνωστές ως βάσεις δεδομένων NoSQL, σηματοδοτώντας σαφώς ότι είναι διαφορετικές από τις παραδοσιακές βάσεις δεδομένων SQL. Ένας μεγάλος αριθμός αυτών, χρησιμοποιεί για την αποθήκευση των δεδομένων έγγραφα (documents) τα οποία παρέχουν ευελιξία στη δημιουργία των σχημάτων της βάσης και θεωρείται πως επιτυγχάνουν καλύτερες επιδόσεις από τις βάσεις δεδομένων SQL. Εταιρείες μεσαίου έως μεγάλου μεγέθους χρησιμοποιούν τεράστιες ποσότητες, δομημένων, ημιδομημένων και αδόμητων εταιρικών δεδομένων. Με την πληθώρα χαμηλού κόστους μέσων αποθήκευσης, τα δεδομένα αυτά αποθηκεύονται και χρησιμοποιούνται για τη δημιουργία αναφορών, τη λήψη αποφάσεων και πολλές άλλες εφαρμογές. Η επεξεργασία τόσο μεγάλου όγκου δεδομένων απαιτεί ταχύτητα και ευέλικτα σχήματα. Οι βάσεις δεδομένων εγγράφων θεωρείται ότι μπορούν να καλύψουν αυτές τις απαιτήσεις. Σε αυτή τη διατριβή μεταφέρουμε τα δεδομένα μιας βάσης SQL μιας εταιρείας μεσαίου μεγέθους σε μια βάση δεδομένων εγγράφων, καταγράφοντας όλα τα βήματα που απαιτούνται και αξιολογώντας την απόδοση των δύο βάσεων δεδομένων κατά την εκτέλεση ερωτημάτων αναζήτησης, χρησιμοποιώντας διαφορετικές διαμορφώσεις υλικού. Χρησιμοποιήσαμε δύο κορυφαία προϊόντα της αγοράς του ίδιου προμηθευτή, τον Microsoft SQL Server και το Microsoft Azure CosmosDB. Επιλέξαμε το Microsoft Azure CosmosDB σαν βάση δεδομένων εγγράφων, καθώς υποστηρίζει την τεχνολογία νέφους (cloud) και παρέχει όλα τα εργαλεία που απαιτούνται για την μεταφορά της βάσης στο νέφος. Στην πειραματική αξιολόγηση που διεξαγάγουμε, παρατηρείται ότι οι βάσεις δεδομένων αποθήκευσης εγγράφων, δεν αποδίδουν καλύτερα σε όλες τις περιπτώσεις, σε σύγκριση με τις βάσεις δεδομένων SQL.
Τα παραδοσιακά συστήματα βάσεων δεδομένων βασίζονται στο σχεσιακό μοντέλο. Είναι ευρέως γνωστά ως βάσεις δεδομένων SQL από τη γλώσσα που χρησιμοποιείται για την διαχείρισή τους. Τα τελευταία χρόνια, ωστόσο, οι μη σχεσιακές βάσεις δεδομένων έχουν αυξηθεί δραματικά σε δημοτικότητα. Αυτές οι βάσεις δεδομένων είναι κοινώς γνωστές ως βάσεις δεδομένων NoSQL, σηματοδοτώντας σαφώς ότι είναι διαφορετικές από τις παραδοσιακές βάσεις δεδομένων SQL. Ένας μεγάλος αριθμός αυτών, χρησιμοποιεί για την αποθήκευση των δεδομένων έγγραφα (documents) τα οποία παρέχουν ευελιξία στη δημιουργία των σχημάτων της βάσης και θεωρείται πως επιτυγχάνουν καλύτερες επιδόσεις από τις βάσεις δεδομένων SQL. Εταιρείες μεσαίου έως μεγάλου μεγέθους χρησιμοποιούν τεράστιες ποσότητες, δομημένων, ημιδομημένων και αδόμητων εταιρικών δεδομένων. Με την πληθώρα χαμηλού κόστους μέσων αποθήκευσης, τα δεδομένα αυτά αποθηκεύονται και χρησιμοποιούνται για τη δημιουργία αναφορών, τη λήψη αποφάσεων και πολλές άλλες εφαρμογές. Η επεξεργασία τόσο μεγάλου όγκου δεδομένων απαιτεί ταχύτητα και ευέλικτα σχήματα. Οι βάσεις δεδομένων εγγράφων θεωρείται ότι μπορούν να καλύψουν αυτές τις απαιτήσεις. Σε αυτή τη διατριβή μεταφέρουμε τα δεδομένα μιας βάσης SQL μιας εταιρείας μεσαίου μεγέθους σε μια βάση δεδομένων εγγράφων, καταγράφοντας όλα τα βήματα που απαιτούνται και αξιολογώντας την απόδοση των δύο βάσεων δεδομένων κατά την εκτέλεση ερωτημάτων αναζήτησης, χρησιμοποιώντας διαφορετικές διαμορφώσεις υλικού. Χρησιμοποιήσαμε δύο κορυφαία προϊόντα της αγοράς του ίδιου προμηθευτή, τον Microsoft SQL Server και το Microsoft Azure CosmosDB. Επιλέξαμε το Microsoft Azure CosmosDB σαν βάση δεδομένων εγγράφων, καθώς υποστηρίζει την τεχνολογία νέφους (cloud) και παρέχει όλα τα εργαλεία που απαιτούνται για την μεταφορά της βάσης στο νέφος. Στην πειραματική αξιολόγηση που διεξαγάγουμε, παρατηρείται ότι οι βάσεις δεδομένων αποθήκευσης εγγράφων, δεν αποδίδουν καλύτερα σε όλες τις περιπτώσεις, σε σύγκριση με τις βάσεις δεδομένων SQL.
Περιγραφή
Λέξεις-κλειδιά
Data warehouses, Relational database, Document store database, Αποθήκες δεδομένων, Σχεσιακή βάση δεδομένων, Βάση δεδομένων εγγράφων
Θεματική κατηγορία
Data warehouses
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Αναστασιάδης, Στέργιος
Εξεταστική επιτροπή
Αναστασιάδης, Στέργιος
Μαμουλής, Νικόλαος
Νομικός, Χρήστος
Μαμουλής, Νικόλαος
Νομικός, Χρήστος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 61-63
Ονόματα συντελεστών
Αριθμός σελίδων
67 σ.
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Attribution-NonCommercial-NoDerivs 3.0 United States