Συγκριτική μελέτη Apache Hadoop με Apache spark για την επεξεργασία μεγάλων δεδομένων.
Φόρτωση...
Ημερομηνία
Συγγραφείς
Δημητριάδης, Πρόδρομος
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Τ.Ε.Ι. Ηπείρου, Σχολή Τεχνολογικών Εφαρμογών, Τμήμα Μηχανικών Πληροφορικής Τ.Ε.
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Κατά τη διάρκεια της πτυχιακή εργασίας αναλύθηκαν τα εργαλεία Apache Hadoop και Apache Spark και δημιουργήθηκαν οι εγκαταστάσεις τους για single-node και multi-node μορφή. Για τη multi-node μορφή δημιουργήθηκε μία συστάδα υπολογιστών, όπου αποτελείται από 5 υπολογιστές, σε ένα από τα εργαστήρια του τμήματος Πληροφορικής και Τηλεπικοινωνιών του Πανεπιστημίου Ιωαννίνων στην Άρτα. Με τη χρήση των εργαλείων Apache Hadoop και Apache Spark, καθώς και τις βιβλιοθήκες τους για μηχανική εκμάθηση Apache Mahout και MLlib, αλλά και το Hadoop Streaming, δημιουργήθηκαν τρεις εφαρμογές. Συγκεκριμένα, μία εφαρμογή σύστασης ταινιών με τη χρήση Mahout με δεδομένα χρήστες, ταινίες, αξιολογήσεις και χρονική σήμανση, και ένα παράδειγμα με τη χρήση Hadoop Streaming για ανάλυση βαθμολογίας ταινιών με δεδομένα χρήστες, ταινίες, αξιολογήσεις και χρονική σήμανση. Τέλος, δημιουργήθηκε ακόμα μία εφαρμογή σύστασης ταινιών με δεδομένα ταινίες και κριτικές διάφορων χρηστών με τη χρήση MLlib, Collaborative Filtering και ALS (Alternating Least Squares).
During of my thesis, the Apache Hadoop and Apache Spark tools were analyzed and their installations for single-node and multi-node format were created. For the multi-node format, a cluster consisting of 5 computers was created, in one of the laboratories of the Department of Informatics and Telecommunications of the University of Ioannina in Arta. Using the Apache Hadoop and Apache Spark tools, as well as their Apache Mahout and MLlib machine learning libraries, as well as Hadoop Streaming, three applications were designed. Specifically, a movie recommendation system app using Mahout with user data, movies, ratings, and timestamps, and an example using Hadoop Streaming for movie ratings breakdown with user data, movies, ratings, and timestamps. Last, another movie recommendation system app for movies and reviews of various users was designed using MLlib, Collaborative Filtering and ALS (Alternating Least Squares).
During of my thesis, the Apache Hadoop and Apache Spark tools were analyzed and their installations for single-node and multi-node format were created. For the multi-node format, a cluster consisting of 5 computers was created, in one of the laboratories of the Department of Informatics and Telecommunications of the University of Ioannina in Arta. Using the Apache Hadoop and Apache Spark tools, as well as their Apache Mahout and MLlib machine learning libraries, as well as Hadoop Streaming, three applications were designed. Specifically, a movie recommendation system app using Mahout with user data, movies, ratings, and timestamps, and an example using Hadoop Streaming for movie ratings breakdown with user data, movies, ratings, and timestamps. Last, another movie recommendation system app for movies and reviews of various users was designed using MLlib, Collaborative Filtering and ALS (Alternating Least Squares).
Περιγραφή
Λέξεις-κλειδιά
Συστάδα υπολογιστών, Μηχανική εκμάθηση, Ανάλυση βαθμολογίας, Σύσταση ταινιών
Θεματική κατηγορία
Δεδομένα, Δομή των (Επιστήμη των υπολογιστών)
Παραπομπή
Σύνδεσμος
Πτυχιακή Εργασία
Γλώσσα
el
Εκδίδον τμήμα/τομέας
Τ.Ε.Ι. Ηπείρου, Σχολή Τεχνολογικών Εφαρμογών, Τμήμα Μηχανικών Πληροφορικής Τ.Ε.
Όνομα επιβλέποντος
Γκόγκος, Χρήστος
Εξεταστική επιτροπή
Στύλιος, Χρυσόστομος
Τζάλας, Αλέξανδρος
Τζάλας, Αλέξανδρος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Τ.Ε.Ι. Ηπείρου
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Δημητριάδης, Π., 2021. Συγκριτική μελέτη Apache Hadoop με Apache spark για την επεξεργασία μεγάλων δεδομένων. Πτυχιακή εργασία. Άρτα: Τ.Ε.Ι. Ηπείρου. Σχολή Τεχνολογικών Εφαρμογών. Τμήμα Μηχανικών Πληροφορικής Τ.Ε.
Ονόματα συντελεστών
Αριθμός σελίδων
100
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα