Deep clustering based on implicit likelihood maximization
Φόρτωση...
Ημερομηνία
Συγγραφείς
Βαρδάκας, Γεώργιος
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Deep Learning is a type of machine learning and artificial intelligence that imitates
how the human brain can learn. It is one of the essential elements of data science,
which includes statistics and predictive modeling. Although DL started mainly for
supervised tasks, lately, it has found success in several unsupervised learning fields,
like clustering, dimensionality reduction, etc. Clustering belongs to unsupervised ma chine learning and is defined as a process of assigning objects to groups so that the
data share common characteristics. Therefore, the main goal of clustering is for ob jects belonging to the same group to be similar (or related) to each other and differ
(or not be related) to objects in different groups. This way, clustering explores the
data and aims to find (hidden) structures in them. At the same time, clustering is
one of the most challenging problems in the field of machine learning.
In this master’s thesis, we study Deep Clustering methods. Deep clustering is a
new promising area of clustering algorithms that emerged in recent years. The main
goal of Deep Clustering is to create clustering algorithms merged with Deep Learn ing methods to exploit their representational power. Τherefore, in this thesis, we will
clearly describe the new machine learning area of Deep Clustering and why it is con sidered promising. Afterward, we will present two Deep Clustering algorithms that
were studied. The first Deep Clustering algorithm that we will discuss is the Cluster Gan, which makes use of a modified Generative Adversarial Networks’ architecture
in order to cluster the data in latent space Z. The second Deep Clustering method
that we will present is our contribution, and it is based on a generative Deep Neural
Network model that is trained by Implicit Likelihood Maximization (IMLE). IMLE
provides an effective way of maximizing the likelihood of the model indirectly. The
Deep Clustering methodology that is based on IMLE also clusters the data in the
latent space. Finally, we will analyze the experiments that took place and present the
experimental results.
Η βαθιά μάθηση είναι ο τομέας της μηχανικής μάθησης που βασίζεται στην εκπαίδευση νευρωνικών δικτύων μεγάλου βάθους (deep neural networks). Παρά το γεγονός ότι η βαθιά μάθηση εφαρμόζεται κυρίως σε προβλήματα μάθησης με επίβλεψη, πρόσφατα αρχίσει να χρησιμοποιείται για διάφορα προβλήματα χωρίς επίβλεψη, όπως είναι η ομαδοποίηση, η μείωση διάστασης κ.λπ. Η ομαδοποίηση ανήκει στην κατηγορία προβλημάτων μηχανικής μάθησης χωρίς επίβλεψη, και ορίζεται ως την διαδικασία ανάθεσης αντικειμένων (δεδομένων) σε ομάδες, ώστε αυτά να έχουν κοινά χαρακτηριστικά. Ο κύριος στόχος της ομαδοποίησης είναι τα αντικείμενα που ανήκουν στην ίδια ομάδα να είναι περισσότερο όμοια μεταξύ τους και να διαφέρουν με αντικείμενα άλλων ομάδων. Στην παρούσα μεταπτυχιακή διπλωματική εργασία, μελετάμε μεθόδους βαθιάς ομαδοποίησης. Κύριος στόχος της βαθιάς ομαδοποίησης είναι η κατασκευή μεθόδων ομαδοποίησης, οι οποίες χρησιμοποιούν βαθιά μάθηση έτσι ώστε να εκμεταλλευτούν την ικανότητα που παρουσιάζουν τα βαθιά νευρωνικά δίκτυα στο να μετασχηματίζουν αποδοτικά τα δεδομένα σε μη γραμμικούς χώρους. Θα παρουσιάσουμε τους δύο βασικούς αλγορίθμους που μελετήθηκαν. Ο πρώτος αλγόριθμος βαθιάς ομαδοποίησης που θα παρουσιάσουμε είναι το ClusterGan, το οποίο κάνει χρήση μίας τροποποιημένης αρχιτεκτονικής παραγωγικών δικτύων ανταγωνιστικής μάθησης (GANs) με στόχο την ομαδοποίηση των δεδομένων. Η δεύτερη μεθοδολογία που θα παρουσιαστεί αποτελεί δική μας συνεισφορά, και βασίζεται σε ένα παραγωγικό νευρωνικό δίκτυο το οποίο εκπαιδεύεται μέσω έμμεσης μεγιστοποίησης της πιθα- νοφάνειας (IMLE). Αξίζει να σημειωθεί ότι η έμμεση μεγιστοποίηση της πιθανοφάνειας είναι μία αξιόλογη μέθοδος για την εκπαίδευση παραγωγικών δικτύων στην οποία θα επικεντρωθούμε και θα μελετήσουμε στην παρούσα εργασία. Η μέθοδος βαθιάς ομαδοποίησης η οποία βασίζεται στην έμμεση μεγιστοποίηση της πιθανοφάνειας έχει την δυνατότητα να ομαδοποιεί τα δεδομένα στο επίπεδο εισόδου του μοντέλου. Τέλος, θα παρουσιάσουμε τα πειράματα που που πραγματοποιήθηκαν και θα αναλύσουμε τα πειραματικά αποτελέσματα.
Η βαθιά μάθηση είναι ο τομέας της μηχανικής μάθησης που βασίζεται στην εκπαίδευση νευρωνικών δικτύων μεγάλου βάθους (deep neural networks). Παρά το γεγονός ότι η βαθιά μάθηση εφαρμόζεται κυρίως σε προβλήματα μάθησης με επίβλεψη, πρόσφατα αρχίσει να χρησιμοποιείται για διάφορα προβλήματα χωρίς επίβλεψη, όπως είναι η ομαδοποίηση, η μείωση διάστασης κ.λπ. Η ομαδοποίηση ανήκει στην κατηγορία προβλημάτων μηχανικής μάθησης χωρίς επίβλεψη, και ορίζεται ως την διαδικασία ανάθεσης αντικειμένων (δεδομένων) σε ομάδες, ώστε αυτά να έχουν κοινά χαρακτηριστικά. Ο κύριος στόχος της ομαδοποίησης είναι τα αντικείμενα που ανήκουν στην ίδια ομάδα να είναι περισσότερο όμοια μεταξύ τους και να διαφέρουν με αντικείμενα άλλων ομάδων. Στην παρούσα μεταπτυχιακή διπλωματική εργασία, μελετάμε μεθόδους βαθιάς ομαδοποίησης. Κύριος στόχος της βαθιάς ομαδοποίησης είναι η κατασκευή μεθόδων ομαδοποίησης, οι οποίες χρησιμοποιούν βαθιά μάθηση έτσι ώστε να εκμεταλλευτούν την ικανότητα που παρουσιάζουν τα βαθιά νευρωνικά δίκτυα στο να μετασχηματίζουν αποδοτικά τα δεδομένα σε μη γραμμικούς χώρους. Θα παρουσιάσουμε τους δύο βασικούς αλγορίθμους που μελετήθηκαν. Ο πρώτος αλγόριθμος βαθιάς ομαδοποίησης που θα παρουσιάσουμε είναι το ClusterGan, το οποίο κάνει χρήση μίας τροποποιημένης αρχιτεκτονικής παραγωγικών δικτύων ανταγωνιστικής μάθησης (GANs) με στόχο την ομαδοποίηση των δεδομένων. Η δεύτερη μεθοδολογία που θα παρουσιαστεί αποτελεί δική μας συνεισφορά, και βασίζεται σε ένα παραγωγικό νευρωνικό δίκτυο το οποίο εκπαιδεύεται μέσω έμμεσης μεγιστοποίησης της πιθα- νοφάνειας (IMLE). Αξίζει να σημειωθεί ότι η έμμεση μεγιστοποίηση της πιθανοφάνειας είναι μία αξιόλογη μέθοδος για την εκπαίδευση παραγωγικών δικτύων στην οποία θα επικεντρωθούμε και θα μελετήσουμε στην παρούσα εργασία. Η μέθοδος βαθιάς ομαδοποίησης η οποία βασίζεται στην έμμεση μεγιστοποίηση της πιθανοφάνειας έχει την δυνατότητα να ομαδοποιεί τα δεδομένα στο επίπεδο εισόδου του μοντέλου. Τέλος, θα παρουσιάσουμε τα πειράματα που που πραγματοποιήθηκαν και θα αναλύσουμε τα πειραματικά αποτελέσματα.
Περιγραφή
Λέξεις-κλειδιά
Machine Learning, Deep Learning, Deep neural networks, Generative data models, Implicit models, Implicit maximum likelihood estimation, IMLE, Generative adversarial network, GANs, Clustering, Deep clustering, ClusterGan, Μηχανική μάθηση, Βαθιά μάθηση, Βαθιά νευρωνικά δίκτυα, Παραγωγικά μοντέλα δεδομένων, Έμμεσα μοντέλα, Έμμεση μεγιστοποίηση της πιθανοφάνειας, Παραγωγικά ανταγωνιστικά δίκτυα, Ομαδοποίηση, Βαθιά ομαδοποίηση
Θεματική κατηγορία
Deep Learning
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Λύκας, Αριστείδης
Εξεταστική επιτροπή
Λύκας, Αριστείδης
Μπλέκας, Κωνσταντίνος
Νίκου, Χριστόφορος
Μπλέκας, Κωνσταντίνος
Νίκου, Χριστόφορος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 75-81
Ονόματα συντελεστών
Αριθμός σελίδων
82 σ.
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Attribution-NonCommercial-NoDerivs 3.0 United States