Υπερανάλυση εικόνας με τη μέθοδο Deep Unfolding και χρήση εικόνων πολλαπλών τύπων
Φόρτωση...
Ημερομηνία
Συγγραφείς
Καραμπάσης, Αλέξανδρος
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
H παρούσα διπλωματική εργασία πραγματεύεται την υπερανάλυση εικόνας
με την βοήθεια των μοντέλων πολλαπλών τύπων. Η υπερανάλυση εικόνας είναι
ένα γνωστό αντίστροφο πρόβλημα της μηχανικής όρασης για το οποίο υπάρχουν
διάφορες προσεγγίσεις, μεταξύ των οποίων στατιστικές μέθοδοι, αλγόριθμοι που
στηρίζονται σε αραιές αναπαραστάσεις και μέθοδοι που χρησιμοποιούν βαθιά
μάθηση. Μια πρόσφατη κατηγορία έρευνας στη βαθιά μάθηση για αντίστροφα
προβλήματα αποτελεί το deep unfolding δηλαδή η ανάπτυξη ενός επαναληπτικού
αλγορίθμου με τη μορφή βαθιών νευρωνικών δικτύων. Πρακτικές εφαρμογές,
όπως η ιατρική απεικόνιση, χρειάζονται εικόνες πολλαπλών τύπων που
αποτυπώνουν την ίδια σκηνή, επομένως, μια άλλη προσέγγιση είναι η κοινή χρήση
πολλαπλών τύπων εικόνας. Το πρόβλημα της υπερανάλυσης εικόνας με την
βοήθεια μοντέλων πολλαπλών τύπων αναφέρεται στην ανακατασκευή μιας
εικόνας υψηλής ανάλυσης από μια εικόνα χαμηλής ανάλυσης χρησιμοποιώντας
μια εικόνα καθοδήγησης άλλου τύπου, που ονομάζεται πλευρική πληροφορία.
Στόχος της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη ενός μοντέλου
πολλαπλών τύπων που θα ενσωματώνει στοιχεία από την θεωρία αραιών
αναπαραστάσεων και θα επιτρέπει την αποτελεσματική ενσωμάτωση του τύπου
καθοδήγησης για την επίτευξη μιας αποδοτικής υπερανάλυσης εικόνας. Σε
αντίθεση με τα περισσότερα μοντέλα νευρωνικών δικτύων πολλαπλών τύπων η
αρχιτεκτονική του μοντέλου που αναπτύχθηκε στην παρούσα εργασία καθιστά το
μοντέλο ερμηνεύσιμο, με την έννοια ότι το μοντέλο εκτελεί βήματα παρόμοια με
έναν επαναληπτικό αλγόριθμο, ενώ παρέχει τη δυνατότητα θεωρητικής μελέτης
του μοντέλου με χρήση της θεωρίας αραιών αναπαραστάσεων.
This thesis deals with image super-resolution using multimodal models. Image super-resolution is a common inverse problem of computer vision for which a plethora of different approaches have been demonstrated over the past years, including statistical methods, algorithms based on sparse representation and methods utilizing machine learning. A recent research in deep learning for inverse problems considers deep unfolding i.e., the unfolding of an iterative algorithm into the form of a DNN. Practical applications, such as medical imaging, involve different image modalities capturing the same scene, therefore, another approach in imaging is the joint use of multiple image modalities. The problem of multimodal image super-resolution refers to the reconstruction of a high resolution image from an lower resolution image using a guidance image from another modality, also referred to as side information. In this present work, we present an multimodal model which incorporates sparse priors and enables efficient integration of the guidance modality into the solution of super-resolution image. In contrast to most other neural network models, the architecture of the model make the model interpretable, in the sense that the model performs steps similar to an iterative algorithm, while also enabling its theoretical study using sparse representation theory.
This thesis deals with image super-resolution using multimodal models. Image super-resolution is a common inverse problem of computer vision for which a plethora of different approaches have been demonstrated over the past years, including statistical methods, algorithms based on sparse representation and methods utilizing machine learning. A recent research in deep learning for inverse problems considers deep unfolding i.e., the unfolding of an iterative algorithm into the form of a DNN. Practical applications, such as medical imaging, involve different image modalities capturing the same scene, therefore, another approach in imaging is the joint use of multiple image modalities. The problem of multimodal image super-resolution refers to the reconstruction of a high resolution image from an lower resolution image using a guidance image from another modality, also referred to as side information. In this present work, we present an multimodal model which incorporates sparse priors and enables efficient integration of the guidance modality into the solution of super-resolution image. In contrast to most other neural network models, the architecture of the model make the model interpretable, in the sense that the model performs steps similar to an iterative algorithm, while also enabling its theoretical study using sparse representation theory.
Περιγραφή
Λέξεις-κλειδιά
Υπερανάλυση εικόνας, Μηχανική μάθηση, Μοντέλα πολλαπλών τύπων, Αραιή αναπαράσταση, Image super resolution, Machine learning, Multimodal models, Sparse representation
Θεματική κατηγορία
Μηχανική μάθηση
Παραπομπή
Σύνδεσμος
Γλώσσα
el
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Κόντης, Λυσίμαχος-Παύλος
Εξεταστική επιτροπή
Κόντης, Λυσίμαχος-Παύλος
Τσιλιγιάννη, Ευαγγελία
Νίκου, Χριστόφορος
Παρσόπουλος, Κωνσταντίνος
Τσιλιγιάννη, Ευαγγελία
Νίκου, Χριστόφορος
Παρσόπουλος, Κωνσταντίνος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 62-65
Ονόματα συντελεστών
Αριθμός σελίδων
65 σ.
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Attribution-NonCommercial-NoDerivs 3.0 United States