Functionally weighted convolutional neural networks
Φόρτωση...
Ημερομηνία
Συγγραφείς
Τριάντης, Δημήτριος
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
In this thesis we introduce a new convolutional model where the weights are
functions of a continuous variable, instead of a discrete indexed kernels. Consequently,
we create an infinite size kernel for the convolutional layer, thus we obtain infinite
feature maps as the output of the layer which become an integral over the introduced
continuous variable. The gain is a drastic reduction of parameteres, accompanied by a
superior generalization performance. To evaluate the quality of this new network, we
conducted a series of experiments among some established computer vision datasets
obtaining some very promising results.
Τα Νευρωνικά δίκτυα βαθιάς μάθησης αποτελούν έναν τομέα της Μηχανικής Μάθησης με έντονο επιστημονικό ενδιαφέρον τα τελευταία έτη. Τα δίκτυα αυτά έχουν παρόμοια αρχιτεκτονική με τα κλασσικά νευρωνικά δίκτυα, αλλά διαφέρουν στον τρόπο και την τοπολογία της εισόδου των δεδομένων. Η ιδιαιτερότητα των δικτύων αυτών εντοπίζεται στην ικανότητά τους να παράγουν «πλούσια» και ποιο- τικά χαρακτηριστικά των αρχικών δεδομένων, χρησιμοποιώντας ένα μηχανισμό απο- τελούμενο από ένα πεπερασμένο πλήθος φίλτρων. Τα συνελικτικά νευρωνικά δίκτυα είναι η πιο γνωστή μορφή νευρωνικών δικτύων βαθιάς μάθησης και χρησιμοποιού- νται σε ποικίλες εφαρμογές μηχανικής όρασης και αναγνώρισης. Σημαντικό ρόλο στην ανάπτυξη αυτού του τύπου των νευρωνικών δικτύων διαδραμάτισε η εξέλιξη της υπολογιστικής ισχύος των πληροφοριακών συστημάτων. Στην παρούσα εργασία μελετάται μια νέα μεθοδολογία κατασκευής συνελικτι- κών δικτύων χρησιμοποιώντας φίλτρα ή kernels συναρτησιακής μορφής. Αυτό έχει ως αποτέλεσμα την ταυτόχρονη επιβολή στα δεδομένα άπειρων σε πλήθος φίλτρων, που οδηγούν σε ποιοτικότερα χαρακτηριστικά με σημαντικά μικρότερο αριθμό πα- ραμέτρων, διευκολύνοντας έτσι τη γενικευτική ικανότητα της μεθόδου. Μία πα- ραλλαγή της μεθόδου είναι η χρήση kernels συναρτησιακής μορφής, όχι στο συνε- λικτικό επίπεδο παραγωγής χαρακτηριστικών, αλλά στο fully-connected layer του CNN, όπου επιτελείται το τελικό στάδιο του μηχανισμού αναγνώρισης. Η προτεινόμενη μεθοδολογία αξιολογείται πειραματικά πάνω σε προβλήματα ταξινόμησης χρησιμοποιώντας γνωστά σύνολα δεδομένων υπολογιστικής όρασης (MNIST και CIFAR-10), ενώ συγκρίνεται και με γνωστές αρχιτεκτονικές CNNs της βιβλιογραφίας.
Τα Νευρωνικά δίκτυα βαθιάς μάθησης αποτελούν έναν τομέα της Μηχανικής Μάθησης με έντονο επιστημονικό ενδιαφέρον τα τελευταία έτη. Τα δίκτυα αυτά έχουν παρόμοια αρχιτεκτονική με τα κλασσικά νευρωνικά δίκτυα, αλλά διαφέρουν στον τρόπο και την τοπολογία της εισόδου των δεδομένων. Η ιδιαιτερότητα των δικτύων αυτών εντοπίζεται στην ικανότητά τους να παράγουν «πλούσια» και ποιο- τικά χαρακτηριστικά των αρχικών δεδομένων, χρησιμοποιώντας ένα μηχανισμό απο- τελούμενο από ένα πεπερασμένο πλήθος φίλτρων. Τα συνελικτικά νευρωνικά δίκτυα είναι η πιο γνωστή μορφή νευρωνικών δικτύων βαθιάς μάθησης και χρησιμοποιού- νται σε ποικίλες εφαρμογές μηχανικής όρασης και αναγνώρισης. Σημαντικό ρόλο στην ανάπτυξη αυτού του τύπου των νευρωνικών δικτύων διαδραμάτισε η εξέλιξη της υπολογιστικής ισχύος των πληροφοριακών συστημάτων. Στην παρούσα εργασία μελετάται μια νέα μεθοδολογία κατασκευής συνελικτι- κών δικτύων χρησιμοποιώντας φίλτρα ή kernels συναρτησιακής μορφής. Αυτό έχει ως αποτέλεσμα την ταυτόχρονη επιβολή στα δεδομένα άπειρων σε πλήθος φίλτρων, που οδηγούν σε ποιοτικότερα χαρακτηριστικά με σημαντικά μικρότερο αριθμό πα- ραμέτρων, διευκολύνοντας έτσι τη γενικευτική ικανότητα της μεθόδου. Μία πα- ραλλαγή της μεθόδου είναι η χρήση kernels συναρτησιακής μορφής, όχι στο συνε- λικτικό επίπεδο παραγωγής χαρακτηριστικών, αλλά στο fully-connected layer του CNN, όπου επιτελείται το τελικό στάδιο του μηχανισμού αναγνώρισης. Η προτεινόμενη μεθοδολογία αξιολογείται πειραματικά πάνω σε προβλήματα ταξινόμησης χρησιμοποιώντας γνωστά σύνολα δεδομένων υπολογιστικής όρασης (MNIST και CIFAR-10), ενώ συγκρίνεται και με γνωστές αρχιτεκτονικές CNNs της βιβλιογραφίας.
Περιγραφή
Λέξεις-κλειδιά
Neural networks
Θεματική κατηγορία
Neural networks
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Όνομα επιβλέποντος
Μπλέκας, Κωνσταντίνος
Εξεταστική επιτροπή
Μπλέκας, Κωνσταντίνος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία : σ. 52-54
Ονόματα συντελεστών
Αριθμός σελίδων
54 σ.