Functionally weighted convolutional neural networks
Loading...
Date
Authors
Τριάντης, Δημήτριος
Journal Title
Journal ISSN
Volume Title
Publisher
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Abstract
Type
Type of the conference item
Journal type
Educational material type
Conference Name
Journal name
Book name
Book series
Book edition
Alternative title / Subtitle
Description
In this thesis we introduce a new convolutional model where the weights are
functions of a continuous variable, instead of a discrete indexed kernels. Consequently,
we create an infinite size kernel for the convolutional layer, thus we obtain infinite
feature maps as the output of the layer which become an integral over the introduced
continuous variable. The gain is a drastic reduction of parameteres, accompanied by a
superior generalization performance. To evaluate the quality of this new network, we
conducted a series of experiments among some established computer vision datasets
obtaining some very promising results.
Τα Νευρωνικά δίκτυα βαθιάς μάθησης αποτελούν έναν τομέα της Μηχανικής Μάθησης με έντονο επιστημονικό ενδιαφέρον τα τελευταία έτη. Τα δίκτυα αυτά έχουν παρόμοια αρχιτεκτονική με τα κλασσικά νευρωνικά δίκτυα, αλλά διαφέρουν στον τρόπο και την τοπολογία της εισόδου των δεδομένων. Η ιδιαιτερότητα των δικτύων αυτών εντοπίζεται στην ικανότητά τους να παράγουν «πλούσια» και ποιο- τικά χαρακτηριστικά των αρχικών δεδομένων, χρησιμοποιώντας ένα μηχανισμό απο- τελούμενο από ένα πεπερασμένο πλήθος φίλτρων. Τα συνελικτικά νευρωνικά δίκτυα είναι η πιο γνωστή μορφή νευρωνικών δικτύων βαθιάς μάθησης και χρησιμοποιού- νται σε ποικίλες εφαρμογές μηχανικής όρασης και αναγνώρισης. Σημαντικό ρόλο στην ανάπτυξη αυτού του τύπου των νευρωνικών δικτύων διαδραμάτισε η εξέλιξη της υπολογιστικής ισχύος των πληροφοριακών συστημάτων. Στην παρούσα εργασία μελετάται μια νέα μεθοδολογία κατασκευής συνελικτι- κών δικτύων χρησιμοποιώντας φίλτρα ή kernels συναρτησιακής μορφής. Αυτό έχει ως αποτέλεσμα την ταυτόχρονη επιβολή στα δεδομένα άπειρων σε πλήθος φίλτρων, που οδηγούν σε ποιοτικότερα χαρακτηριστικά με σημαντικά μικρότερο αριθμό πα- ραμέτρων, διευκολύνοντας έτσι τη γενικευτική ικανότητα της μεθόδου. Μία πα- ραλλαγή της μεθόδου είναι η χρήση kernels συναρτησιακής μορφής, όχι στο συνε- λικτικό επίπεδο παραγωγής χαρακτηριστικών, αλλά στο fully-connected layer του CNN, όπου επιτελείται το τελικό στάδιο του μηχανισμού αναγνώρισης. Η προτεινόμενη μεθοδολογία αξιολογείται πειραματικά πάνω σε προβλήματα ταξινόμησης χρησιμοποιώντας γνωστά σύνολα δεδομένων υπολογιστικής όρασης (MNIST και CIFAR-10), ενώ συγκρίνεται και με γνωστές αρχιτεκτονικές CNNs της βιβλιογραφίας.
Τα Νευρωνικά δίκτυα βαθιάς μάθησης αποτελούν έναν τομέα της Μηχανικής Μάθησης με έντονο επιστημονικό ενδιαφέρον τα τελευταία έτη. Τα δίκτυα αυτά έχουν παρόμοια αρχιτεκτονική με τα κλασσικά νευρωνικά δίκτυα, αλλά διαφέρουν στον τρόπο και την τοπολογία της εισόδου των δεδομένων. Η ιδιαιτερότητα των δικτύων αυτών εντοπίζεται στην ικανότητά τους να παράγουν «πλούσια» και ποιο- τικά χαρακτηριστικά των αρχικών δεδομένων, χρησιμοποιώντας ένα μηχανισμό απο- τελούμενο από ένα πεπερασμένο πλήθος φίλτρων. Τα συνελικτικά νευρωνικά δίκτυα είναι η πιο γνωστή μορφή νευρωνικών δικτύων βαθιάς μάθησης και χρησιμοποιού- νται σε ποικίλες εφαρμογές μηχανικής όρασης και αναγνώρισης. Σημαντικό ρόλο στην ανάπτυξη αυτού του τύπου των νευρωνικών δικτύων διαδραμάτισε η εξέλιξη της υπολογιστικής ισχύος των πληροφοριακών συστημάτων. Στην παρούσα εργασία μελετάται μια νέα μεθοδολογία κατασκευής συνελικτι- κών δικτύων χρησιμοποιώντας φίλτρα ή kernels συναρτησιακής μορφής. Αυτό έχει ως αποτέλεσμα την ταυτόχρονη επιβολή στα δεδομένα άπειρων σε πλήθος φίλτρων, που οδηγούν σε ποιοτικότερα χαρακτηριστικά με σημαντικά μικρότερο αριθμό πα- ραμέτρων, διευκολύνοντας έτσι τη γενικευτική ικανότητα της μεθόδου. Μία πα- ραλλαγή της μεθόδου είναι η χρήση kernels συναρτησιακής μορφής, όχι στο συνε- λικτικό επίπεδο παραγωγής χαρακτηριστικών, αλλά στο fully-connected layer του CNN, όπου επιτελείται το τελικό στάδιο του μηχανισμού αναγνώρισης. Η προτεινόμενη μεθοδολογία αξιολογείται πειραματικά πάνω σε προβλήματα ταξινόμησης χρησιμοποιώντας γνωστά σύνολα δεδομένων υπολογιστικής όρασης (MNIST και CIFAR-10), ενώ συγκρίνεται και με γνωστές αρχιτεκτονικές CNNs της βιβλιογραφίας.
Description
Keywords
Neural networks
Subject classification
Neural networks
Citation
Link
Language
en
Publishing department/division
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Advisor name
Μπλέκας, Κωνσταντίνος
Examining committee
Μπλέκας, Κωνσταντίνος
General Description / Additional Comments
Institution and School/Department of submitter
Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Table of contents
Sponsor
Bibliographic citation
Βιβλιογραφία : σ. 52-54
Name(s) of contributor(s)
Number of Pages
54 σ.