Multi-objective optimization for variance counterbalancing in neural network training
Φόρτωση...
Ημερομηνία
Συγγραφείς
Τριανταλή, Δήμητρα
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Variance counterbalancing (VCB) is a recently proposed method for large-scale stochastic learning. VCB aims at minimizing both the mean and the standard deviation of the squared error of the neural network over sets of randomly selected mini-batches of the training dataset. For this purpose, gradient-based single-objective optimization methods are typically used, despite the inherent biobjective nature of the underlying minimization problem.
The present thesis studies the use of multi-objective optimization (MO) methods for solving the VCB minimization problem. Both weighted aggregation and Pareto-based evolutionary algorithms are used, including the state-of-the-art random, bang-bang, and dynamic weighted aggregation approaches, as well as the widely used NSGA-II and MOPSO algorithms.
The proposed multi-objective VCB approach is demonstrated on a regression task using RBF neural networks. For this purpose, three different datasets are used. The first two datasets refer to the interpolation of a multimodal real-valued function using accurate and noisy training data, respectively, while the third one refers to the prediction of red-wine quality based on its physicochemical properties. The obtained results are statistically analyzed and compared to the standard VCB method. The analysis suggests that the multi-objective methods can be highly competitive, thereby enhancing the VCB approach. Useful insights regarding the best-performing approaches and the most influential parameters are derived.
Η τεχνική της αντιστάθμισης της διασποράς (variance counterbalancing - VCB) προτάθηκε πρόσφατα ως μια εναλλακτική μέθοδος για στοχαστική μάθηση νευρωνικών δικτύων. Η τεχνική VCB στοχεύει στην ελαχιστοποίηση τόσο της μέσης τιμής όσο και της διασποράς του τετραγωνικού σφάλματος του νευρωνικού δικτύου, αξιοποιώντας τυχαία επιλεγμένα υποσύνολα του συνόλου εκπαίδευσης. Για το σκοπό αυτό, χρησιμοποιούνται συνήθως κλασικές μέθοδοι μονοκριτηριακής βελτιστοποίησης με παραγώγους, παρά την παρουσία δύο αντικειμενικών συναρτήσεων στο υποκείμενο πρόβλημα ελαχιστοποίησης. Η παρούσα διατριβή μελετά τη χρήση πολυκριτηριακών μεθόδων βελτιστοποίησης στην τεχνική VCB. Στη μελέτη χρησιμοποιείται η μέθοδος συνάθροισης των αντικειμενικών συναρτήσεων με βάρη (weighted aggregation), συμπεριλαμβανομένων των προσεγγίσεων random, bang-bang και dynamic, καθώς και Pareto εξελικτικοί αλγόριθμοι, όπως οι NSGA-II και MOPSO. Οι προτεινόμενες πολυκριτηριακές μέθοδοι εφαρμόζονται πειραματικά σε προβλήματα παλινδρόμησης με χρήση RBF δικτύων. Για το σκοπό αυτό, χρησιμοποιούνται τρία διαφορετικά σύνολα δεδομένων. Τα δύο πρώτα σύνολα αφορούν στην παρεμβολή της πραγματικής συνάρτησης "Mexican Hat" χρησιμοποιώντας, αντίστοιχα, δεδομένα με και χωρίς θόρυβο, ενώ το τρίτο σύνολο αφορά στην πρόβλεψη της ποιότητας του κόκκινου κρασιού με βάση τις φυσικοχημικές του ιδιότητες. Όλα τα αποτελέσματα αναλύονται στατιστικά και συγκρίνονται με την υπάρχουσα μέθοδο VCB. Τα αποτελέσματα δείχνουν ότι οι πολυκριτηριακές μέθοδοι είναι εξαιρετικά ανταγωνιστικές ως προς τις κλασικές μεθόδους. Επιπλέον, η στατιστική ανάλυση παρέχει χρήσιμα συμπεράσματα για την απόδοση των αλγορίθμων και την επίδραση των επιμέρους χαρακτηριστικών τους.
Η τεχνική της αντιστάθμισης της διασποράς (variance counterbalancing - VCB) προτάθηκε πρόσφατα ως μια εναλλακτική μέθοδος για στοχαστική μάθηση νευρωνικών δικτύων. Η τεχνική VCB στοχεύει στην ελαχιστοποίηση τόσο της μέσης τιμής όσο και της διασποράς του τετραγωνικού σφάλματος του νευρωνικού δικτύου, αξιοποιώντας τυχαία επιλεγμένα υποσύνολα του συνόλου εκπαίδευσης. Για το σκοπό αυτό, χρησιμοποιούνται συνήθως κλασικές μέθοδοι μονοκριτηριακής βελτιστοποίησης με παραγώγους, παρά την παρουσία δύο αντικειμενικών συναρτήσεων στο υποκείμενο πρόβλημα ελαχιστοποίησης. Η παρούσα διατριβή μελετά τη χρήση πολυκριτηριακών μεθόδων βελτιστοποίησης στην τεχνική VCB. Στη μελέτη χρησιμοποιείται η μέθοδος συνάθροισης των αντικειμενικών συναρτήσεων με βάρη (weighted aggregation), συμπεριλαμβανομένων των προσεγγίσεων random, bang-bang και dynamic, καθώς και Pareto εξελικτικοί αλγόριθμοι, όπως οι NSGA-II και MOPSO. Οι προτεινόμενες πολυκριτηριακές μέθοδοι εφαρμόζονται πειραματικά σε προβλήματα παλινδρόμησης με χρήση RBF δικτύων. Για το σκοπό αυτό, χρησιμοποιούνται τρία διαφορετικά σύνολα δεδομένων. Τα δύο πρώτα σύνολα αφορούν στην παρεμβολή της πραγματικής συνάρτησης "Mexican Hat" χρησιμοποιώντας, αντίστοιχα, δεδομένα με και χωρίς θόρυβο, ενώ το τρίτο σύνολο αφορά στην πρόβλεψη της ποιότητας του κόκκινου κρασιού με βάση τις φυσικοχημικές του ιδιότητες. Όλα τα αποτελέσματα αναλύονται στατιστικά και συγκρίνονται με την υπάρχουσα μέθοδο VCB. Τα αποτελέσματα δείχνουν ότι οι πολυκριτηριακές μέθοδοι είναι εξαιρετικά ανταγωνιστικές ως προς τις κλασικές μεθόδους. Επιπλέον, η στατιστική ανάλυση παρέχει χρήσιμα συμπεράσματα για την απόδοση των αλγορίθμων και την επίδραση των επιμέρους χαρακτηριστικών τους.
Περιγραφή
Λέξεις-κλειδιά
Variance counterbalancing, Multi-objective optimization, Neural network training, Αντιστάθμιση διασποράς, Πολυκριτηριακή βελτιστοποίηση, Εκπαίδευση νευρωνικού δικτύου
Θεματική κατηγορία
Neural computers
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Παρσόπουλος, Κωνσταντίνος Ε.
Εξεταστική επιτροπή
Παρσόπουλος, Κωνσταντίνος Ε.
Μπλέκας, Κωνσταντίνος
Κόντης, Λυσίμαχος
Μπλέκας, Κωνσταντίνος
Κόντης, Λυσίμαχος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 53-54
Ονόματα συντελεστών
Αριθμός σελίδων
111 σ.
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Attribution-NonCommercial-NoDerivs 3.0 United States