Multi-objective optimization for variance counterbalancing in neural network training
| dc.contributor.author | Τριανταλή, Δήμητρα | el |
| dc.date.accessioned | 2021-10-08T11:09:17Z | |
| dc.date.available | 2021-10-08T11:09:17Z | |
| dc.identifier.uri | https://olympias.lib.uoi.gr/jspui/handle/123456789/31408 | |
| dc.identifier.uri | http://dx.doi.org/10.26268/heal.uoi.11229 | |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 United States | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/us/ | * |
| dc.subject | Variance counterbalancing | en |
| dc.subject | Multi-objective optimization | en |
| dc.subject | Neural network training | en |
| dc.subject | Αντιστάθμιση διασποράς | el |
| dc.subject | Πολυκριτηριακή βελτιστοποίηση | el |
| dc.subject | Εκπαίδευση νευρωνικού δικτύου | el |
| dc.title | Multi-objective optimization for variance counterbalancing in neural network training | en |
| dc.title | Πολυκριτηριακή βελτιστοποίηση για την αντιστάθμιση της διασποράς στην εκπαίδευση νευρωνικών δικτύων | el |
| heal.abstract | Variance counterbalancing (VCB) is a recently proposed method for large-scale stochastic learning. VCB aims at minimizing both the mean and the standard deviation of the squared error of the neural network over sets of randomly selected mini-batches of the training dataset. For this purpose, gradient-based single-objective optimization methods are typically used, despite the inherent biobjective nature of the underlying minimization problem. The present thesis studies the use of multi-objective optimization (MO) methods for solving the VCB minimization problem. Both weighted aggregation and Pareto-based evolutionary algorithms are used, including the state-of-the-art random, bang-bang, and dynamic weighted aggregation approaches, as well as the widely used NSGA-II and MOPSO algorithms. The proposed multi-objective VCB approach is demonstrated on a regression task using RBF neural networks. For this purpose, three different datasets are used. The first two datasets refer to the interpolation of a multimodal real-valued function using accurate and noisy training data, respectively, while the third one refers to the prediction of red-wine quality based on its physicochemical properties. The obtained results are statistically analyzed and compared to the standard VCB method. The analysis suggests that the multi-objective methods can be highly competitive, thereby enhancing the VCB approach. Useful insights regarding the best-performing approaches and the most influential parameters are derived. | en |
| heal.abstract | Η τεχνική της αντιστάθμισης της διασποράς (variance counterbalancing - VCB) προτάθηκε πρόσφατα ως μια εναλλακτική μέθοδος για στοχαστική μάθηση νευρωνικών δικτύων. Η τεχνική VCB στοχεύει στην ελαχιστοποίηση τόσο της μέσης τιμής όσο και της διασποράς του τετραγωνικού σφάλματος του νευρωνικού δικτύου, αξιοποιώντας τυχαία επιλεγμένα υποσύνολα του συνόλου εκπαίδευσης. Για το σκοπό αυτό, χρησιμοποιούνται συνήθως κλασικές μέθοδοι μονοκριτηριακής βελτιστοποίησης με παραγώγους, παρά την παρουσία δύο αντικειμενικών συναρτήσεων στο υποκείμενο πρόβλημα ελαχιστοποίησης. Η παρούσα διατριβή μελετά τη χρήση πολυκριτηριακών μεθόδων βελτιστοποίησης στην τεχνική VCB. Στη μελέτη χρησιμοποιείται η μέθοδος συνάθροισης των αντικειμενικών συναρτήσεων με βάρη (weighted aggregation), συμπεριλαμβανομένων των προσεγγίσεων random, bang-bang και dynamic, καθώς και Pareto εξελικτικοί αλγόριθμοι, όπως οι NSGA-II και MOPSO. Οι προτεινόμενες πολυκριτηριακές μέθοδοι εφαρμόζονται πειραματικά σε προβλήματα παλινδρόμησης με χρήση RBF δικτύων. Για το σκοπό αυτό, χρησιμοποιούνται τρία διαφορετικά σύνολα δεδομένων. Τα δύο πρώτα σύνολα αφορούν στην παρεμβολή της πραγματικής συνάρτησης "Mexican Hat" χρησιμοποιώντας, αντίστοιχα, δεδομένα με και χωρίς θόρυβο, ενώ το τρίτο σύνολο αφορά στην πρόβλεψη της ποιότητας του κόκκινου κρασιού με βάση τις φυσικοχημικές του ιδιότητες. Όλα τα αποτελέσματα αναλύονται στατιστικά και συγκρίνονται με την υπάρχουσα μέθοδο VCB. Τα αποτελέσματα δείχνουν ότι οι πολυκριτηριακές μέθοδοι είναι εξαιρετικά ανταγωνιστικές ως προς τις κλασικές μεθόδους. Επιπλέον, η στατιστική ανάλυση παρέχει χρήσιμα συμπεράσματα για την απόδοση των αλγορίθμων και την επίδραση των επιμέρους χαρακτηριστικών τους. | el |
| heal.academicPublisher | Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής | el |
| heal.academicPublisherID | uoi | |
| heal.access | free | |
| heal.advisorName | Παρσόπουλος, Κωνσταντίνος Ε. | el |
| heal.bibliographicCitation | Βιβλιογραφία: σ. 53-54 | el |
| heal.classification | Neural computers | |
| heal.committeeMemberName | Παρσόπουλος, Κωνσταντίνος Ε. | el |
| heal.committeeMemberName | Μπλέκας, Κωνσταντίνος | el |
| heal.committeeMemberName | Κόντης, Λυσίμαχος | el |
| heal.dateAvailable | 2021-10-08T11:10:17Z | |
| heal.fullTextAvailability | true | |
| heal.language | en | |
| heal.numberOfPages | 111 σ. | |
| heal.publicationDate | 2021 | |
| heal.recordProvider | Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής | el |
| heal.type | masterThesis | |
| heal.type.el | Μεταπτυχιακή εργασία | el |
| heal.type.en | Master thesis | en |
Αρχεία
Πρωτότυπος φάκελος/πακέτο
1 - 1 of 1
Φόρτωση...
- Ονομα:
- Μ.Ε. ΤΡΙΑΝΤΑΛΗ ΔΗΜΗΤΡΑ 2021.pdf
- Μέγεθος:
- 5.41 MB
- Μορφότυπο:
- Adobe Portable Document Format
- Περιγραφή:
Φάκελος/Πακέτο αδειών
1 - 1 of 1
Φόρτωση...
- Ονομα:
- license.txt
- Μέγεθος:
- 1.71 KB
- Μορφότυπο:
- Item-specific license agreed upon to submission
- Περιγραφή: