Προσέγγιση και αναπαράστασή δεδομένων μιας διάστασης με συνδυασμό MLP και RBF νευρωνικών δικτύων
Φόρτωση...
Ημερομηνία
Συγγραφείς
Σκέντα, Ερίσα
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Η παρούσα διατριβή πραγματεύεται την σύγκριση ενός εκτεταμένου Νευρωνικου Δικτύου(τύπου Multilayer Perceptron-MLP) με ένα υβριδικό σύστημα Nευρωνικών Δικτυών που αποτελείται από την εν σειρά σύνδεση μιας απλούστερης μορφής του πρώτου(MLP) και ενός RBF δικτύου. Τα Τεχνητά Nευρωνικά Δίκτυα μπορούν να λύσουν ορισμένης φύσεως προβλήματα σε διάφορους επιστημονικούς κλάδους. Το ενδιαφέρον για αυτά παραμένει μετά από τόσα χρόνια μελέτης τους, αυξημένο χάριν στην υπολογιστική τους ισχύ και στην ικανότητα τους να μαθαίνουν και να γενικεύουν. Το υβριδικό μας δίκτυο εκπαιδεύεται συνδυάζοντας τη μέθοδο μάθησης με επίβλεψη και την μάθηση χωρίς επίβλεψη. Με την πρώτη μέθοδο χωρίς επίβλεψη και πιο συγκεκριμένα με τον αλγόριθμο ομαδοποίησης k-means ορίζονται τα κέντρα του RBF ενώ για την αναπροσαρμογή των βαρών στα δυο δίκτυα τύπου MLP χρησιμοποιείται ο αλγόριθμος backpropagation. Ο αλγόριθμος backpropagation πραγματοποίει την αναπροσαρμογή των βαρών σύμφωνα με την τεχνική βελτιστοποιήσης απότομης καθόδου (gradient decent). Δηλαδή, υπολογίζει την κλίση του σφάλματος. Σε κάθε βήμα του αλγορίθμου, ενημερώνονται τα βάρη με βάση την κλίση του σφάλματος και το ρυθμό μάθησης. Η ενημέρωση των βαρών επαναλαμβάνεται μέχρις ότου να βρεθούν εκείνα τα βάρη που ελαχιστοποιούν το σφάλμα. Η επιδίωξη είναι να γίνει σύγκριση του υβριδικού δικτύου και ενός εκτεταμένου MLP όσον αφορά την ποιότητα της γενίκευσης. Για την επίτευξη της σύγκρισης αναπτύξαμε κατάλληλο κώδικα για την υλοποίηση των δικτυών και την διαδικασία της εκπαίδευσης τους. Παρατηρώντας τα αποτελέσματα, παρατηρήσαμε ότι ανεξαρτήτως συνάρτησης που εξετάσαμε, η γενικευτική ικανότητα του υβριδικού δικτύου ήταν ισάξια ή και καλύτερη από το εκτεταμένο MLP μιας και προσέγγιζε πολύ καλά τη συνάρτηση και παρουσίαζε μικρότερο σφάλμα σε σχέση πάντα με το σύνθετο MLP.
One of the most rapidly growing scientific fields is the one of the artificial networking. During the past years more and more neural-network based applications are being developed and applied in many and different environments. This exponential growth, arises from the fact that these artificial networks require a small computational power and at the same time they present a great capability in learning and generalize. In this thesis, we compare an extended Neural Network (Multilayer PerceptronMLP) with a hybrid network system, which consists of a small MLP(less number of nodes than extended MLP) and a RBF neural network. To train this hybrid network, we combine a supervised with an unsupervised learning method. The unsupervised learning method, and more specifically the k-means algorithm is used to find the centers of the RBF nodes. On the other hand, MLP networks utilize a supervised learning technique called bagkpropagation for adjusting the weights. Backpropagation is used by the gradient descent optimization algorithm to adjust the weight of neurons by calculating the gradient of the loss function. In every step of the algorithm, the weights are updated on the basis of the learning rate and the slope of error. The weights are updated until the algorithm find the ones which minimize the error. The main target is to compare the hybrid network with an extended MLP, in terms of generalizing ability. In order to achieve this goal, we’ve developed a specific code, for the implementation of networks and their learning procedure. After examination of the results, we noticed that the capability of the Hybrid network, to approximate each function examined, was almost similar or better to the one of the extended MLP. The approximation of the functions was similarly good whereas the error of the Hybrid was less than the extended MLP.
One of the most rapidly growing scientific fields is the one of the artificial networking. During the past years more and more neural-network based applications are being developed and applied in many and different environments. This exponential growth, arises from the fact that these artificial networks require a small computational power and at the same time they present a great capability in learning and generalize. In this thesis, we compare an extended Neural Network (Multilayer PerceptronMLP) with a hybrid network system, which consists of a small MLP(less number of nodes than extended MLP) and a RBF neural network. To train this hybrid network, we combine a supervised with an unsupervised learning method. The unsupervised learning method, and more specifically the k-means algorithm is used to find the centers of the RBF nodes. On the other hand, MLP networks utilize a supervised learning technique called bagkpropagation for adjusting the weights. Backpropagation is used by the gradient descent optimization algorithm to adjust the weight of neurons by calculating the gradient of the loss function. In every step of the algorithm, the weights are updated on the basis of the learning rate and the slope of error. The weights are updated until the algorithm find the ones which minimize the error. The main target is to compare the hybrid network with an extended MLP, in terms of generalizing ability. In order to achieve this goal, we’ve developed a specific code, for the implementation of networks and their learning procedure. After examination of the results, we noticed that the capability of the Hybrid network, to approximate each function examined, was almost similar or better to the one of the extended MLP. The approximation of the functions was similarly good whereas the error of the Hybrid was less than the extended MLP.
Περιγραφή
Λέξεις-κλειδιά
Νευρωνικά δίκτυα, Δίκτυα ακτίνας βάσης, Προσέγγιση συναρτήσεων, Πολυεπίπεδα δίκτυα πρόσθιας τροφοδότησης, Neural network, RBF networks, Approximation function, Multilayer neural network
Θεματική κατηγορία
Νευρωνικά δίκτυα
Παραπομπή
Σύνδεσμος
Γλώσσα
el
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Λαγαρής, Ισαάκ
Εξεταστική επιτροπή
Λαγαρής, Ισαάκ
Παρσόπουλος, Κωνσταντίνος
Μπλέκας, Κωνσταντίνος
Παρσόπουλος, Κωνσταντίνος
Μπλέκας, Κωνσταντίνος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 117-120
Ονόματα συντελεστών
Αριθμός σελίδων
120 σ.