Function extrapolation through differential equation learning
Loading...
Date
Authors
Seventikidou, Christina
Σεβεντικίδου, Χριστίνα
Journal Title
Journal ISSN
Volume Title
Publisher
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Abstract
Type
Type of the conference item
Journal type
Educational material type
Conference Name
Journal name
Book name
Book series
Book edition
Alternative title / Subtitle
Description
With the existence of different phenomena that are evolved in time, often there is
the need to find a function that can describe them in order to draw inferences and
make predictions. A characteristic example is time series prediction, where we are
given the values of a function within an input range and we aim to predict future
values outside the range (extrapolation). In continuous problems, the time-evolution
can in many cases be described by differential equations. In this thesis we will focus
only on problems that can be described by ordinary differential equations and in
particular by first order differential equations.
The objective of this thesis is the design and implementation of an approach
inspired by neural networks and differential equations, in order to study the extrap olation ability of a function based on a given data set. The typical approach would
be to train a machine learning model (here a neural network) based on the available
function values and then use this model for the extrapolation task. In the proposed
method, we assume that this model is the solution to an unknown differential equa tion. If we manage to find out the differential equation that describes the model in
time evolution, then we can use it to obtain good extrapolation results.
Given a set of examples (ti
, yi), where ti belongs to a training domain I, we first
train a neural network Ni(t). Since we have Ni(t) we can compute the derivative
dNi
dt and define a differential equation model in the form dNi
dt = g(N(t;w)) where g(.)
involves one or more neural networks. The parameters of the differential equation
model (w) are specified through training, so that the differential equation is satisfied
vii
at various points of the training interval. Once we obtain the differential equation
model, we can solve it with a numerical method and use this solution to find the
function values outside of the interval I. The proposed method has been tested on
several problems and we will present the experimental results as well as the empirical
conclusions regarding the efficiency of extrapolation.
Με την ύπαρξη διαφορετικών φαινομένων που εξελίσσονται στο χρόνο, συχνά υπάρχει η ανάγκη να βρεθεί μια συνάρτηση που να μπορεί να τα περιγράψει προκειμένου να εξαχθούν συμπεράσματα και να γίνουν προβλέψεις. Ένα χαρακτηριστικό παράδειγμα είναι η πρόβλεψη χρονοσειρών, όπου μας δίνονται οι τιμές μιας συνάρτησης μέσα σε ένα διάστημα τιμών και στοχεύουμε να προβλέψουμε μελλοντικές τιμές εκτός του διαστήματος (παρέκταση, extrapolation). Για συνεχή προβλήματα, η χρονική εξέλιξη μπορεί σε πολλές περιπτώσεις να περιγραφεί με διαφορικές εξισώσεις. Σε αυτή τη διατριβή θα εστιάσουμε μόνο σε προβλήματα που μπορούν να περιγραφούν με συνήθεις διαφορικές εξισώσεις και ιδιαίτερα με διαφορικές εξισώσεις πρώτης τάξης. Στόχος της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η εφαρμογή μιας προσέγγισης εμπνευσμένης από νευρωνικά δίκτυα και διαφορικές εξισώσεις, προκειμένου να μελετηθεί η δυνατότητα παρέκτασης μιας συνάρτησης, με βάση ένα δοθέν σύνολο δεδομένων. Η τυπική προσέγγιση θα ήταν να εκπαιδεύσουμε ένα μοντέλο μηχανικής μάθησης (εδώ νευρωνικό δίκτυο) χρησιμοποιώντας το διαθέσιμο σύνολο δεδομένων και στη συνέχεια να χρησιμοποιήσουμε αυτό το μοντέλο για την παρέκταση. Στην προτεινόμενη μέθοδο υποθέτουμε ότι αυτό το μοντέλο είναι η λύση μιας άγνωστης διαφορικής εξίσωσης. Αν καταφέρουμε να βρούμε τη διαφορική εξίσωση που περιγράφει το μοντέλο κατά την εξέλιξη του χρόνου, τότε μπορούμε να τη λύσουμε με μια αριθμητική μέθοδο. Μπορούμε να εκμεταλλευτούμε αυτή τη λύση για να επιτύχουμε καλά αποτελέσματα παρέκτασης. Λαμβάνοντας υπόψη ένα σύνολο παραδειγμάτων (ti , yi), όπου το ti ανήκει σε ένα διάστημα I, αρχικά εκπαιδεύουμε ένα νευρωνικό δίκτυο Ni(t). Εφόσον έχουμε το Ni(t) μπορούμε να υπολογίσουμε την παράγωγο dNi dt και να ορίσουμε ένα μοντέλο διαφορικής εξίσωσης με τη μορφή dNi dt = g(N(t;w)) όπου το g(.) περιλαμβάνει ένα ή περισσότερα νευρωνικά δίκτυα. Οι παράμετροι του μοντέλου διαφορικής εξίσωσης (w) καθορίζονται μέσω της εκπαίδευσης, έτσι ώστε η διαφορική εξίσωση να ικανοποιείται σε διάφορα σημεία του διαστήματος εκπαίδευσης. Κατά συνέπεια, μόλις ληφθεί το μοντέλο διαφορικής εξίσωσης, μπορούμε να το λύσουμε με αριθμητικές μεθόδους και να χρησιμοποιήσουμε αυτή τη λύση για να βρούμε τις τιμές της συνάρτησης εκτός του διαστήματος I. Η προτεινόμενη μέθοδος έχει δοκιμαστεί σε πολλά προβλήματα και θα παρουσιάσουμε τα πειραματικά αποτελέσματα που προέκυψαν καθώς και τα εμπειρικά συμπεράσματα λαμβάνοντας υπόψην την αποτελεσματικότητα της παρέκτασης.
Με την ύπαρξη διαφορετικών φαινομένων που εξελίσσονται στο χρόνο, συχνά υπάρχει η ανάγκη να βρεθεί μια συνάρτηση που να μπορεί να τα περιγράψει προκειμένου να εξαχθούν συμπεράσματα και να γίνουν προβλέψεις. Ένα χαρακτηριστικό παράδειγμα είναι η πρόβλεψη χρονοσειρών, όπου μας δίνονται οι τιμές μιας συνάρτησης μέσα σε ένα διάστημα τιμών και στοχεύουμε να προβλέψουμε μελλοντικές τιμές εκτός του διαστήματος (παρέκταση, extrapolation). Για συνεχή προβλήματα, η χρονική εξέλιξη μπορεί σε πολλές περιπτώσεις να περιγραφεί με διαφορικές εξισώσεις. Σε αυτή τη διατριβή θα εστιάσουμε μόνο σε προβλήματα που μπορούν να περιγραφούν με συνήθεις διαφορικές εξισώσεις και ιδιαίτερα με διαφορικές εξισώσεις πρώτης τάξης. Στόχος της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η εφαρμογή μιας προσέγγισης εμπνευσμένης από νευρωνικά δίκτυα και διαφορικές εξισώσεις, προκειμένου να μελετηθεί η δυνατότητα παρέκτασης μιας συνάρτησης, με βάση ένα δοθέν σύνολο δεδομένων. Η τυπική προσέγγιση θα ήταν να εκπαιδεύσουμε ένα μοντέλο μηχανικής μάθησης (εδώ νευρωνικό δίκτυο) χρησιμοποιώντας το διαθέσιμο σύνολο δεδομένων και στη συνέχεια να χρησιμοποιήσουμε αυτό το μοντέλο για την παρέκταση. Στην προτεινόμενη μέθοδο υποθέτουμε ότι αυτό το μοντέλο είναι η λύση μιας άγνωστης διαφορικής εξίσωσης. Αν καταφέρουμε να βρούμε τη διαφορική εξίσωση που περιγράφει το μοντέλο κατά την εξέλιξη του χρόνου, τότε μπορούμε να τη λύσουμε με μια αριθμητική μέθοδο. Μπορούμε να εκμεταλλευτούμε αυτή τη λύση για να επιτύχουμε καλά αποτελέσματα παρέκτασης. Λαμβάνοντας υπόψη ένα σύνολο παραδειγμάτων (ti , yi), όπου το ti ανήκει σε ένα διάστημα I, αρχικά εκπαιδεύουμε ένα νευρωνικό δίκτυο Ni(t). Εφόσον έχουμε το Ni(t) μπορούμε να υπολογίσουμε την παράγωγο dNi dt και να ορίσουμε ένα μοντέλο διαφορικής εξίσωσης με τη μορφή dNi dt = g(N(t;w)) όπου το g(.) περιλαμβάνει ένα ή περισσότερα νευρωνικά δίκτυα. Οι παράμετροι του μοντέλου διαφορικής εξίσωσης (w) καθορίζονται μέσω της εκπαίδευσης, έτσι ώστε η διαφορική εξίσωση να ικανοποιείται σε διάφορα σημεία του διαστήματος εκπαίδευσης. Κατά συνέπεια, μόλις ληφθεί το μοντέλο διαφορικής εξίσωσης, μπορούμε να το λύσουμε με αριθμητικές μεθόδους και να χρησιμοποιήσουμε αυτή τη λύση για να βρούμε τις τιμές της συνάρτησης εκτός του διαστήματος I. Η προτεινόμενη μέθοδος έχει δοκιμαστεί σε πολλά προβλήματα και θα παρουσιάσουμε τα πειραματικά αποτελέσματα που προέκυψαν καθώς και τα εμπειρικά συμπεράσματα λαμβάνοντας υπόψην την αποτελεσματικότητα της παρέκτασης.
Description
Keywords
Machine learning, Deep learning, Neural networks, Differential equations, Extrapolation, Μηχανική μάθηση, Βαθιά μάθηση, Νευρωνικά δίκτυα, Διαφορικές εξισώσεις, Παρέκταση
Subject classification
Machine learning
Citation
Link
Language
en
Publishing department/division
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Advisor name
Λύκας, Αριστείδης
Examining committee
Λύκας, Αριστείδης
Μπλέκας, Κωνσταντίνος
Βλάχος, Κωνσταντίνος
Μπλέκας, Κωνσταντίνος
Βλάχος, Κωνσταντίνος
General Description / Additional Comments
Institution and School/Department of submitter
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Table of contents
Sponsor
Bibliographic citation
Βιβλιογραφία: σ. 52-54
Name(s) of contributor(s)
Number of Pages
54 σ.
Course details
Endorsement
Review
Supplemented By
Referenced By
Creative Commons license
Except where otherwised noted, this item's license is described as Attribution-NonCommercial-NoDerivs 3.0 United States