The UU-test
Φόρτωση...
Ημερομηνία
Συγγραφείς
Χασάνη, Παρασκευή
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
deciding on distribution unimodality using tests of uniformity
ανίχνευση μονοτροπικότητας κατανομών χρησιμοποιώντας τεστ ομοιομορφίας
ανίχνευση μονοτροπικότητας κατανομών χρησιμοποιώντας τεστ ομοιομορφίας
Περιγραφή
Recognizing unimodal data distributions is of great significance in statistics, machine learning and data science. Well-known distributions, such as Gaussian, Student’s t, Gamma, Chi-square, Exponential and Cauchy are typical examples of unimodal distributions. Also the uniform distribution is considered as an extreme unimodal case. The characteristic property of a unimodal distribution is that data values are gathered around a single value (peak), which is the mode of the distribution. Due to this property, data can be characterized as homogeneous, forming a single and coherent group.
Unimodality tests have been proposed to decide on the unimodality of a set of data values, thus providing useful knowledge about the structure of the data. For example, if a dataset is unimodal, the data values are “gathered” thus applying a clustering method is unnecessary. Current unimodality tests decide exclusively about the existence (or not) of a single mode and do not focus on the statistical modeling of the data.
We propose a new unimodality test called Unimodal-Uniform test (UU-test) to decide if a set of data values has been a generated by a unimodal distribution or not. The method utilizes the empirical cumulative density function (ecdf) and attempts to obtain a unimodal piecewise linear approximation of the ecdf under the constraint that the data corresponding to each linear segment follow the uniform distribution.
An attractive feature of the proposed approach is that not only it decides on unimodality, but it also produces a generative model of the unimodal data in the form of a mixture of uniform distributions. Thus, it can be used for statistical data modeling. Modeling unimodal data is
typically performed by fitting a specific single unimodal distribution, usually a Gaussian distribution. This approach lacks flexibility since it cannot efficiently model data samples generated by asymmetric distributions. The uniform mixture model produced by the UU-test is able to model unimodal distributions with arbitrary shape.
In the experimental evaluation we conducted, it is shown that the UU-test is effective both in deciding unimodality/multimodality and also in providing accurate statistical models of unimodal data.
Η αναγνώριση μονοτροπικών κατανομών διαδραματίζει σημαντικό ρόλο στη στατιστική, τη μηχανική μάθηση και την ανάλυση δεδομένων. Γνωστές κατανομές, όπως οι: Κανονική, Student’s t, Γάμμα, Χι-τετράγωνο, Εκθετική και Cauchy είναι παραδείγματα μονοτροπικών κατανομών. Επίσης, η Ομοιόμορφη κατανομή είναι μια ακραία περίπτωση μονοτροπικής κατανομής. Η χαρακτηριστική ιδιότητα των μονοτροπικών κατανομών είναι ότι τα δεδομένα βρίσκονται πολύ κοντά σε μία τιμή, η οποία είναι η κορυφή της κατανομής. Εξαιτίας αυτής της ιδιότητας, τα δεδομένα χαρακτηρίζονται ως ομοιογενή, σχηματίζοντας μία συνεκτική ομάδα. Τα τελευταία χρόνια έχουν προταθεί τεστ μονοτροπικότητας που αποφασίζουν τη μονοτροπικότητα ενός συνόλου δεδομένων, παρέχοντας χρήσιμη γνώση για τη δομή των δεδομένων. Για παράδειγμα, εάν ένα σύνολο δεδομένων είναι μονοτροπικό, οι τιμές των δεδομένων είναι «συγκεντρωμένες», επομένως δεν χρειάζεται η εφαρμογή μεθόδων ομαδοποίησης. Τα τεστ μονοτροπικότητας που έχουν προταθεί αποφασίζουν αποκλειστικά για την ύπαρξη (ή όχι) μοναδικής κορυφής και δεν εστιάζουν στη στατιστική μοντελοποίηση δεδομένων. Προτείνουμε ένα νέο τεστ μονοτροπικότητας που λέγεται Μονοτροπικό-Ομοιόμορφο τεστ (UU-τεστ) για να αποφασίζουμε εάν ένα σύνολο δεδομένων έχει παραχθεί από μονοτροπική κατανομή ή όχι. Η μέθοδος αυτή χρησιμοποιεί την εμπειρική συνάρτηση κατανομής και προσπαθεί να κατασκευάσει μια μονοτροπική κατά τμήματα γραμμική προσέγγιση αυτής υπό τον περιορισμό ότι τα δεδομένα που αντιστοιχούν σε κάθε γραμμικό κομμάτι να ακολουθούν Ομοιόμορφη κατανομή. Ένα ενδιαφέρον χαρακτηριστικό της προτεινόμενης προσέγγισης είναι ότι δεν αποφασίζει μόνο τη μονοτροπικότητα δεδομένων, αλλά συγχρόνως παράγει ένα μοντέλο για μονοτροπικά δεδομένα που έχει τη μορφή μεικτών Ομοιόμορφων κατανομών. Επομένως, μπορεί να χρησιμοποιηθεί για στατιστική μοντελοποίηση δεδομένων. Η μοντελοποίηση μονοτροπικών δεδομένων πραγματοποιείται «ταιριάζοντας» σε αυτά μια συγκεκριμένη μονοτροπική κατανομή, συνήθως την Κανονική κατανομή. Αυτή η προσέγγιση όμως, στερείται ευελιξίας καθώς δεν μπορεί να μοντελοποιήσει αποτελεσματικά δείγματα δεδομένων που έχουν παραχθεί από ασύμμετρες κατανομές. Το ομοιόμορφο μεικτό μοντέλο που παράγει το UU-τεστ μπορεί να μοντελοποιήσει μονοτροπικές κατανομές οποιουδήποτε μεγέθους.
Η αναγνώριση μονοτροπικών κατανομών διαδραματίζει σημαντικό ρόλο στη στατιστική, τη μηχανική μάθηση και την ανάλυση δεδομένων. Γνωστές κατανομές, όπως οι: Κανονική, Student’s t, Γάμμα, Χι-τετράγωνο, Εκθετική και Cauchy είναι παραδείγματα μονοτροπικών κατανομών. Επίσης, η Ομοιόμορφη κατανομή είναι μια ακραία περίπτωση μονοτροπικής κατανομής. Η χαρακτηριστική ιδιότητα των μονοτροπικών κατανομών είναι ότι τα δεδομένα βρίσκονται πολύ κοντά σε μία τιμή, η οποία είναι η κορυφή της κατανομής. Εξαιτίας αυτής της ιδιότητας, τα δεδομένα χαρακτηρίζονται ως ομοιογενή, σχηματίζοντας μία συνεκτική ομάδα. Τα τελευταία χρόνια έχουν προταθεί τεστ μονοτροπικότητας που αποφασίζουν τη μονοτροπικότητα ενός συνόλου δεδομένων, παρέχοντας χρήσιμη γνώση για τη δομή των δεδομένων. Για παράδειγμα, εάν ένα σύνολο δεδομένων είναι μονοτροπικό, οι τιμές των δεδομένων είναι «συγκεντρωμένες», επομένως δεν χρειάζεται η εφαρμογή μεθόδων ομαδοποίησης. Τα τεστ μονοτροπικότητας που έχουν προταθεί αποφασίζουν αποκλειστικά για την ύπαρξη (ή όχι) μοναδικής κορυφής και δεν εστιάζουν στη στατιστική μοντελοποίηση δεδομένων. Προτείνουμε ένα νέο τεστ μονοτροπικότητας που λέγεται Μονοτροπικό-Ομοιόμορφο τεστ (UU-τεστ) για να αποφασίζουμε εάν ένα σύνολο δεδομένων έχει παραχθεί από μονοτροπική κατανομή ή όχι. Η μέθοδος αυτή χρησιμοποιεί την εμπειρική συνάρτηση κατανομής και προσπαθεί να κατασκευάσει μια μονοτροπική κατά τμήματα γραμμική προσέγγιση αυτής υπό τον περιορισμό ότι τα δεδομένα που αντιστοιχούν σε κάθε γραμμικό κομμάτι να ακολουθούν Ομοιόμορφη κατανομή. Ένα ενδιαφέρον χαρακτηριστικό της προτεινόμενης προσέγγισης είναι ότι δεν αποφασίζει μόνο τη μονοτροπικότητα δεδομένων, αλλά συγχρόνως παράγει ένα μοντέλο για μονοτροπικά δεδομένα που έχει τη μορφή μεικτών Ομοιόμορφων κατανομών. Επομένως, μπορεί να χρησιμοποιηθεί για στατιστική μοντελοποίηση δεδομένων. Η μοντελοποίηση μονοτροπικών δεδομένων πραγματοποιείται «ταιριάζοντας» σε αυτά μια συγκεκριμένη μονοτροπική κατανομή, συνήθως την Κανονική κατανομή. Αυτή η προσέγγιση όμως, στερείται ευελιξίας καθώς δεν μπορεί να μοντελοποιήσει αποτελεσματικά δείγματα δεδομένων που έχουν παραχθεί από ασύμμετρες κατανομές. Το ομοιόμορφο μεικτό μοντέλο που παράγει το UU-τεστ μπορεί να μοντελοποιήσει μονοτροπικές κατανομές οποιουδήποτε μεγέθους.
Περιγραφή
Λέξεις-κλειδιά
Unimodality, Uniform, Test, Distribution, Μονοτροπικότητα, Ομοιόμορφο, Τεστ, Κατανομή
Θεματική κατηγορία
Tests
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Λύκας, Αριστείδης
Εξεταστική επιτροπή
Λύκας, Αριστείδης
Μπλέκας, Κωνσταντίνος
Νίκου, Χριστόφορος
Μπλέκας, Κωνσταντίνος
Νίκου, Χριστόφορος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 62-63
Ονόματα συντελεστών
Αριθμός σελίδων
63 σ.