Recognition and navigation of a mobile robot by fusing laser and camera information
Φόρτωση...
Ημερομηνία
Συγγραφείς
Συντάκας, Σπυρίδων
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Περίληψη
Τύπος
Είδος δημοσίευσης σε συνέδριο
Είδος περιοδικού
Είδος εκπαιδευτικού υλικού
Όνομα συνεδρίου
Όνομα περιοδικού
Όνομα βιβλίου
Σειρά βιβλίου
Έκδοση βιβλίου
Συμπληρωματικός/δευτερεύων τίτλος
Περιγραφή
Robotic navigation, motion planning and robotic perception are fields of great im portance in robotics that are nowadays greatly enhanced by the advances in Artificial
Intelligence. Through the usage of sensory modalities and Machine Learning tech niques, the robots have a sensory experience of the surrounding environment. Of great
importance in robotic perception is the field of robotic vision and especially its appli cations in solving the task of object detection, which gives mobile robots the ability
to interact in various ways with objects of interest in the surrounding environment.
The objective of this thesis is the study, design, and implementation of a method
that solves the problem of object detection by fusing laser and camera information,
in comparison to most approaches that solve the problem using a single sensory
modality. This is accomplished by solving the sub problems of object detection, i.e.,
object localization and object recognition, in different spaces using different sensory
modalities . In the proposed method, object localization takes place in the 3D world
surrounding the robot, by segmenting the point cloud given by a 2D laser scanner
attached to the robot. By clustering the point cloud using DBSCAN, the position and
the 2D layout of objects in the detection range of the 2D laser scanner are obtained
as areas of high point density. By projecting the clusters on the image plane of the
camera sensor via a Direct Linear Transformation and having the sensors calibrated,
the localization of the object is transferred from the 3D world to the 2D plane of
the digital image and proposed bounding boxes are obtained. Given the proposed
bounding boxes recognition is achieved with the usage of a Convolutional Neural
Network, i.e., a pretrained ResNet, that focuses recognition on the image location of
the object and labels are assigned to the corresponding box. The above detection
system is used combined with a navigation schema that uses the Potential Fields
method in such a way that the robot interacts with detected objects of interest, while
is autonomously navigates.
The proposed method that solves the problem of object detection as well as the
combinatoric application of both the detection and the navigation system, has been
implemented in ROS (Robotic Operating System) and applied and tested both in
simulation, using Gazebo, as well as in real case scenarios using the mobile robot
Pioneer 3-DX.
H πλοήγηση ρομπότ, η σχεδίαση κίνησης και η ρομποτική αντίληψη αποτελούν από τα πιό σημαντικά πεδία έρευνας και εφαρμογών της Ρομποτικής, όπου σήμερα βελτιώνονται κατα κόρον από την ραγδαία εξέλιξη και έντονη ερευνητική δραστηριότητα στο πεδίο της Τεχνητής Νοημοσύνης. Μέσω της χρήσης αισθητήρων και εφαρμόζοντας τεχνικές Μηχανικής Μάθησης, τα ρομπότ έχουν μια αισθητηριακή εμπειρία του περιβάλλοντος. Αντικείμενο κύριας σημασίας στη ρομποτική αντίληψη, αποτελεί αυτό της ρομποτικής όρασης και κυρίως η εφαρμογή του στην επίλυση του προβλήματος της ανίχνευσης αντικειμένων, που δίνει σε κινητά ρομπότ τη δυνατότητα να αλληλεπιδρούν με διάφορους τρόπους με αντικείμενα ενδιαφέροντος στον περιβάλλοντα χώρο. Η επίλυση του προβλήματος της ανίχνευση αντικειμένων μεταβιβάζεται στην επίλυση δύο υποπροβλημάτων, αυτό του εντοπισμού αντικειμένων και αυτό της αναγνώρισης αντικειμένων. Σκοπός αυτής της διπλωματικής εργασίας είναι η μελέτη, ο σχεδιασμός και η εφαρμογή μιας μεθόδου που λύνει το πρόβλημα της ανίχνευσης αντικειμένων συνδυάζοντας ετερογενείς πληροφορίες προερχόμενες από λέιζερ και κάμερα, σε αντίθεση με τις περισσότερες προσεγγίσεις που χρησιμοποιούν ως μοναδικό αισθητήριο αυτό της κάμερας. Η προτεινόμενη προσέγγιση επιλύει τα δυο υποπροβλήματα της ανίχνευσης αντικειμένων σε διαφορετικούς χώρους χρησιμοποιώντας δύο διαφορετικά ετερογενή αισθητήρια. Η επίλυση του υποπροβλήματος του εντοπισμού αντικειμένων λαμβάνει χώρα στον πραγματικό περιβάλλοντα κόσμο του ρομπότ μέσω laser. Το ρομπότ μέσω του laser αντιλαμβάνεται και τις τρείς διαστάσεις του περιβάλλοντος εργασίας του και μέσω ομαδοποίησης του point cloud που προέρχεται από τον 2D laser αισθητήρα με χρήση του αλγορίθμου DBSCAN αποκτώνται ομάδες (clusters) σημείων του point cloud ως περιοχές υψηλής πυκνότητας σημείων που αντιστοιχούν τόσο στην θεση όσο και σε 2D αναπαραστάσεις εντοπισθέντων αντικειμένων. Προβάλλοντας τα clusters στην εικόνα της κάμερας, αφού έχει προηγηθεί βαθμονόμηση των δυο αισθητήρων, ο εντοπισμός του αντικειμένου μεταφέρεται από τον πραγματικό κόσμο στην δισδιάστατη εικόνα, όπου γνωρίζοντας πλεον την σχετική θέση των αντικειμένων προτείνονται bounding boxes. Δεδομένων των bounding boxes το πρόβλημα της αναγνώρισης επιλύεται με την χρήση συνελικτικών νευρωνικών δικτύων, συγκεκριμένα ενός προεκπαιδευμένου δικτύου τύπου ResNet, που εστιάζει την αναγνώριση στις περιοχές ενδιαφέροντος της εικόνας εντός των προτεινόμενων bounding boxes και αναθέτοντας ταμπέλες στα αντίστοιχα κουτιά. Το προτεινόμενο σύστημα εντοπισμού συνδυάζεται με ένα σύστημα πλοήγησης που αναπτύχθηκε βασιμένο στην μεθοδο των Τεχνητών Δυναμικών Πεδίων, και ο συνδυασμός των οποίων επιτρέπει στο ρομπότ να αλληλεπιδρά με εντοπισθέντα αντικείμενα ενδιαφέροντος με την μορφη αισθητηριακών μετρήσεων, καθώς πλοηγείται αυτόνομα στο άγνωστο δυναμικό περιβάλλον εργασίας. Η προτεινόμενη μέθοδος για την επίλυση του προβλήματος του εντοπισμού αντικειμένων από το ρομπότ καθώς και η συνδυαστική εφαρμογή της με το σύστημα πλοήγησης που αναπτύχθηκε, υλοποιήθηκε με χρήση του ROS (Robotic Operating System) και εφαρμόστηκε και ελέγχθηκε τόσο στο περιβάλλον προσομοίωσης Gazebo όσο και σε πραγματικές συνθήκες στο ρομπότ Pioneer 3-DX.
H πλοήγηση ρομπότ, η σχεδίαση κίνησης και η ρομποτική αντίληψη αποτελούν από τα πιό σημαντικά πεδία έρευνας και εφαρμογών της Ρομποτικής, όπου σήμερα βελτιώνονται κατα κόρον από την ραγδαία εξέλιξη και έντονη ερευνητική δραστηριότητα στο πεδίο της Τεχνητής Νοημοσύνης. Μέσω της χρήσης αισθητήρων και εφαρμόζοντας τεχνικές Μηχανικής Μάθησης, τα ρομπότ έχουν μια αισθητηριακή εμπειρία του περιβάλλοντος. Αντικείμενο κύριας σημασίας στη ρομποτική αντίληψη, αποτελεί αυτό της ρομποτικής όρασης και κυρίως η εφαρμογή του στην επίλυση του προβλήματος της ανίχνευσης αντικειμένων, που δίνει σε κινητά ρομπότ τη δυνατότητα να αλληλεπιδρούν με διάφορους τρόπους με αντικείμενα ενδιαφέροντος στον περιβάλλοντα χώρο. Η επίλυση του προβλήματος της ανίχνευση αντικειμένων μεταβιβάζεται στην επίλυση δύο υποπροβλημάτων, αυτό του εντοπισμού αντικειμένων και αυτό της αναγνώρισης αντικειμένων. Σκοπός αυτής της διπλωματικής εργασίας είναι η μελέτη, ο σχεδιασμός και η εφαρμογή μιας μεθόδου που λύνει το πρόβλημα της ανίχνευσης αντικειμένων συνδυάζοντας ετερογενείς πληροφορίες προερχόμενες από λέιζερ και κάμερα, σε αντίθεση με τις περισσότερες προσεγγίσεις που χρησιμοποιούν ως μοναδικό αισθητήριο αυτό της κάμερας. Η προτεινόμενη προσέγγιση επιλύει τα δυο υποπροβλήματα της ανίχνευσης αντικειμένων σε διαφορετικούς χώρους χρησιμοποιώντας δύο διαφορετικά ετερογενή αισθητήρια. Η επίλυση του υποπροβλήματος του εντοπισμού αντικειμένων λαμβάνει χώρα στον πραγματικό περιβάλλοντα κόσμο του ρομπότ μέσω laser. Το ρομπότ μέσω του laser αντιλαμβάνεται και τις τρείς διαστάσεις του περιβάλλοντος εργασίας του και μέσω ομαδοποίησης του point cloud που προέρχεται από τον 2D laser αισθητήρα με χρήση του αλγορίθμου DBSCAN αποκτώνται ομάδες (clusters) σημείων του point cloud ως περιοχές υψηλής πυκνότητας σημείων που αντιστοιχούν τόσο στην θεση όσο και σε 2D αναπαραστάσεις εντοπισθέντων αντικειμένων. Προβάλλοντας τα clusters στην εικόνα της κάμερας, αφού έχει προηγηθεί βαθμονόμηση των δυο αισθητήρων, ο εντοπισμός του αντικειμένου μεταφέρεται από τον πραγματικό κόσμο στην δισδιάστατη εικόνα, όπου γνωρίζοντας πλεον την σχετική θέση των αντικειμένων προτείνονται bounding boxes. Δεδομένων των bounding boxes το πρόβλημα της αναγνώρισης επιλύεται με την χρήση συνελικτικών νευρωνικών δικτύων, συγκεκριμένα ενός προεκπαιδευμένου δικτύου τύπου ResNet, που εστιάζει την αναγνώριση στις περιοχές ενδιαφέροντος της εικόνας εντός των προτεινόμενων bounding boxes και αναθέτοντας ταμπέλες στα αντίστοιχα κουτιά. Το προτεινόμενο σύστημα εντοπισμού συνδυάζεται με ένα σύστημα πλοήγησης που αναπτύχθηκε βασιμένο στην μεθοδο των Τεχνητών Δυναμικών Πεδίων, και ο συνδυασμός των οποίων επιτρέπει στο ρομπότ να αλληλεπιδρά με εντοπισθέντα αντικείμενα ενδιαφέροντος με την μορφη αισθητηριακών μετρήσεων, καθώς πλοηγείται αυτόνομα στο άγνωστο δυναμικό περιβάλλον εργασίας. Η προτεινόμενη μέθοδος για την επίλυση του προβλήματος του εντοπισμού αντικειμένων από το ρομπότ καθώς και η συνδυαστική εφαρμογή της με το σύστημα πλοήγησης που αναπτύχθηκε, υλοποιήθηκε με χρήση του ROS (Robotic Operating System) και εφαρμόστηκε και ελέγχθηκε τόσο στο περιβάλλον προσομοίωσης Gazebo όσο και σε πραγματικές συνθήκες στο ρομπότ Pioneer 3-DX.
Περιγραφή
Λέξεις-κλειδιά
Robotics, Artificial intelligence, Machine Learning, Robotic perception and navigation, Ρομποτική, Τεχνητή νοημοσύνη, Μηχανική μάθηση, Ρομποτική αντίληψη και πλοήγηση
Θεματική κατηγορία
Robotics
Παραπομπή
Σύνδεσμος
Γλώσσα
en
Εκδίδον τμήμα/τομέας
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Όνομα επιβλέποντος
Λύκας, Αριστείδης
Εξεταστική επιτροπή
Λύκας, Αριστείδης
Βλάχος, Κώστας
Μπλέκας, Κωνσταντίνος
Βλάχος, Κώστας
Μπλέκας, Κωνσταντίνος
Γενική Περιγραφή / Σχόλια
Ίδρυμα και Σχολή/Τμήμα του υποβάλλοντος
Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής
Πίνακας περιεχομένων
Χορηγός
Βιβλιογραφική αναφορά
Βιβλιογραφία: σ. 91-94
Ονόματα συντελεστών
Αριθμός σελίδων
94 σ.
Λεπτομέρειες μαθήματος
item.page.endorsement
item.page.review
item.page.supplemented
item.page.referenced
Άδεια Creative Commons
Άδεια χρήσης της εγγραφής: Attribution-NonCommercial-NoDerivs 3.0 United States