Effective Descriptors for Human Action Retrieval from 3D Mesh Sequences

Two novel methods for fully unsupervised human action retrieval using 3D mesh sequences are presented. The first achieves high accuracy but is suitable for sequences consisting of clean meshes, such as artificial sequences or highly post-processed real sequences, while the second one is robust and suitable for noisy meshes, such as those that often result from unprocessed scanning or 3D surface reconstruction errors. The first method uses a spatio-temporal descriptor based on the trajectories of 6 salient points of the human body (i.e. the centroid, the top of the head and the ends of the two upper and two lower limbs) from which a set of kinematic features are extracted. The resulting features are transformed using the wavelet transformation in different scales and a set of statistics are used to obtain the descriptor. An important characteristic of this descriptor is that its length is constant independent of the number of frames in the sequence. The second descriptor consists of two complementary sub-descriptors, one based on the trajectory of the centroid of the human body across frames and the other based on the Hybrid static shape descriptor adapted for mesh sequences. The robustness of the second descriptor derives from the robustness involved in extracting the centroid and the Hybrid sub-descriptors. Performance figures on publicly available real and artificial datasets demonstrate our accuracy and robustness claims and in most cases the results outperform the state-of-the-art.

Human action retrieval of 3D mesh sequences

Στην παρούσα διατριβή παρουσιάζεται ένα σύνολο από 4 μεθόδους για την αντιμετώπιση του προβλήματος της ανάκτησης 3Δ πλεγματοσειρών ανθρώπινων ενεργειών. Στην πρώτη μέθοδο, ένα σύνολο από στατικούς περιγραφείς σχήματος της τρέχουσας τεχνολογικής στάθμης χρησιμοποιούνται για την αναπαράσταση του ανθρώπινου σώματος σε κάθε στιγμιότυπο των ακολουθιών και κάθε πλεγματοσειρά θεωρείται μια Ν-διάστατη καμπύλη, όπου Ν είναι η διάσταση του αντίστοιχου στατικού περιγραφέα σχήματος. Σε αυτή τη μέθοδο, η χρονική αντιστοίχιση μεταξύ των στιγμιοτύπων των ακολουθιών δε λαμβάνεται υπόψιν στο στάδιο της εξαγωγής του περιγραφέα. Στη δεύτερη μέθοδο εισάγεται ένας περιγραφέας ο οποίος ενσωματώνει τη χρονική εξέλιξη των πλεγματοσειρών. Αυτός ο περιγραφέας αποτελείται από δύο υπο-περιγραφείς: ο πρώτος βασίζεται σε ένα σύνολο από διαφορικά χαρακτηριστικά κίνησης των τροχιών του κέντρου μάζας, που εξάγεται σε κάθε στιγμιότυπο των ακολουθιών, ενώ ο δεύτερος υπο-περιγραφέας βασίζεται στην πρώτη προτεινόμενη μέθοδο της διατριβής. Μια σημαντική συμβολή αυτής της μεθόδου είναι μια νέα συνθετική βάση δεδομένων, η οποία έγινε δημοσίως διαθέσιμη για ερευνητικούς σκοπούς. Οι ενέργειες που περιέχονται σε αυτή τη βάση δεδομένων αποτελούν συνηθισμένες ανθρώπινες ενέργειες και παραλλαγές τους, δημιουργώντας νέες προκλήσεις στο αντίστοιχο πρόβλημα ανάκτησης. Δεδομένου του μικρού αριθμού δημοσίως διαθέσιμων 4Δ βάσεων ανθρώπινων ενεργειών με πλέγματα, αυτή η βάση δεδομένων είναι μια πολύ πρακτική συνεισφορά της παρούσας διατριβής. Η τρίτη προτεινόμενη μέθοδος βασίζεται στην παρατήρηση ότι το ανθρώπινο οπτικό σύστημα είναι ικανό να διακρίνει τις ανθρώπινες ενέργειες χωρίς να παρατηρεί όλο το σώμα ενός ανθρώπου που κινείται, παρά μόνο τις αρθρώσεις του. Ένας νέος αλγόριθμος για την εξαγωγή των τροχιών των ακραίων σημείων του ανθρώπινου σώματος εισάγεται. Ο περιγραφέας της δεύτερης προτεινόμενης μεθόδου που βασίζεται στις τροχιές, χρησιμοποιείται προκειμένου να εξαχθεί ένας περιγραφέας για καθένα από τα 6 κρίσιμα σημεία του ανθρώπινου σώματος (δηλαδή την κορυφή του κεφαλιού, τα άκρα των άνω και των κάτω άκρων και το κέντρο μάζας). Η επιλογή των συγκεκριμένων σημείων προκύπτει από το γεγονός ότι το ανθρώπινο σώμα μπορεί να κατατμηθεί σε 6 βασικά τμήματα (δηλαδή το κεφάλι, τα άνω άκρα, τα κάτω άκρα και τον κορμό του σώματος), επομένως καθένα από τα εξαγόμενα σημεία είναι ένα αντιπροσωπευτικό σημείο αυτών των τμημάτων. Η τελευταία μέθοδος είναι μια επέκταση της τρίτης προτεινόμενης μεθόδου. Ο τελικός περιγραφέας των ακολουθιών συντίθεται από ένα σύνολο στατιστικών μεγεθών, δημιουργώντας έναν περιγραφέα σταθερού μήκους, ανεξάρτητα από το αρχικό πλήθος στιγμιοτύπων των ακολουθιών. Ο πειραματισμός με τις δύο πρώτες προτεινόμενες μεθόδους βασίστηκε σε όλες τις σχετικές, δημοσίως διαθέσιμες βάσεις δεδομένων, που περιέχουν είτε πραγματικά είτε συνθετικά δεδομένα, συμπεριλαμβανομένης και της βάσης δεδομένων που παρουσιάστηκε μαζί με τη δεύτερη προτεινόμενη μέθοδο. Από την άλλη, οι μέθοδοι που βασίζονται στα ακραία σημεία του ανθρώπινου σώματος μπορούν να εφαρμοστούν μόνο σε καθαρές πλεγματοσειρές. Σε όλες τις περιπτώσεις, η απόδοση ανάκτησης αποτιμάται χρησιμοποιώντας διαδεδομένες βαθμωτές μετρικές (Πλησιέστερος Γείτονας, Πρώτη Βαθμίδα, Δεύτερη Βαθμίδα, Προσαρμοσμένο Συσσωρευμένο Κέρδος) και διαγράμματα πρόβλεψης-ανάκλησης. Η αντίστοιχη απόδοση ανάκτησης είναι εφάμιλλη ή ανώτερη της απόδοσης που προκύπτει από την τρέχουσα τεχνολογική στάθμη και σε ορισμένες περιπτώσεις βάσεων δεδομένων που χρησιμοποιήθηκαν για τον πειραματισμό, είναι ιδανική.

Retrieving Human Action by Fusing the Motion Information of Interest Points

In response to the fast propagation of videos on the Internet, Content-Based Video Retrieval (CBVR) was introduced to help users find their desired items. Since most videos concern humans, human action retrieval was introduced as a new topic in CBVR. Most human action retrieval methods represent an action by extracting and describing its local features as more reliable than global ones; however, these methods are complex and not very accurate. In this paper, a low-complexity representation method that more accurately describes extracted local features is proposed. In this method, each video is represented independently from other videos. To this end, the motion information of each extracted feature is described by the directions and sizes of its movements. In this system, the correspondence between the directions and sizes of the movements is used to compare videos. Finally, videos that correspond best with the query video are delivered to the user. Experimental results illustrate that this method can outperform state-of-the-art methods.