scholarly journals Geometric approach to statistical learning theory through support vector machines (SVM) with application to medical diagnosis

2008 ◽  
Author(s):  
Μιχαήλ Μαυροφοράκης
Keyword(s):  
Support Vector Machines ◽  
Statistical Learning ◽  
Learning Theory ◽  
Medical Diagnosis ◽  
Statistical Learning Theory ◽  
Geometric Approach ◽  
Support Vector ◽  
Vector Machines

Η παρούσα διατριβή πραγματεύεται το πρόβλημα της Αναγνώρισης Προτύπων, στο πλαίσιο της Μηχανικής Μάθησης (ML) και, ειδικότερα, του πεδίου της Θεωρίας Στατιστικής Μάθησης (STL), μέσω των Μηχανών Διανυσμάτων Στήριξης (SVM). Η εργασία αυτή εστιάζει στην γεωμετρική ερμηνεία των SVM, που πραγματοποιείται μέσω της έννοιας των Συρρικνωμένων Κυρτών Περιβλημάτων (RCH), και της επίπτωσης που έχει στην ανάπτυξη νέων, αποδοτικών αλγορίθμων για την επίλυση του γενικού προβλήματος βελτιστοποίησης των SVM. Η συνεισφορά της παρούσης εργασίας συνίσταται στην επέκταση του μαθηματικού πλαισίου των RCH, στην ανάπτυξη νέων γεωμετρικών αλγορίθμων για τα SVM και, τέλος, στην εφαρμογή των SVM στο πεδίο της Ανάλυσης Ιατρικής Εικόνας και Διάγνωσης (Μαστογραφία). Επέκταση πλαισίου γεωμετρικών SVM. Η γεωμετρική ερμηνεία των SVM στηρίζεται στην έννοια των Συρρικνωμένων Κυρτών Περιβλημάτων. Αν και η γεωμετρική προσέγγιση των SVM παρέχει διαισθητική κατανόηση, η χρησιμότητά της ήταν περιορισμένη λόγω του γεγονότος ότι τα RCH ορίζονται μέσω συρρικνωμένων κυρτών συνδυασμών των σημείων εκπαίδευσης και, συνεπώς, το αντίστοιχο πρόβλημα βελτιστοποίησης παρουσιάζεται να έχει συνδυαστική πολυπλοκότητα. Επεκτείναμε το πλαίσιο των RCH με έναν αριθμό από θεωρητικά αποτελέσματα, που περιορίζουν την έκφραση των ακρότατων σημείων των RCH και παρέχουν αναλυτικό τύπο για την προβολή τους σε συγκεκριμένη κατεύθυνση. Τα αποτελέσματα αυτά οδήγησαν στην ανάπτυξη νέων, πολύ αποδοτικών αλγορίθμων για τα SVM. Νέοι SVM αλγόριθμοι. Οι γνωστοί (και επαρκώς μελετηθέντες ως προς τη σύγκλιση) γεωμετρικοί αλγόριθμοι πλησιέστερου σημείου, i) του Gilbert και ii) των Schlesinger-Kozinec, τροποποιήθηκαν (με βάση τα παραπάνω θεωρητικά αποτελέσματα) για την επίλυση του γενικού, δηλ., του μη-γραμμικού, μη-διαχωρίσιμου προβλήματος βελτιστοποίησης των SVM. Οι νέοι αυτοί γεωμετρικοί αλγόριθμοι για SVM εφαρμόστηκαν και ελέγχθηκαν πάνω σε δημοσίως διαθέσιμα σύνολα δεδομένων ελέγχου και παρουσίασαν σημαντικό πλεονέκτημα ως προς την απόδοση, σε σύγκριση με τους ταχύτερους αντίστοιχους αλγεβρικούς αλγορίθμους. Εφαρμογές - Μαστογραφία. Το πεδίο της Ανάλυσης Ιατρικής Εικόνας και Διάγνωσης (και ειδικότερα της Μαστογραφίας που εξετάζεται στην παρούσα εργασία) είναι ιδιαίτερα κρίσιμο για την κοινωνία, αλλά συνάμα πολύ απαιτητικό από την σκοπιά της Πληροφορικής. Στην παρούσα Διατριβή, εξετάστηκε και αποτιμήθηκε η αξία ενός συνόλου από ποιοτικά και ποσοτικά χαρακτηριστικά υφής και μορφολογίας (χρησιμοποιώντας μεθόδους στατιστικής και μορφοκλασματικής ανάλυσης)• παράλληλα, χρησιμοποιήθηκαν αρκετές μεθοδολογίες μηχανικής μάθησης, π.χ., Τεχνητά Νευρωνικά Δίκτυα (ΑΝΝ) και SVM, για να διαχωρίσουν τους κακοήθεις από τους καλοήθεις μαστογραφικούς όγκους. Τα SVM υπερείχαν σε απόδοση έναντι των υπολοίπων ταξινομητών.

scholarly journals Dimensionality Reduction, Classification and Reconstruction Problems in Statistical Learning Approaches

2008 ◽  
Vol 15 (1) ◽  
pp. 137-169 ◽  
Author(s):  
Gilson A. Giraldi ◽  
Paulo S. Rodrigues ◽  
Edson C. Kitani ◽  
Carlos E. Thomaz
Keyword(s):  
Support Vector Machines ◽  
Discriminant Analysis ◽  
Statistical Learning ◽  
Learning Theory ◽  
Medical Image ◽  
Image Databases ◽  
Group Differences ◽  
Support Vector ◽  
Learning Approaches ◽  
Vector Machines

Statistical learning theory explores ways of estimating functional dependency from a given collection of data. The specific sub-area of supervised statistical learning covers important models like Perceptron, Support Vector Machines (SVM) and Linear Discriminant Analysis (LDA). In this paper we review the theory of such models and compare their separating hypersurfaces for extracting group-differences between samples. Classification and reconstruction are the main goals of this comparison. We show recent advances in this topic of research illustrating their application on face and medical image databases.

Study on Prediction of Mackey-Glass Chaotic Time Series Using Support Vector Machines

2014 ◽  
Vol 1051 ◽  
pp. 1009-1015 ◽  
Author(s):  
Ya Li Ning ◽  
Xin You Wang ◽  
Xi Ping He
Keyword(s):  
Machine Learning ◽  
Time Series ◽  
Support Vector Machines ◽  
Statistical Learning ◽  
Chaotic Time Series ◽  
Support Vector ◽  
Machine Type ◽  
Type Selection ◽  
Vector Machines ◽  
New Generation

Support Vector Machines (SVM), which is a new generation learning method based on advances in statistical learning theory, is characterized by the use of many standard technologies of machine learning such as maximal margin hyperplane, Mercel kernels and the quadratic programming. Because the best performance is obtained in many currently challenging applications, SVM has sustained wide attention, and has been become the standard tools of machine learning and data mining. But as a developing technology, SVM still have some problems and its applications are limited. In this paper, SVM and its applications in chaotic time series including predicting chaotic time series, focus on comparison in regression type selection, and kernel type selection in the same regression machine type.

Fuzzy Asymmetric Support Vector Machines

2012 ◽  
Vol 433-440 ◽  
pp. 7479-7486
Author(s):  
Rui Kong ◽  
Qiong Wang ◽  
Gu Yu Hu ◽  
Zhi Song Pan
Keyword(s):  
Support Vector Machines ◽  
Medical Diagnosis ◽  
Credit Card ◽  
Training Data ◽  
Support Vector ◽  
Imbalanced Datasets ◽  
Credit Card Fraud ◽  
Vector Machines ◽  
Imbalanced Training Data ◽  
Error Costs

Support Vector Machines (SVM) has been extensively studied and has shown remarkable success in many applications. However the success of SVM is very limited when it is applied to the problem of learning from imbalanced datasets in which negative instances heavily outnumber the positive instances (e.g. in medical diagnosis and detecting credit card fraud). In this paper, we propose the fuzzy asymmetric algorithm to augment SVMs to deal with imbalanced training-data problems, called FASVM, which is based on fuzzy memberships, combined with different error costs (DEC) algorithm. We compare the performance of our algorithm against these two algorithms, along with different error costs and regular SVM and show that our algorithm outperforms all of them.

Sign in / Sign up

Export Citation Format

Share Document