- The Bayesian Linear Model

2014 ◽  
pp. 190-219
Keyword(s):  
Linear Model ◽  
Bayesian Linear Model

scholarly journals Μπεϋζιανές μέθοδοι για προβλήματα μηχανικής μάθησης και επεξεργασίας εικόνας

2009 ◽  
Author(s):  
Δημήτριος Τζίκας
Keyword(s):  
Linear Model ◽  
Conjugate Gradient ◽  
Cross Validation ◽  
Relevance Vector Machine ◽  
Image Deconvolution ◽  
Blind Image Deconvolution ◽  
Bayesian Linear Model ◽  
Blind Image

Η διατριβή εστιάζεται στο αραιό Μπεϋζιανό γραμμικό μοντέλο (sparse Bayesian linear model) για προβλήματα παλινδρόμησης (regression) και ταξινόμησης (classification) και σε εφαρμογές του σε προβλήματα επεξεργασίας εικόνας. Αρχικά, παρουσιάζεται συνοπτικά η μεθοδολογία για Μπεϋζιανή συμπερασματολογία. Στη συνέχεια, προτείνεται ένας υπολογιστικά αποδοτικός αλγόριθμος για το πρόβλημα της αραιής Μπεϋζιανής παλινδρόμησης εικόνων. Ο προτεινόμενος αλγόριθμος χρησιμοποιεί λειτουργίες στο πεδίο του διακριτού μετασχηματισμού Fourier και τη μέθοδο βελτιστοποίησης συζυγών κατευθύνσεων (conjugate gradient) για να επιτύχει παλινδρόμηση εικόνων με εφικτό υπολογιστικό κόστος. Έπειτα, ο αλγόριθμος αυτός χρησιμοποιείται για την επίλυση του προβλήματος ανίχνευσης αντικειμένων σε εικόνες, προτείνοντας μια παραλλαγή του μοντέλου Relevance Vector Machine (RVM) που το ονομάζουμε multikernel RVM. Το αραιό Μπεϋζιανό γραμμικό μοντέλο χρησιμοποιείται στη συνέχεια για να εκτιμήσουμε την συνάρτηση διασποράς σημείου της θόλωσης (blurring PSF) στο πρόβλημα της τυφλής αποσυνέλιξης εικόνων (blind image deconvolution). Προτείνεται ένα στατιστικό μοντέλο, βασικά πλεονεκτήματα του οποίου είναι η εκτίμηση του μεγέθους της συνάρτησης διασποράς σημείου που περιγράφει την θόλωση, η ανακατασκευή των ακμών της εικόνας και η ανθεκτικότητα στο θόρυβο. Η Μπεϋζιανή συμπερασματολογία υλοποιείται με την χρήση της variational προσέγγισης. Κατόπιν, η διατριβή εστιάζεται στο πρόβλημα επιλογής κατάλληλων συναρτήσεων βάσης για το αραιό Μπεϋζιανό γραμμικό μοντέλο, το οποίο είναι σημαντικό ζήτημα προκειμένου να κατασκευάσουμε συστήματα με καλή γενικευτική ικανότητα. Τυπικά, η επιλογή κατάλληλων συναρτήσεων βάσης πραγματοποιείται με την χρήση της τεχνικής cross-validation, όμως η τεχνική αυτή έχει υψηλές υπολογιστικές απαιτήσεις και έτσι μπορεί να εφαρμοστεί για την επιλογή του καλύτερου συνόλου συναρτήσεων βάσης, μόνο εάν ο αριθμός των υποψήφιων συνόλων είναι μικρός. Προτείνεται ένας προσαρμοστικός αλγόριθμος μάθησης των συναρτήσεων βάσης, ο οποίος είναι ανάλογος με το μοντέλο RVM, αλλά εκτιμά τις παραμέτρους των συναρτήσεων βάσης ταυτόχρονα με την εκπαίδευση του μοντέλου. Πιο συγκεκριμένα, η προτεινόμενη μέθοδος εκτιμά διαφορετικές τιμές για τις παραμέτρους κάθε συνάρτησης βάσης και έτσι προκύπτει ένα πολύ ευέλικτο μοντέλο. Για να αποφευχθεί η υπερεκπαίδευση, επιβάλλεται μια εκ των προτέρων κατανομή που οδηγεί σε αραιές λύσεις, ρυθμίζοντας αυτόματα τον ουσιαστικό αριθμό παραμέτρων του μοντέλου. Η προτεινόμενη μεθοδολογία εφαρμόζεται σε διάφορα προβλήματα παλινδρόμησης και ταξινόμησης και χρησιμοποιείται για την ανάλυση εικόνων λειτουργικού μαγνητικού συντονισμού (fMRI). Επίσης, προτείνεται μια τροποποίηση της προηγούμενης μεθόδου, που χρησιμοποιεί ανισοτροπικές Γκαουσσιανές συναρτήσεις βάσης, με ξεχωριστή παράμετρο κλίμακας (πλάτος) για κάθε χαρακτηριστικό, ώστε να επιτύχει τοπική επιλογή χαρακτηριστικών. Η επιλογή χαρακτηριστικών είναι τοπική, με την έννοια ότι υποθέτουμε ότι διαφορετικά χαρακτηριστικά είναι σημαντικά σε διαφορετικές περιοχές του χώρου παραδειγμάτων. Για να απαλείψουμε τα χαρακτηριστικά που δεν είναι χρήσιμα, υποθέτουμε μια κατάλληλη εκ των προτέρων κατανομή για τις παραμέτρους κλίμακας. Οι παραπάνω μεθοδολογίες μάθησης των παραμέτρων των συναρτήσεων βάσης (με ή χωρίς ταυτόχρονη τοπική επιλογή χαρακτηριστικών) χρησιμοποιούνται για την ταξινόμηση δεδομένων από μικροσυστοιχίες (microarrays) DNA.

Development and Validation of a Simplified m-Group Regression Model

1976 ◽  
Vol 1 (2) ◽  
pp. 157-180 ◽  
Author(s):  
Kazuo Shigemasu
Keyword(s):  
Regression Model ◽  
Least Squares ◽  
Grade Point Average ◽  
Linear Model ◽  
Regression Coefficients ◽  
Grade Point ◽  
Bayesian Linear Model ◽  
Development And Validation ◽  
Group Regression ◽  
Predictive Efficiency

This study is an application and specialization of the Bayesian linear model developed by Lindley and Smith (1972). The context is m-group regression and the application to the prediction of grade point average. The specialization involves the assumption of homogeneity of regression coefficients (but not intercepts) across groups. Empirical cross-validations are conducted to compare the predictive efficiency of this model with that of the full m-group regression and several least squares methods in the context of educational selection.

Sign in / Sign up

Export Citation Format

Share Document