Kernel-Free Quadratic Surface Minimax Probability Machine for a Binary Classification Problem

In this paper, we propose a novel binary classification method called the kernel-free quadratic surface minimax probability machine (QSMPM), that makes use of the kernel-free techniques of the quadratic surface support vector machine (QSSVM) and inherits the advantage of the minimax probability machine (MPM) without any parameters. Specifically, it attempts to find a quadratic hypersurface that separates two classes of samples with maximum probability. However, the optimization problem derived directly was too difficult to solve. Therefore, a nonlinear transformation was introduced to change the quadratic function involved into a linear function. Through such processing, our optimization problem finally became a second-order cone programming problem, which was solved efficiently by an alternate iteration method. It should be pointed out that our method is both kernel-free and parameter-free, making it easy to use. In addition, the quadratic hypersurface obtained by our method was allowed to be any general form of quadratic hypersurface. It has better interpretability than the methods with the kernel function. Finally, in order to demonstrate the geometric interpretation of our QSMPM, five artificial datasets were implemented, including showing the ability to obtain a linear separating hyperplane. Furthermore, numerical experiments on benchmark datasets confirmed that the proposed method had better accuracy and less CPU time than corresponding methods.

Мінімаксний підхід в машинному навчанні: сучасний стан та перспективи розвитку.

В статті представлено з.начення машинного навчання у сучасному світі. Звернуто особливу увагу на використання алгоритмів машинного навчання в медицині, зокрема використання різноманітних моделей, починаючи від регресії, SVM, випадкових лісів для контрольованого навчання та PCA для неконтрольованого. Підкреслюються основні невизначеності та завдання машинного навчання, що виникають у основних медичних додатках (діагностика, лікування та профілактика). Математично описано проблеми машинного навчання в медичних дослідженнях. Оптимізація є важливою частиною машинного навчання. Основна увага приділена мінімаксному підходу у машинному навчанні. Розглянуто ряд мінімаксних підходів таких, як: Minimax Probability Machine (MPM), Generalized Hidden-Mapping Minimax Probability Machine (GHM-MPM), Minimum Error Minimax Probability Machine (MEMPM), парна мінімаксна ймовірність екстремального нахилу машини (TMPELM), машина подвійної мінімаксної ймовірності (TWMPM) та деякі інші.