scholarly journals Advanced machine learning methods for network intrusion detection

2019 ◽  
Author(s):  
Δημήτριος Παπαμαρτζιβάνος

Οι σύγχρονες υποδομές τεχνολογίας πληροφοριών και επικοινωνίας έχουν μετατραπεί χωρίς αμφιβολία σε ένα χώρο ευκαιριών για κακόβουλες οντότητες, οι οποίες απειλούν την εμπιστευτικότητα, την ακεραιότητα και διαθεσιμότητα αυτών των συστημάτων. Το συνεχώς αυξανόμενο μέγεθος και η πολυπλοκότητα των κυβερνοεπιθέσεων δεν αφήνουν περιθώρια επανάπαυσης στους αμυνόμενους. Σε αυτό το πλαίσιο, η αναζήτηση ολοκληρωμένων και ευέλικτων αμυντικών μηχανισμών και μεθόδων καθίσταται υψίστης σημασίας. Σε αυτήν την κατεύθυνση, τα συστήματα ανίχνευσης και αντιμετώπισης εισβολών αποτελούν απαραίτητες οντότητες σε ένα δίκτυο για την προστασία των συστημάτων και την παροχή ενεργειών αποκατάστασης εναντίον των επιθέσεων. Ωστόσο, τέτοιου είδους μηχανισμοί είναι απαραίτητο να υποστηρίζονται από ευφυείς μεθόδους, για να είναι σε θέση να διατηρούν υψηλή επιχειρησιακή ετοιμότητα. Σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή εστιάζει σε προηγμένες μεθόδους μηχανικής μάθησης, οι οποίες μπορούν να προσδώσουν ωφέλιμα χαρακτηριστικά σε συστήματα ανίχνευσης και αντιμετώπισης εισβολών. Πιο συγκεκριμένα, η παρούσα διατριβή αποτελείται από τρεις άξονες: α) την παροχή βέλτιστων αντιμέτρων στο πλαίσιο μηχανισμών αντιμετώπισης εισβολών, β) την εξαγωγή αξιόπιστων κανόνων ανίχνευσης για συστήματα ανίχνευσης εισβολών κακής χρήσης (Misuse Detection IDS), και γ) την ενσωμάτωση χαρακτηριστικών αυτοπροσαρμογής σε αυτά τα συστήματα. Σχετικά με τον πρώτο άξονα, η παρούσα διατριβή παρέχει μία εκτενή ανάλυση μηχανισμών αντιμετώπισης εισβολών, οι οποίοι στοχεύουν στην παροχή βέλτιστων αντίμετρων εναντίον κυβερνοεπιθέσεων. Η ανάλυσή μας στοχεύει να εξετάσει λεπτομερώς και με κριτικό πνεύμα τις σχετικές δημοσιεύσεις του συγκεκριμένου τομέα, να εντοπίσει τις μεθόδους τεχνίτης νοημοσύνης που αυτές αξιοποιούν και να προσφέρει μία σε βάθος συζήτηση και αναλυτική σύγκριση βάσει κριτηρίων. Επιπλέον, επισημαίνονται οι ελλείψεις και οι μελλοντικές ερευνητικές προκλήσεις του συγκεκριμένου ερευνητικού πεδίου. Ορμώμενοι από το γεγονός ότι οι μηχανισμοί αντιμετώπισης επιθέσεων θα πρέπει να ενεργοποιούνται βάσει ακριβούς πρόβλεψης της φύσης των επιθέσεων, ο δεύτερος άξονας της παρούσας διατριβής εστιάζει στο σχεδιασμό και την ανάπτυξη μίας μεθοδολογίας εξαγωγής κανόνων, με την ονομασία Dendron, για συστήματα ανίχνευσης εισβολών κακής χρήσης. Συγκεκριμένα, η μεθοδολογία μας εκμεταλλεύεται Δέντρα Απόφασης( Decision Trees) και Γενετικούς Αλγορίθμους (Genetic Algorithms), με σκοπό την ανάπτυξη μεταφράσιμων και αξιόπιστων κανόνων ανίχνευσης. Το Dendron είναι ικανό να προσδιορίζει σωστά την κατηγορία στην οποία ανήκουν οι επιθέσεις, ενώ επιτυγχάνει καλύτερη απόδοση, σε σύγκριση με άλλες κλασικές τεχνικές, στις περισσότερες μετρικές κατηγοριοποίησης.Επιπρόσθετα, με σκοπό την αντιμετώπιση του σημαντικότερου μειονεκτήματος των συστημάτων ανίχνευσης κακής χρήσης, που είναι η αδυναμία προσαρμογής σε νέες δικτυακές συνθήκες, ο τρίτος άξονας της διατριβής αποσκοπεί στην ανάπτυξη μίας αυτοπροσαρμοζόμενης μεθοδολογίας, η οποία μπορεί να αναζωογονήσει μία μηχανή ανίχνευσης μέσω της αυτοματοποίησης του μηχανισμού επανεκπαίδευσής της. Λαμβάνοντας υπόψη την εκτεταμένη κλίμακα των σύγχρονων δικτύων και την πολυπλοκότητα των δικτυακών δεδομένων, το πρόβλημα της προσαρμογής υπερβαίνει κατά πολύ τις δυνατότητες διαχείρισης από έναν ειδικό ασφάλειας. Έτσι μέσω της αξιοποίησης μεθόδων Βαθιάς Μάθησης (Deep Learning), η μεθοδολογία μας μπορεί να αντιληφθεί τη φύση μίας επίθεσης βάσει γενικευμένων ανασχηματισμένων χαρακτηριστικών (generalized feature reconstructions) που προέρχονται απευθείας από το άγνωστο δικτυακό περιβάλλον και τα δικτυακά δεδομένα, από τα οποία απουσιάζει η κατηγορική ετικέτα κλάσης. Τα πειραματικά αποτελέσματα δείχνουν ότι η μεθοδολογία μας μπορεί να αναζωογονήσει ένα σύστημα ανίχνευσης εισβολών, και επιπλέον επιτυγχάνει καλύτερη απόδοση σε σχέση με κλασικές μη-ευέλικτες προσεγγίσεις.

Author(s):  
Giovanni Apruzzese ◽  
Mauro Andreolini ◽  
Luca Ferretti ◽  
Mirco Marchetti ◽  
Michele Colajanni

The incremental diffusion of machine learning algorithms in supporting cybersecurity is creating novel defensive opportunities but also new types of risks. Multiple researches have shown that machine learning methods are vulnerable to adversarial attacks that create tiny perturbations aimed at decreasing the effectiveness of detecting threats. We observe that existing literature assumes threat models that are inappropriate for realistic cybersecurity scenarios because they consider opponents with complete knowledge about the cyber detector or that can freely interact with the target systems. By focusing on Network Intrusion Detection Systems based on machine learning methods, we identify and model the real capabilities and circumstances that are necessary for an attacker to carry out a feasible and successful adversarial attack. We then apply our model to several adversarial attacks proposed in literature and highlight the limits and merits that can result in actual adversarial attacks. The contributions of this paper can help hardening defensive systems by letting cyber defenders address the most critical and real issues, and can benefit researchers by allowing them to devise novel forms of adversarial attacks based on realistic threat models.


2021 ◽  
Vol 2021 ◽  
pp. 1-13
Author(s):  
Yue Wang ◽  
Yiming Jiang ◽  
Julong Lan

When traditional machine learning methods are applied to network intrusion detection, they need to rely on expert knowledge to extract feature vectors in advance, which incurs lack of flexibility and versatility. Recently, deep learning methods have shown superior performance compared with traditional machine learning methods. Deep learning methods can learn the raw data directly, but they are faced with expensive computing cost. To solve this problem, a preprocessing method based on multipacket input unit and compression is proposed, which takes m data packets as the input unit to maximize the retention of information and greatly compresses the raw traffic to shorten the data learning and training time. In our proposed method, the CNN network structure is optimized and the weights of some convolution layers are assigned directly by using the Gabor filter. Experimental results on the benchmark data set show that compared with the existing models, the proposed method improves the detection accuracy by 2.49% and reduces the training time by 62.1%. In addition, the experiments show that the proposed compression method has obvious advantages in detection accuracy and computational efficiency compared with the existing compression methods.


At present situation network communication is at high risk for external and internal attacks due to large number of applications in various fields. The network traffic can be monitored to determine abnormality for software or hardware security mechanism in the network using Intrusion Detection System (IDS). As attackers always change their techniques of attack and find alternative attack methods, IDS must also evolve in response by adopting more sophisticated methods of detection .The huge growth in the data and the significant advances in computer hardware technologies resulted in the new studies existence in the deep learning field, including ID. Deep Learning (DL) is a subgroup of Machine Learning (ML) which is hinged on data description. The new model based on deep learning is presented in this research work to activate operation of IDS from modern networks. Model depicts combination of deep learning and machine learning, having capacity of wide range accurate analysis of traffic network. The new approach proposes non-symmetric deep auto encoder (NDAE) for learning the features in unsupervised manner. Furthermore, classification model is constructed using stacked NDAEs for classification. The performance is evaluated using a network intrusion detection analysis dataset, particularly the WSN Trace dataset. The contribution work is to implement advanced deep learning algorithm consists IDS use, which are efficient in taking instant measures in order to stop or minimize the malicious actions


Sensors ◽  
2021 ◽  
Vol 21 (4) ◽  
pp. 1113
Author(s):  
Ming Zhong ◽  
Yajin Zhou ◽  
Gang Chen

IoT plays an important role in daily life; commands and data transfer rapidly between the servers and objects to provide services. However, cyber threats have become a critical factor, especially for IoT servers. There should be a vigorous way to protect the network infrastructures from various attacks. IDS (Intrusion Detection System) is the invisible guardian for IoT servers. Many machine learning methods have been applied in IDS. However, there is a need to improve the IDS system for both accuracy and performance. Deep learning is a promising technique that has been used in many areas, including pattern recognition, natural language processing, etc. The deep learning reveals more potential than traditional machine learning methods. In this paper, sequential model is the key point, and new methods are proposed by the features of the model. The model can collect features from the network layer via tcpdump packets and application layer via system routines. Text-CNN and GRU methods are chosen because the can treat sequential data as a language model. The advantage compared with the traditional methods is that they can extract more features from the data and the experiments show that the deep learning methods have higher F1-score. We conclude that the sequential model-based intrusion detection system using deep learning method can contribute to the security of the IoT servers.


Sign in / Sign up

Export Citation Format

Share Document