scholarly journals Αποδοτικές τεχνικές μεταφοράς και διαχείρισης δεδομένων σε κατανεμημένα συστήματα μεγάλης κλίμακας

2011 ◽  
Author(s):  
Αντώνιος Ζήσιμος
Keyword(s):  
Data Transfer ◽  
Hash Table ◽  
Distributed Hash Table ◽  
Location Service ◽  
Replica Location

Τα τελευταία χρόνια, το Πλέγμα είναι από τα πλέον διαδεδομένα συστήματα τόσο στον ερευνητικό όσο και στο επιχειρηματικό τομέα. Το Πλέγμα είναι ένα κατανεμημένο σύστημα μεγάλης κλίμακας, στο οποίο μπορούν να συνυπάρξουν ένας τεράστιος αριθμός ανεξάρτητων και διαφορετικών υπολογιστικών και αποθηκευτικών πόρων, οι οποίοι ενοποιούνται σε μία υπηρεσιοστρεφή αρχιτεκτονική λογισμικού. Δεδομένου της γεωγραφικά κατανεμημένης φύσης και έκτασης του Πλέγματος, οι υπηρεσίες του θα πρέπει να είναι ικανές να αντεπεξέλθουν σε κλιμάκωση φορτίου αρκετά μεγάλη, ώστε το Πλέγμα να γίνει διαθέσιμο σε παγκόσμια κλίμακα και να απευθυνθεί σε κάθε χρήστη. Ένα από τα πιο κρίσιμα υποσυστήματα στο Πλέγμα, είναι το επίπεδο διαχείρισης δεδομένων. Για την αντιμετώπιση του προβλήματος του τεράστιου μεγέθους των δεδομένων,η κοινότητα ανάπτυξης του Πλέγματος, σχεδίασε την αρχιτεκτονική του Πλέγματος Δεδομένων με τρεις βασικές υπηρεσίες: (α) την Υπηρεσία Μεταφοράς Αρχείων (Data Transfer Service), επιφορτισμένη για την ανταλλαγή δεδομένων μεταξύ των κόμβων του Πλέγματος, (β) την Υπηρεσία Διαχείρισης Αντιγράφων (Replica Location Service), υπεύθυνη για την φύλαξη των φυσικών τοποθεσιών που είναι αποθηκευμένο κάθε αρχείο στο Πλέγμα, και (γ) της Υπηρεσίας Βελτιστοποίησης(Optimization Service), η οποία επιλέγει τις καλύτερες τοποθεσίες για κάθε ανταλλαγή δεδομένων και διαχειρίζεται τα αντίγραφα αρχείων βάσει το ιστορικό χρησιμοποίησης τους. Όμως, οι παραπάνω υπηρεσίες ακολουθούν κεντρικοποιημένη σχεδίαση, η οποία επιφέρει μειωμένες επιδόσεις και κεντρικά σημεία βλάβης. Οι κεντρικοποιημένες υπηρεσίες δεν μπορούν να κλιμακώσουν σε μεγάλο αριθμό ταυτόχρονων χρηστών, ούτε να διατηρήσουν ένα υψηλό αριθμό ανανέωσης σε ένα δυναμικό περιβάλλον όπως αυτό του Πλέγματος. Στην εργασία μας, παρουσιάζουμε μια καινοτόμο αρχιτεκτονική διαχείρισης δεδομένων, η οποία ενοποιεί την υπηρεσία αναζήτησης αντιγράφων και τους μηχανισμούς ανταλλαγής δεδομένων σε ένα πλήρως κατανεμημένο και προσαρμοστικό σύστημα. Η νέα αυτή αρχιτεκτονική αποτελείται από δύο μέρη τα οποία συνεργάζονται για την αποδοτική διαχείριση δεδομένων: (α) την Κατανεμημένη Υπηρεσία Διαχείρισης Αντιγράφων (DistributedReplica Location Service - DRLS) υπεύθυνη για την φύλαξη των φυσικών τοποθεσιών αποθήκευσης κάθε αρχείου και (β) το GridTorrent επιφορτισμένο με την διαχείριση των ανταλλαγών δεδομένων με αυτόματους μηχανισμούς βελτιστοποίησης. Το DRLS οργανώνει τους κόμβους του συστήματος με ένα Κατανεμημένο Πίνακα Κατακερματισμού (Distributed Hash Table - DHT)και διανέμει την πληροφορία σε όλους τους κόμβους. Το μοναδικό χαρακτηριστικό του DRLS είναι ότι εκτός από την αποκεντρικοποίηση της υπηρεσίας και την κλιμακωσιμότητα που της προσφέρει, υποστηρίζει εγγενώς την ανανέωση της πληροφορίας σε κάθε κόμβο που συμμετέχει στοDHT. Δεδομένου, ότι σε πολλές δυναμικές εφαρμογές τα δεδομένα αλλάζουν συνεχώς, το πρωτόκολλο στο οποίο βασίζεται το DRLS παρουσιάζει ανοχή σε Βυζαντινές συνθήκες σφαλμάτων και εγγυάται συνέπεια. Το GridTorrent είναι ένα πρωτόκολλο εμπνευσμένο από το BitTorrent, που εστιάζει στην βελτιστοποίηση της μεταφοράς δεδομένων σε πραγματικό χρόνο, χωρίς να παραβιάζονται οι αρχές ασφάλειας του Πλέγματος. Η συνεργατική φύση του πρωτοκόλλου, επιτρέπει τη διατήρηση χαμηλής απόκρισης και υψηλής χρησιμοποίησης του δικτύου, ακόμα και σε συνθήκες υψηλού φορτίου. Επιτρέπει μεταφορές δεδομένων από πολλαπλούς αποστολείς σε πολλαπλούς παραλήπτες και μεγιστοποιεί την απόδοση με την ανταλλαγή κομματιών του αρχείου μεταξύ όλων των συμμετεχόντων. Πολύ σημαντικό χαρακτηριστικό της προτεινόμενης αρχιτεκτονικής είναι ότι έχει σχεδιαστεί, ώστε να εκμεταλλευτεί υφιστάμενα και ευρέως χρησιμοποιούμενα πρότυπα στο χώρο του Πλέγματος, ώστε να διατηρεί την συμβατότητα με την υφιστάμενη αρχιτεκτονική και τις αντίστοιχες υλοποιήσεις. Τέλος, για την επαλήθευση των αποτελεσμάτων της εργασίας μας,έχει υλοποιηθεί ένα πρωτότυπο της αρχιτεκτονικής και έχουν γίνει αναλυτικά πειράματα του συστήματος τόσο σε περιβάλλοντα τοπικού δικτύου, όσο και σε περιβάλλοντα μεγάλης κλίμακας και υψηλής δυναμικότητας.

scholarly journals An Elliptic Curve Based Schnorr Cloud Security Model in Distributed Environment

2016 ◽  
Vol 2016 ◽  
pp. 1-8 ◽  
Author(s):  
Vinothkumar Muthurajan ◽  
Balaji Narayanasamy
Keyword(s):  
Elliptic Curve ◽  
Data Transfer ◽  
Cloud Model ◽  
Hash Table ◽  
Data Access ◽  
Cloud Security ◽  
Distributed Hash Table ◽  
Security Model ◽  
Cloud Server ◽  
Secure Data

Cloud computing requires the security upgrade in data transmission approaches. In general, key-based encryption/decryption (symmetric and asymmetric) mechanisms ensure the secure data transfer between the devices. The symmetric key mechanisms (pseudorandom function) provide minimum protection level compared to asymmetric key (RSA, AES, and ECC) schemes. The presence of expired content and the irrelevant resources cause unauthorized data access adversely. This paper investigates how the integrity and secure data transfer are improved based on the Elliptic Curve based Schnorr scheme. This paper proposes a virtual machine based cloud model with Hybrid Cloud Security Algorithm (HCSA) to remove the expired content. The HCSA-based auditing improves the malicious activity prediction during the data transfer. The duplication in the cloud server degrades the performance of EC-Schnorr based encryption schemes. This paper utilizes the blooming filter concept to avoid the cloud server duplication. The combination of EC-Schnorr and blooming filter efficiently improves the security performance. The comparative analysis between proposed HCSA and the existing Distributed Hash Table (DHT) regarding execution time, computational overhead, and auditing time with auditing requests and servers confirms the effectiveness of HCSA in the cloud security model creation.

scholarly journals Agent-Based Coordinated Control of Power Electronic Converters in a Microgrid

Electronics ◽  
2021 ◽  
Vol 10 (9) ◽  
pp. 1031
Author(s):  
Maryam Nasri ◽  
Herbert L. Ginn ◽  
Mehrdad Moallem
Keyword(s):  
Hash Table ◽  
Power Sharing ◽  
Distributed Hash Table ◽  
Power Electronic ◽  
Power Electronic Converters ◽  
Agent Based ◽  
Development Framework ◽  
Study Results ◽  
Set Up ◽  
Microgrid Control

This paper presents the implementation of an agent-based architecture suitable for the coordination of power electronic converters in stand-alone microgrids. To this end, a publish-subscribe agent architecture was utilized as a distributed microgrid control platform. Over a distributed hash table (DHT) searching overlay, the publish-subscribe architecture was identified based on a numerical analysis as a scalable agent-based technology for the distributed real-time coordination of power converters in microgrids. The developed framework was set up to deploy power-sharing distributed optimization algorithms while keeping a deterministic time period of a few tens of milliseconds for a system with tens of converters and when multiple events might happen concurrently. Several agents participate in supervisory control to regulate optimum power-sharing for the converters. To test the design, a notional shipboard system, including several converters, was used as a case study. Results of implementing the agent-based publish-subscribe control system using the Java Agent Development Framework (JADE) are presented.

Improved Blockchain Commodity Traceability System Using Distributed Hash Table

2020 ◽  
Author(s):  
Wu Junhui ◽  
Wu Tuolei ◽  
Wu Yusheng ◽  
Chen Jie ◽  
Lin Kaiyan ◽  
...  
Keyword(s):  
Hash Table ◽  
Distributed Hash Table ◽  
Traceability System

scholarly journals The Management Strategy of Metadata in Large-scale Network Storage System

2018 ◽  
Vol 228 ◽  
pp. 01011
Author(s):  
Haifeng Zhong ◽  
Jianying Xiong
Keyword(s):  
Large Scale ◽  
Storage System ◽  
Hash Table ◽  
Distributed Hash Table ◽  
Distributed Data ◽  
Mass Storage ◽  
Large Scale Network ◽  
Network Storage System ◽  
Mass Storage System ◽  
Scale Network

The wan Internet storage system based on Distributed Hash Table uses fully distributed data and metadata management, and constructs an extensible and efficient mass storage system for the application based on Internet. However, such systems work in highly dynamic environments, and the frequent entry and exit of nodes will lead to huge communication costs. Therefore, this paper proposes a new hierarchical metadata routing management mechanism based on DHT, which makes full use of the node stabilization point to reduce the maintenance overhead of the overlay. Analysis shows that the algorithm can effectively improve efficiency and enhance stability.

Fully Distributed Indexing over a Distributed Hash Table

2017 ◽  
pp. 308-318
Author(s):  
Simon Désaulniers ◽  
Adrien Béraud ◽  
Alexandre Blondin Massé ◽  
Nicolas Reynaud
Keyword(s):  
Hash Table ◽  
Distributed Hash Table ◽  
Distributed Indexing

scholarly journals Service provision with autonomic characteristics in mesh environment

2011 ◽  
Author(s):  
Παναγιώτης Γκουβάς
Keyword(s):  
Service Provision ◽  
Hash Table ◽  
Distributed Hash Table

Η παρούσα διδακτορική διατριβή εστιάζει στο πεδίο των υπηρεσιών σε κινητούς ομότιμους κόμβους. Πιο συγκεκριμένα, στα πλαίσια της διατριβής προτείνεται μια αρχιτεκτονική και αναλύεται μια υλοποίηση ενός Κατανεμημένου Πίνακα Κατακερματισμού (Distributed Hash Table-DHT) η οποία είναι ικανή να λειτουργήσει χωρίς καμία κεντρικοποίηση. Τα ιδιαίτερα χαρακτηριστικά των DHT όπως η αποκέντρωση, η επεκτασιμότητα και η ανεκτικότητα, τους δίνει μια δεσπόζουσα θέση στην αρχιτεκτονική των δικτύων ομότιμων κόμβων σε σταθερά δίκτυα. Ωστόσο, σοβαρά προβλήματα προκύπτουν όταν υπάρχουσες υλοποιήσεις 'μεταφέρονται' σε κινητά δίκτυα. Η συνεισφορά της παρούσας διδακτορικής διατριβής μπορεί να συνοψισθεί σε τέσσερις κύριους άξονες: Ο πρώτος άξονας αφορά την αναγνώριση των προβλημάτων που δημιουργούνται όταν οι υπάρχουσες υλοποιήσεις DHT μεταφερθούν σε ένα δίκτυο κινητών κόμβων. Η πλειοφηφία των προβλημάτων απορρέουν από το γεγονός ότι οι υπάρχουσες υλοποιήσεις βασίζονται στην αξιοπιστία και την αποδοτικότητα του υποκείμενου σταθερού δικτύου. Αυτά τα χαρακτηριστικά δεν υπάρχουν σε ασύρματα μη κεντρικοποιημένα δίκτυα. Ο δεύτερος άξονας επικεντρώνεται σε μια αρχιτεκτονική πρόταση για την υπέρβαση των παραπάνω προβλημάτων. Η αρχιτεκτονική πρόταση βασίζεται στις αρχές των αυτόνομων συστημάτων και εισάγει μια πολυεπίπεδη προσέγγιση που μπορεί να υλοποιηθεί με διάφορους τρόπους. Η προσέγγιση αυτή αρχικά αξιολογείται σε έναν προσομοιωτή και κατόπιν ειδικές τροποποιήσεις εισάγονται προκειμένου να επιτευχθούν μεγαλύτερη κλιμάκωση και αποτελεσματικότητα. Ο τρίτος άξονας αναφέρεται σε μια υλοποίηση της προτεινόμενης αρχιτεκτονικής. Αυτή η υλοποίηση ονομάζεται UbiChord. Δεδομένου ότι συγκεκριμένες τεχνικές επιλογές ακολουθήθηκαν προκειμένου να υλοποιηθεί η πολυεπίπεδη προσέγγιση, αυτές οι επιλογές αναλύονται. Τέλος, ο τέταρτος άξονας επικεντρώνεται στη δημιουργία και τη συγκριτική αξιολόγηση κάποιων ενδεικτικών εφαρμογών που βασίζονται στην εφαρμογή του UbiChord. Ένα εκτεταμένο σύνολο προσομοιώσεων και εξομοιώσεων έχουν διεξαχθεί στα πλαίσια της παρούσας διατριβής. Οι προσομοιώσεις αναφέρονται στο μοντέλο προσομοίωση που έχει αναπτυχθεί, ενώ η εξομοίωση αναφέρεται στην πραγματική εφαρμογή. To UbiChord μπορεί να χρησιμοποιηθεί για τη δημιουργία υπηρεσιών σε ασύρματα δίκτυα όπως εφαρμογές κοινωνικής δικτύωσης, διανομής αρχείων κ.λ.π.

Sign in / Sign up

Export Citation Format

Share Document