scholarly journals Neural classifiers with limited connectivity and recurrent readouts

2017 ◽  
Author(s):  
Lyudmila Kushnir ◽  
Stefano Fusi
Keyword(s):  
Neural Network ◽  
Long Range ◽  
Network Models ◽  
Classification Performance ◽  
Network Architectures ◽  
Huge Number ◽  
Neural Network Models ◽  
Random Patterns ◽  
Scalable Network ◽  
The Brain

AbstractFor many neural network models in which neurons are trained to classify inputs like perceptrons, the number of inputs that can be classified is limited by the connectivity of each neuron, even when the total number of neurons is very large. This poses the problem of how the biological brain can take advantage of its huge number of neurons given that the connectivity is sparse. One solution is to combine multiple perceptrons together, as in committee machines. The number of classifiable random patterns would then grow linearly with the number of perceptrons, even when each perceptron has limited connectivity. However, the problem is moved to the downstream readout neurons, which would need a number of connections that is as large as the number of perceptrons. Here we propose a different approach in which the readout is implemented by connecting multiple perceptrons in a recurrent attractor neural network. We prove analytically that the number of classifiable random patterns can grow unboundedly with the number of perceptrons, even when the connectivity of each perceptron remains finite. Most importantly, both the recurrent connectivity and the connectivity of downstream readouts also remain finite. Our study shows that feed-forward neural classifiers with numerous long range afferent connections can be replaced by recurrent networks with sparse long range connectivity without sacrificing the classification performance. Our strategy could be used to design more general scalable network architectures with limited connectivity, which resemble more closely the brain neural circuits which are dominated by recurrent connectivity.

scholarly journals Neural network models of the tactile system develop first-order units with spatially complex receptive fields

2017 ◽  
Author(s):  
Charlie W. Zhao ◽  
Mark J. Daley ◽  
J. Andrew Pruszynski
Keyword(s):  
Neural Network ◽  
Network Performance ◽  
Receptive Fields ◽  
Network Models ◽  
Network Architectures ◽  
Learning Tools ◽  
Neural Network Models ◽  
First Order ◽  
Wide Range ◽  
Tactile System

AbstractFirst-order tactile neurons have spatially complex receptive fields. Here we use machine learning tools to show that such complexity arises for a wide range of training sets and network architectures, and benefits network performance, especially on more difficult tasks and in the presence of noise. Our work suggests that spatially complex receptive fields are normatively good given the biological constraints of the tactile periphery.

scholarly journals Modeling the online social transmission through the theory of complex adaptive systems and neural network models based on the brain dynamics

2015 ◽  
Author(s):  
Ηλίας Λυμπερόπουλος
Keyword(s):  
Neural Network ◽  
Complex Adaptive Systems ◽  
Adaptive Systems ◽  
Network Models ◽  
Social Transmission ◽  
Brain Dynamics ◽  
Neural Network Models ◽  
Complex Adaptive ◽  
The Brain

Η μοντελοποίηση δυναμικών κοινωνικών διαδικασιών που λαμβάνουν χώρα στο διαδίκτυο αποτελεί ένα απαιτητικό εγχείρημα για τους παρακάτω λόγους: Πρώτον, τα πρόσωπα που αλληλεπιδρούν είναι ετερογενή και το καθένα ξεχωριστά αποτελεί ένα πολύπλοκο σύστημα. Δεύτερον, οι αλληλεπιδράσεις μεταξύ χρηστών επηρεάζονται από θόρυβο και τυχαιότητα, ενώ παράλληλα το δίκτυο των διαπροσωπικών επικοινωνιών είναι εξαιρετικά πολύπλοκο. Τρίτον, τα κοινωνικά συστήματα δεν βρίσκονται σε κατάσταση ισορροπίας καθώς η δυναμική τους επηρεάζεται από εξωτερικές διαταραχές των οποίων η κατανομή, συσχέτιση με ένα κοινωνικό σύστημα, καθώς και η μη στασιμότητά τους, είναι δύσκολο να καθοριστούν και να συμπεριληφθούν σ’ ένα δυναμικό κοινωνικό μοντέλο. Η επιτυχής μοντελοποίηση της online κοινωνικής μετάδοσης απαιτεί μια προσέγγιση ικανή να ανταπεξέλθει στις παραπάνω προκλήσεις. Γι’ αυτό το σκοπό αναπτύσσω και εφαρμόζω ένα πλαίσιο υλοποίησης βασισμένο στην θεωρία των πολύπλοκων προσαρμοστικών συστημάτων}. Μέσω μια τέτοιας μεθοδολογίας μπορεί να μελετηθεί η δυναμική φύση των αλληλεπιδράσεων μεταξύ χρηστών καθώς και οι μακροσκοπικές ιδιότητες της δραστηριότητας τους υπό την παρουσία εξωτερικών επιρροών. Ένα εξαιρετικά σύνθετο πολύπλοκο προσαρμοστικό σύστημα είναι αυτό του ανθρώπινου εγκεφάλου. Τα κοινωνικά δίκτυα είναι ακόμα πιο πολύπλοκα καθώς ουσιαστικά αποτελούνται από διασυνδεδεμένους εγκεφάλους. Ως αποτέλεσμα η μοντελοποίηση δυναμικών διαδικασιών που λαμβάνουν χώρα στα online κοινωνικά δίκτυα αποτελεί ένα υπερβολικά περίπλοκο έργο. Για την αντιμετώπιση των προκλήσεων μιας τέτοιας προσπάθειας εξετάζω τις online κοινωνικές διεργασίες μέσα από την προοπτική της νευροεπιστήμης θεωρώντας τη δυναμική των online κοινωνικών δικτύων ανάλογη με την δυναμική δικτύων αποτελούμενων από νευρώνες ολοκλήρωσης και πυροδότησης. Μέσω αυτού του ισομορφισμού εισάγω ένα νέο μοντέλο για την online κοινωνική μετάδοση το οποίο βασίζεται σε τρεις πηγές θετικής ή αρνητικής επιρροής: Την αυτοπαραγόμενη, τη διαπροσωπική και την εξωτερική. Το προτεινόμενο μοντέλο εξηγεί την ανάπτυξη της online δραστηριότητας καθώς και τις μορφές μετάδοσής της σε συνάρτηση με το δίκτυο των αλληλεπιδράσεων, την ενδογενή και εξωγενή επιρροή καθώς και τον μηχανισμό ενεργοποίησης των χρηστών. Μέσω πειραμάτων εξομοίωσης και ελέγχων εγκυρότητας των παραγόμενων αποτελεσμάτων μετά από σύγκριση με πραγματικά δεδομένα από το κοινωνικό δίκτυο Twitter, δείχνω ότι το μοντέλο αναπαράγει με ακρίβεια πρότυπα συλλογικής δραστηριότητας προερχόμενα από την απόκριση των χρηστών σε διαφόρων μορφών ερεθίσματα. Η συγκριτική αξιολόγηση των επιδόσεων του προτεινόμενου μοντέλου σε συνάρτηση με αυτή μοντέλων αναφοράς δείχνει ότι αυτό υπερτερεί σημαντικά στην ακρίβεια αναπαραγωγής πραγματικών προτύπων online δραστηριότητας. Μια ακόμα διαδικασία online κοινωνικής μετάδοσης την οποία μοντελοποιώ με καινοτόμο τρόπο σε αυτή τη Διδακτορική Διατριβή αφορά στη μετάδοση online πληροφορίας. Τη δυναμική αυτής της διαδικασίας την αναπαράγω μέσω ενός δικτυακού δυναμικού συστήματος αποτελούμενο από νευρώνες ολοκλήρωσης και πυροδότησης με θορυβώδη εισροή πληροφορίας. Μέσω του συνδυασμού ντετερμινιστικών και στοχαστικών συνιστωσών το προτεινόμενο μοντέλο αναπαράγει με ακρίβεια τα πρότυπα μετάδοσης online πληροφορίας, υποδηλώνοντας ότι αυτά εξαρτώνται από την χρονική δομή, ισχύ, καθώς και το λόγο σήματος-θορύβου των ερεθισμάτων που επηρεάζουν τους διασυνδεδεμένους χρήστες. Ο προτεινόμενος μηχανισμός ενσωματώνει τις έννοιες της ``απλής'' και ``πολύπλοκης'' μετάδοσης και επεκτείνει τις υπάρχουσες προσεγγίσεις καθώς συμπεριλαμβάνει σε ένα ενιαίο μοντέλο ενδογενείς και εξωγενείς, θετικές και αρνητικές, ντετερμινιστικές και στοχαστικές πηγές επιρροής. Τα προτεινόμενα μοντέλα νευρωνικών δικτύων είναι εύκολα προσαρμόσιμα και κατάλληλα για τη μελέτη ενός μεγάλου αριθμού από online και offline κοινωνικές δυναμικές διαδικασίες που αφορούν στη διάδοση συμπεριφορών, τάσεων και φημών, καθώς και στη διάχυση και προώθηση νέων προϊόντων. Τελικά, τη γνώση που προέκυψε από την μοντελοποίηση των προτύπων της online κοινωνικής δραστηριότητας την αξιοποιώ περαιτέρω με την ανάπτυξη ενός προβλεπτικού μοντέλου ικανού να παράγει ακριβείς προβλέψεις σχετικά με τη διάδοση online περιεχομένου.

scholarly journals Training the brain using neural-network models

Nature ◽  
1988 ◽  
Vol 333 (6172) ◽  
pp. 401-401 ◽  
Author(s):  
JOHN R. SKOYLES
Keyword(s):  
Neural Network ◽  
Network Models ◽  
Neural Network Models ◽  
The Brain

Neural Network Models of Perceptual Learning of Angle Discrimination

1996 ◽  
Vol 8 (2) ◽  
pp. 270-299 ◽  
Author(s):  
G. Mato ◽  
H. Sompolinsky
Keyword(s):  
Neural Network ◽  
Perceptual Learning ◽  
Network Models ◽  
Angular Width ◽  
Network Architectures ◽  
Neural Network Models ◽  
Tuning Curves ◽  
Partial Transfer ◽  
Gating Network ◽  
Angle Discrimination

We study neural network models of discriminating between stimuli with two similar angles, using the two-alternative forced choice (2AFC) paradigm. Two network architectures are investigated: a two-layer perceptron network and a gating network. In the two-layer network all hidden units contribute to the decision at all angles, while in the other architecture the gating units select, for each stimulus, the appropriate hidden units that will dominate the decision. We find that both architectures can perform the task reasonably well for all angles. Perceptual learning has been modeled by training the networks to perform the task, using unsupervised Hebb learning algorithms with pairs of stimuli at fixed angles θ and δθ. Perceptual transfer is studied by measuring the performance of the network on stimuli with θ′ ≠ θ. The two-layer perceptron shows a partial transfer for angles that are within a distance a from θ, where a is the angular width of the input tuning curves. The change in performance due to learning is positive for angles close to θ, but for |θ − θ′| ≈ a it is negative, i.e., its performance after training is worse than before. In contrast, negative transfer can be avoided in the gating network by limiting the effects of learning to hidden units that are optimized for angles that are close to the trained angle.

The Role of Computer Simulation in Neurolinguistics

1993 ◽  
Vol 16 (2) ◽  
pp. 153-169 ◽  
Author(s):  
Hans-Jürgen Eikmeyer ◽  
Ulrich Schade
Keyword(s):  
Neural Network ◽  
Computer Simulation ◽  
Cognitive Science ◽  
Language Production ◽  
Network Models ◽  
Neural Network Models ◽  
Cognitive Capacities ◽  
The Brain ◽  
Structure And Functions

As a result of present-day technological standards, the technique of computer simulation is constantly gaining influence in cognitive science. Neurolinguistics is a special branch of this field in which cognitive capacities connected with language are related to the structure and functions of the brain. It is argued that computer simulation is a useful technique for evaluating neurolinguistic models. This is demonstrated with respect to neural network models of the process of language production.

scholarly journals Error Detection for Arabic Text Using Neural Sequence Labeling

2020 ◽  
Vol 10 (15) ◽  
pp. 5279
Author(s):  
Nora Madi ◽  
Hend Al-Khalifa
Keyword(s):  
Neural Network ◽  
Error Detection ◽  
English Language ◽  
Network Models ◽  
Network Architectures ◽  
Arabic Text ◽  
Neural Network Models ◽  
Sequence Labeling ◽  
Microsoft Word ◽  
Neural Network Architectures

The English language has, thus far, received the most attention in research concerning automatic grammar error correction and detection. However, these tasks have been less investigated for other languages. In this paper, we present the first experiments using neural network models for the task of error detection for Modern Standard Arabic (MSA) text. We investigate several neural network architectures and report the evaluation results acquired by applying cross-validation on the data. All experiments involve a corpus we created and augmented. The corpus has 494 sentences and 620 sentences after augmentation. Our models achieved a maximum precision of 78.09%, recall of 83.95%, and F0.5 score of 79.62% in the error detection task using SimpleRNN. Using an LSTM, we achieved a maximum precision of 79.21%, recall of 93.8%, and F0.5 score of 79.16%. Finally, the best results were achieved using a BiLSTM with a maximum precision of 80.74%, recall of 85.73%, and F0.5 score of 81.55%. We compared the results of the three models to a baseline, which is a commercially available Arabic grammar checker (Microsoft Word 2007). LSTM, BiLSTM, and SimpleRNN all outperformed the baseline in precision and F0.5. Our work shows preliminary results, demonstrating that neural network architectures for error detection through sequence labeling can successfully be applied to Arabic text.

Ergodicity of Spike Trains: When Does Trial Averaging Make Sense?

2003 ◽  
Vol 15 (6) ◽  
pp. 1341-1372 ◽  
Author(s):  
Naoki Masuda ◽  
Kazuyuki Aihara
Keyword(s):  
Neural Network ◽  
Network Models ◽  
Spike Trains ◽  
Neural Network Models ◽  
Large Variability ◽  
Synaptic Inputs ◽  
Synchronous Firing ◽  
High Membrane Potential ◽  
External Stimuli ◽  
The Brain

Neuronal information processing is often studied on the basis of spiking patterns. The relevant statistics such as firing rates calculated with the peri-stimulus time histogram are obtained by averaging spiking patterns over many experimental runs. However, animals should respond to one experimental stimulation in real situations, and what is available to the brain is not the trial statistics but the population statistics. Consequently, physiological ergodicity, namely, the consistency between trial averaging and population averaging, is implicitly assumed in the data analyses, although it does not trivially hold true. In this letter, we investigate how characteristics of noisy neural network models, such as single neuron properties, external stimuli, and synaptic inputs, affect the statistics of firing patterns. In particular, we show that how high membrane potential sensitivity to input fluctuations, inability of neurons to remember past inputs, external stimuli with large variability and temporally separated peaks, and relatively few contributions of synaptic inputs result in spike trains that are reproducible over many trials. The reproducibility of spike trains and synchronous firing are contrasted and related to the ergodicity issue. Several numerical calculations with neural network examples are carried out to support the theoretical results.

scholarly journals A Deep Predictive Coding Network for Learning Latent Representations

2018 ◽  
Author(s):  
Shirin Dora ◽  
Cyriel Pennartz ◽  
Sander Bohte
Keyword(s):  
Neural Network ◽  
Deep Neural Network ◽  
Predictive Coding ◽  
External Environment ◽  
Network Models ◽  
The Novel ◽  
Neural Network Models ◽  
Architectural Constraints ◽  
Latent Representations ◽  
The Brain

AbstractIt has been argued that the brain is a prediction machine that continuously learns how to make better predictions about the stimuli received from the external environment. It builds a model of the world around us and uses this model to infer the external stimulus. Predictive coding has been proposed as a mechanism through which the brain might be able to build such a model of the external environment. However, it is not clear how predictive coding can be used to build deep neural network models of the brain while complying with the architectural constraints imposed by the brain. In this paper, we describe an algorithm to build a deep generative model using predictive coding that can be used to infer latent representations about the stimuli received from external environment. Specifically, we used predictive coding to train a deep neural network on real-world images in a unsupervised learning paradigm. To understand the capacity of the network with regards to modeling the external environment, we studied the latent representations generated by the model on images of objects that are never presented to the model during training. Despite the novel features of these objects the model is able to infer the latent representations for them. Furthermore, the reconstructions of the original images obtained from these latent representations preserve the important details of these objects.

Sign in / Sign up

Export Citation Format

Share Document