From motor to visually guided bimanual affordance learning

The mechanisms of how the brain orchestrates multi-limb joint action have yet to be elucidated and few computational sensorimotor (SM) learning approaches have dealt with the problem of acquiring bimanual affordances. We propose a series of bidirectional (forward/inverse) SM maps and its associated learning processes that generalize from uni- to bimanual interaction (and affordances) naturally, reinforcing the motor equivalence property. The SM maps range from a SM nature to a solely sensory one: full body control, delta SM control (through small action changes), delta sensory co-variation (how body-related perceptual cues covariate with object-related ones). We make several contributions on how these SM maps are learned: (1) Context and Behavior-Based Babbling: generalizing goal babbling to the interleaving of absolute and local goals including guidance of reflexive behaviors; (2) Event-Based Learning: learning steps are driven by visual, haptic events; and (3) Affordance Gradients: the vectorial field gradients in which an object can be manipulated. Our modeling of bimanual affordances is in line with current robotic research in forward visuomotor mappings and visual servoing, enforces the motor equivalence property, and is also consistent with neurophysiological findings like the multiplicative encoding scheme.

Response properties of saccade-related neurons of the post-arcuate premotor cortex

We studied the phasic saccade-related discharges of single neurons (S neurons) of the premotor cortex of female rhesus monkeys, mostly in the caudal bank of the arcuate sulcus. As described in previous work from our laboratory (Neromyliotis E, Moschovakis AK. Front Behav Neurosci 11: 1–21, 2017), some of these cells emitted phasic discharges for coordinated movements of the eyes and hand as well as for movements of either effector executed in isolation (motor equivalence, Meq). Other cells (S) did not emit phasic discharges for hand movements unaccompanied by saccades. In contrast to frontal eye field (FEF) neurons, but similar to forelimb-related neurons (H neurons) and Meq cells, the discharges of S cells did not display contralateral bias; their on-directions were as likely to be ipsiversive as contraversive. Because the onset of their discharge preceded that of FEF neurons, S cells are unlikely to convey to their targets corollary discharges of the FEF. We also encountered a small number of neurons that could function as logic gates: cells that discharged for saccades if they were not accompanied by hand movements, cells that discharged for saccades or movements of the hand but not for coordinated movements of both effectors, and cells that discharged only for coordinated movements of the eyes and the hand but not when one of the effectors moved unaccompanied by the other. Our findings are discussed in terms of sequences of decision processes stitching effector-specific motor plans onto effector-invariant movement primitives. NEW & NOTEWORTHY The premotor cortex, traditionally associated with skeletomotor control, is shown to contain cells that emit strong discharges time-linked to saccades but not for hand movements unaccompanied by saccades (S cells). Unlike frontal eye field (FEF) neurons, the S cells of the premotor cortex did not display contralateral bias, and because their presaccadic discharges preceded those of FEF neurons, they are unlikely to serve as conveyors of FEF efferent discharges.

Νευροφυσιολογική διερεύνηση της συμμετοχής του προκινητικού φλοιού στις κινήσεις οφθαλμού και άνω άκρου

Για να μελετήσουμε τη νευρική δραστηριότητα που θα μπορούσε να συμμετάσχει στον συντονισμό σακκαδικών και κινήσεων άνω μέλους, διεξάγαμε εξωκυττάριες καταγραφές από τρία ημισφαίρια δύο πρωτεύοντων έιδους Macaca mulata ενώ εκτελούσαν κινήσεις προς περιφερικούς στόχους με τους οφθαλμούς ή το άνω μέλος. Καταγράψαμε νευρώνες στην περιοχή εγγύς της τοξοειδούς αύλακας και αναλύσαμε την φασική και σχετιζόμενη με την εκτέλεση κινήσεων δραστηριότητα τους. Χωρίσαμε τους νευρώνες σε επτα διακριτές κατηγορίες με βάση την παρουσία ή απουσία σχετικής με κίνηση δραστηριότητας πριν την εκτέλεση κινήσεων άνω μέλους, σακκαδικών ή συνδιασμένων κινήσεων και με τους δύο φορείς. Βρήκαμε 55 κύτταρα με εκφόρτιση πριν και κατά την διάρκεια σακκαδικών και κινήσεων άνω μέλους. Τα κύτταρα αυτά θα μπορούσαν να κωδικοποιούν μια αφηρημένη μορφή του ανύσματος μετατόπισης, η οποία είναι ανεξάρτητη από τον φορέα που εκτελεί την κίνηση και, ως εκ τούτου, αναφερόμαστε σε αυτήν την τάξη νευρώνων με τον όρο κύτταρα κινητικής ισοδυναμίας (Motor equivalence κύτταρα ή Meq κύτταρα). Η έναρξη της φασικής δραστηριότητας των Meq κυττάρων συχνά συσχετιζόταν χρονικά με την έναρξη τόσο κινήσεων χεριού όσο και σακκαδικών. Οι προτιμώμενες κατευθύνσεις κίνησης των κυττάρων αυτών κατανέμονται ομοιόμορφα στον μοναδιαίο κύκλο, χωρίς να παρουσιάζεται υπερεκπροσώπηση ομόπλευρων ή ετερόπλευρων κινήσεων. Στα μισά περίπου κύτταρα η προτιμώμενη κατεύθυνση για σακκαδικές συνέπιπτε με την προτιμώμενη κατεύθυνση για κινήσεις άνω μέλους. Στα υπόλοιπα κύτταρα, η διαφορά ήταν αρκετά μεγάλη (>90 μοίρες). Ένα τεχνητό νευρωνικό δίκτυο με τρεις στοιβάδες και είσοδο την δραστηριότητα των Meq κυττάρων έδειξε ότι η παρουσία αναντιστοιχίας μεταξύ των πεδίων διαφορετικών φορέων κίνησης μπορεί να βοηθήσει στην μείωση των λαθών στην αποκωδικοποίηση όταν το δίκτυο επιχειρεί να υπολογίσει το σωστό άνυσμα μετατόπισης με τον σωστό φορέα. Στην οπίσθια όχθη της τοξοειδούς αύλακας βρήκαμε επίσης κύτταρα με δραστηριότητα σχετική με σακκαδικές αλλά όχι με κινήσεις χεριού (κύτταρα S). Σε αντίθεση με τους νευρώνες των πρόσθιων οφθαλμικών πεδίων, οι προτιμώμενες κατευθύνσεις αυτών των κυττάρων είναι εξίσου πιθανό να είναι είτε ομοπλευρές ή ετερόπλευρες. Η έναρξη της φασικής δραστηριότητας των S κυττάρων προηγείται αυτής των νευρώνων των πρόσθιων οφθαλμικών πεδίων και συνεπώς είναι απίθανο η δραστηριότητά τους να μεταφέρει σήματα-αντίγραφα της δραστηριότητας της περιοχής 8. Πέρα απο τους γνωστούς νευρώνες του προκινητικού με δραστηριότητα σχετική με κινήσεις χεριού («H κύτταρα» της μελέτης μας), βρήκαμε και ένα μικρό αριθμό κυττάρων που θα μπορούσαν να λειτουργούν ως λογικές πύλες: κύτταρα που είχαν δραστηριότητα για σακκαδικές μόνο όταν δεν συνοδεύονταν από κινήσεις χεριού (xS νευρώνες), κύτταρα που είχαν δραστηριότητα για κινήσεις χεριού μόνο όταν δεν συνοδεύονταν από σακκαδικές (xΗ νευρώνες), κύτταρα που είχαν δραστηριότητα για συντονισμένες κινήσεις και των δύο φορέων αλλα όχι για κινήσεις χεριού ή για σακκαδικές (AND νευρώνες) και, τέλος, κύτταρα που είχαν δραστηριότητα για κινήσεις χεριού ή για σακκαδικές, αλλά όχι για συντονισμένες κινήσεις και των δύο φορέων (XOR νευρώνες). Τα ευρήματα αυτά συζητώνται στο πλαίσιο μιας σειράς διεργασιών λήψης αποφάσεων οι οποίες διασυνδέουν ειδικά για φορείς κινητικά πλάνα με κινητικά θεμελιακά στοιχεία που είναι ανεξάρτητα από τον φορέα της κίνησης. Τελος, προκειμένου να εξετάσουμε την υπόθεση ότι ο προκινητικός φλοιός εντός και πίσω από την οπίσθια όχθη της τοξοειδούς αύλακας μπορεί να παράγει σακκαδικές, διεγείραμε με ηλεκτρικό ερεθισμό τον μετωπιαίο λοβό εγγύς της τοξοειδούς αύλακας. Εκλύθηκαν σακκαδικες από περιοχές του προκινήτικου που βρισκονται σε ανατομική συνέχεια με τα πρόσθια οφθαλμικά πεδία και επεκτείνονταν εως 2 χιλιοστά πίσω από την περιοχή αναπαράστασης των οφθαλμικών κινήσεων ομαλής παρακολούθησης. Οι παραγόμενες από τον προκινητικό σακκαδικές είχαν ομόπλευρα χαρακτηριστικά ανύσματα. Επίσης παρουσίαζαν χαμηλότερες μέγιστες ταχύτητες και πιο επίπεδα προφίλ ταχύτητας σε σχέση με τις κινήσεις που παράγονται απο διέγερση των πρόσθιων οφθαλμικών πεδίων.

Referent control and motor equivalence of reaching from standing

Motor actions may result from central changes in the referent body configuration, defined as the body posture at which muscles begin to be activated or deactivated. The actual body configuration deviates from the referent configuration, particularly because of body inertia and environmental forces. Within these constraints, the system tends to minimize the difference between these configurations. For pointing movement, this strategy can be expressed as the tendency to minimize the difference between the referent trajectory (RT) and actual trajectory (QT) of the effector (hand). This process may underlie motor equivalent behavior that maintains the pointing trajectory regardless of the number of body segments involved. We tested the hypothesis that the minimization process is used to produce pointing in standing subjects. With eyes closed, 10 subjects reached from a standing position to a remembered target located beyond arm length. In randomly chosen trials, hip flexion was unexpectedly prevented, forcing subjects to take a step during pointing to prevent falling. The task was repeated when subjects were instructed to intentionally take a step during pointing. In most cases, reaching accuracy and trajectory curvature were preserved due to adaptive condition-specific changes in interjoint coordination. Results suggest that referent control and the minimization process associated with it may underlie motor equivalence in pointing.NEW & NOTEWORTHY Motor actions may result from minimization of the deflection of the actual body configuration from the centrally specified referent body configuration, in the limits of neuromuscular and environmental constraints. The minimization process may maintain reaching trajectory and accuracy regardless of the number of body segments involved (motor equivalence), as confirmed in this study of reaching from standing in young healthy individuals. Results suggest that the referent control process may underlie motor equivalence in reaching.