Search

Design research is used to develop a piano method for use by Cochlear Implant users. The method is designed to promote audiomotor integration rather than visuomotor integration, but will not involve singing. It is based on our current understanding of brain function, in particular the concepts of the predicting brain, dual-stream perception, ideomotor learning and procedural learning. A pilot was conducted in which tablature was an important component. Evaluation of the pilot suggests that improvisation would be a more successful method for teaching these pupils. During the next phase, the method will therefore build on the concept of partimento, an improvisation method practised in the 18th century, which can be characterized by ‘hands-on learning’ and the priority of skill training above conceptual learning.

Sinds een aantal jaren weten wij dat het brein plastisch is, zowel dat van het kind als van de volwassene. Onder invloed van de activiteiten die wij ondernemen, verandert niet alleen het lijf, maar ook het brein. Daarom is musiceren gunstig voor de ontwikkeling en het behoud van de hersenen. Toch kunnen wij niet alle vormen van musiceren over één kam scheren. Zingen is anders dan pianospelen. Van blad spelen is anders dan improviseren. Uit het hoofd spelen is anders dan op het gehoor spelen. Iedere wijze van musiceren doet een ander beroep op de hersenen en leidt zowel tot de ontwikkeling van andere vaardigheden als tot het ontstaan van een ander brein. Het gaan er niet alleen om dát wij musiceren, maar vooral hoe. Wat kan de neurowetenschap ons dáár over vertellen?

In deze presentatie, worden aan de hand van videovoorbeelden van pianolessen aan CI-gebruikers, de volgende vragen beantwoord: 1) Kunnen CI-gebruikers piano leren spelen? 2) Hoe geef je pianoles aan CI-gebruikers? 3) Heeft het een gunstige invloed op het gehoor? 4) Zijn er waardevolle neveneffecten? De lesmethode bestaat uit imiteren, variëren, improviseren, en ‘rappen’. Noten lezen, muziektheorie, gehoortraining en pianotechniek komen minder aan bod. De resultaten wijzen uit dat CI-gebruikers zonder beperkingen piano kunnen leren spelen. Behalve gunstige effecten op het gehoor, wijzen deelnemers vooral op de positieve sociale en psychologische neveneffecten van de lessen. CI-gebruikers worden aangespoord om aan muziekles deel te nemen.

Vocale improvisatie door zowel musici als niet-musici wijst uit dat impliciete kennis van de muzieksyntax tijdens het zingen wordt aangeleerd. Zonder dat wij expliciet weten hoe de muziek in elkaar steekt, zijn wij in staat om de ‘regels’ van de westerse muziek in de praktijk toe te passen. Deze wijze van leren passen wij toe bij het aanleren van gewoonten, vaardigheden en de grammatica van de moedertaal. Wij leren geleidelijk, zonder opzet, en zelfs zonder er bewust van te zijn. Expliciete kennis van bijvoorbeeld jaartallen, grammatica van een vreemde taal, of de regels van de harmonieleer leren wij expres. Het leerproces is snel en bewust. Deze twee manieren van leren zijn functioneel en anatomisch verschillend. Kinderen leren impliciet. Volwassen kunnen beide. In het onderwijs vinden wij dat de expliciete kennis van de muziek door de theoriedocent bijgebracht moet worden. Zangdocenten zouden zich er meer van bewust moeten zijn, dat zij een taak hebben t.a.v. het aanleren van de impliciete kennis van de muziek. Vooral het improviseren en de interactie tijdens het zingen zou het leren van de impliciete kennis van de hiërarchische muziek syntax kunnen bevorderen.

Music is not only art. It is also biology. The unique characteristics of the brain which make it possible for us to sing a melody and to dance, give to music the unparalleled ability not only to stimulate body movement, but also to move us emotionally. Music is not only beautiful, it is who we are.

Current models of brain function indicate that sensory input is not only processed in two anatomically and functionally separate pathways, but that perception is the product of a predicting brain and not purely a representation of the input to which it has access. Sensory modalities are furthermore intertwined, making not only synesthesia possible in rare instances, but also the expropriation of neural resources as in the SMARC effect. The use of instrumental music training to enhance the hearing of CI-recipients builds on these models by promoting the implicit acquisition of ideomotor associations between musical pitch, tone color, volume, and hand movement.

A practice-based research is presented investigating a method of teaching CI-recipients to play the piano with the goal of improving their aural perception. The method is based on the concept of ideomotor learning i.e. the development of a neural association between music and the movement that produces it and vice versa. In the context of the dual-stream perception-action model, this association can be termed ‘audition-for-action’ . Its development is dependent on procedural learning . Furthermore, it is a relationship between music (not only sound) and movement, implying that implicit knowledge of music should be acquired. The method was developed cyclically by planning the lesson series, developing teaching materials, conducting the lessons, observing videos, and then evaluating and adapting the teaching approach. The preliminary results suggest that audiomotor learning in CI-recipients is possible and that they are quite able to learn to play a music instrument in this manner.

Three topics are discussed: audiomotor transformations in music, the aural perception of music, and procedural learning and music syntax. Biologically, the ability to make music and enjoy it is based on the innate capacities for beat induction and relative pitch (recognition of melodic contour). The results of the author’s investigation into brain activation in improvising and non-improvising musicians are presented. The aural perception of music is discussed in the context of the dual-stream perception-action model and the ‘predicting’ brain. The consequences for music learning and performance are elaborated. The concept of procedural learning is presented. Two levels of syntax are distinguished. The role of improvisation and interaction in the acquisition of hierarchical syntax is described.

The realization of one’s musical ideas at the keyboard is dependent on the ability to transform sound into movement, a process called audiomotor transformation. Using fMRI, we investigated cerebral activations while classically-trained improvising and non-improvising musicians imagined playing along with recordings of familiar and unfamiliar music excerpts. We hypothesized that audiomotor transformation would be associated with the recruitment of dedicated cerebral networks, facilitating aurally-cued performance. Results indicate that while all classically-trained musicians engage a left-hemisphere network involved in motor skill and action recognition, only improvising musicians additionally recruit a right dorsal frontoparietal network dedicated to spatially-driven motor control. Mobilization of this network, which plays a crucial role in the real-time transformation of imagined or perceived music into goal-directed action, may be held responsible not only for the stronger activation of auditory cortex we observed in improvising musicians in response to the aural perception of music, but also for the superior ability to play ‘by ear’ which they demonstrated in a follow-up study. The results of this study suggest that the practice of improvisation promotes the implicit acquisition of hierarchical music syntax which is then recruited in top-down manner via the dorsal stream during music performance. In a study of audiomotor transformation in Parkinson patients, we demonstrated a dissociation between dysprosody in speech and music. While patients’ speech could reliably be distinguished from that of healthy individuals, purely on the basis of aural perception, no difference was observed between patients and healthy controls in their ability to sing improvised melodies.

While improvisation is considered to be an art form, particularly in jazz, but also in eighteenth-century music, it may also be seen as an didactic instrument which can be used to develop implicit knowledge of music syntax. Two types of syntax may be distinguished: finite state grammars and hierarchical grammars. While repetitious practice promotes acquisition of the first type, it does not promote acquisition of the latter. For this reason, classical musicians acquire very little implicit knowledge of hierarchical music syntax, relying mainly on their extensive explicit knowledge of the subject of harmony. Improvisation, particularly in the context of musical interaction, is more likely to promote the acquisition of implicit knowledge of hierarchical syntax as it relies on program-level imitation and string-parsing of the underlying structure. This explains why improvising musicians are more capable of playing by ear, transposing, and harmonizing.

Muziek is niet alleen kunst. Het berust op aangeboren eigenschappen van de mens zoals het vermogen om 'beat' waar te nemen en relatief gehoor, het vermogen om een melodie te herkennen, ongeacht de toonsoort.

Learning to play a music instrument might be able to improve the hearing of cochlear implant recipients. In this presentation, we report on a pilot project in which three CI recipients received music lessons from students at the conservatoire.

The functional and anatomical distinction between vision-for-perception and vision-for-action, the hallmark of the dual-stream Perception-Action Model, is equally applicable to the auditory domain, implying that non-conscious audition-for-action could play an important role in music performance. Ear training in classical music, however, involves mainly the development of audition-for-perception. Students train the aural discrimination of intervals, chords, and their inversions, but do not learn to play ‘by ear’, a skill that would appear to rely heavily on non-conscious audition-for-action. Moreover, strong emphasis is placed on explicit knowledge of music theory, while its acquisition is anatomically and functionally quite distinct from the implicit ‘grasp’ of music syntax gained non-consciously during imitation and improvisation.

Onderzoek heeft uitgewezen dat er twee soorten perceptie bestaan die langs gescheiden anatomische routes lopen en verschillende perceptuele doelen dienen. Deze routes staan bekend als de ventrale en dorsale route, of in de volksmond: de ‘wat’ en de ‘hoe’ route. De ventrale route staat ten dienste van het onderscheiden en identificeren, terwijl de dorsale ten dienste staat van het motorische respons. Als wij een toonhoogte benoemen gebruiken wij de eerste; als wij een toon nazingen, de tweede. Omdat bij de dorsale route geen sprake is van bewuste perceptie, kunnen handelingen op basis van feedback gecorrigeerd worden, zonder dat het individu het zelf weet. De relatieve contributie van beide routes hangt onder andere van de taak af. Als een musicus gevraagd wordt of een toon vals is, zal perceptie via de ventrale route lopen; als de toon nagespeeld moet worden, via de dorsale. Als de onderwijsmethode eenzijdig de nadruk op identificatie en discriminatie legt, zal de ventrale route eerder aangesproken worden. Het is daarom van belang om de invloed van de methode te onderkennen. Wat weten wij daarover? In elk geval dat, na 1850, improvisatie langzamerhand uit het curriculum van de klassieke muziekopleiding is verdwenen. Dat zou kunnen betekenen dat het huidige muziekonderwijs de auditieve perceptie eerder via de ventrale route dan via de dorsale route uitlokt. Het vergelijken van improviserende en niet-improviserende musici zou uitsluitsel kunnen geven. Het ligt dan voor de hand om jazz musici met klassieke musici te vergelijken. In Nederland wordt de improvisatie echter door kerkorganisten nog altijd beoefend. Dat maakt het mogelijk om twee groepen klassiek-opgeleide musici met elkaar te vergelijken om de relative contributie van beide perceptuele routes te onderzoeken als functie van het vermogen om te kunnen improviseren. Wij gebruikten 3T fMRI om hersenactivaties te bestuderen terwijl 24 professionele organisten en pianisten virtueel meespeelden met een opname. Grotere activaties in parietale cortex bij improviserende musici suggereerden een significante contributie van de dorsale route vergeleken met niet-improviserende musici. Activaties in de posterior superior temporal sulcus bij de laatste groep suggereerden dat zij de klank eerst in symbolen (noten) omzetten. In een vervolgstudie speelden de deelnemers dezelfde opnames op het gehoor na. Music information retrieval technologie werd toegepast om de overeenkomst tussen performance en de oorspronkelijke opname in een alignment score uit de drukken. Een hogere alignment score bij improviserende musici bevestigde de link tussen perceptie en motoriek. Wat betekenen deze resultaten voor de praktijk? De meeste klassieke musici zouden het belang van gehoortraining beamen, maar het belang van improvisatie misschien nog niet. Deze studie laat zien dat improvisatie de rol van de dorsale route in de perceptie van muziek kan versterken. Gehoortraining in de muziekopleiding zou zich dus niet tot onderwijs in de discriminatie en identificatie van toonhoogte en ritme moeten beperken, maar zich meer moeten richten op het naspelen en improviseren op het instrument zelf.

Neurowetenschappen en de klassieke muziekbeoefening. Uitvoerende musici houden zich voornamelijk met de interpretatie van bestaande muziek bezig. De vaardigheden die daar een bijdrage aan leveren zijn bijvoorbeeld het muzikale gehoor, de instrumentale techniek, en het notenlezen. Dergelijke vaardigheden worden aangeleerd volgens principes die van meester op gezel worden overgedragen. Wetenschappelijke onderbouwing voor deze principes ontbreekt. Een belangrijke functie van muziekcognitieonderzoek in het algemeen en neurowetenschappen in het bijzonder zou moeten zijn om de muziekpraktijk wetenschappelijk te toetsen en modellen voor een nieuwe praktijk te ontwerpen. Aangezien muziekcognitieonderzoek nog maar vijftentwintig jaar bestaat, is daar maar recent aan aanvang mee gemaakt. In deze bijdrage wordt dat onderzoek besproken in het licht van zijn praktische nut voor de uitvoerende musicus zelf.

Next to the manifestation of sensori-motor transformations such as singing and dancing, the ability to play an instrument by ear must rely on a unique convergence of cerebral functions involving motor preparation and auditory perception. In this study, we aimed to gain insight into the extent to which auditory perception is used to activate cerebral regions implicated in bimanual keyboard performance. Cerebral activations were studied first in 12 improvising organists (IMP) and 12 musically-unskilled controls (CTRL) while listening to two-part ‘inventions’. Subjects listened to 24 familiar and 24 unfamiliar excerpts. In two tasks, they were instructed either to imagine performing the excerpt (IMAG), or to judge its performance (JUDG). In a sparse-sampling paradigm, 3T fMRI was used to measure group- , task- , and familiarity-induced BOLD response. Comparing IMP to CTRL revealed bilateral activation of auditory and ventral PMC during IMAG and JUDG, regardless of familiarity, but no significant activation of left parietal cortex. Significant activations were found in right anterior parietal cortex and, during IMAG, posterior superior parietal. Masking IMAG by JUDG revealed extensive, exclusively right-hemisphere, activations, including dorsal en ventral PMC, posterior superior and anterior parietal cortex. Subsequently, IMP were compared to non-improvising pianists (NON) revealing significant activation of right auditory cortex and SMA in both tasks. Within-group comparison of IMAG to JUDG revealed significant right-hemisphere parietal activations in IMP, contrasted with solely left-hemisphere parietal activations in NON. Again, masking IMAG by JUDG revealed significant right-hemisphere activation of superior posterior parietal cortex as a characteristic group difference. The right-lateralised parietal activations found in IMP in this study, are possibly a manifestation of mental rotation from vertical pitch space to horizontal keyboard space. Robust, task-independent auditory activations suggest bottom-up processing of music, particularly in IMP. Bilateral activation of ventral PMC suggests a role for the mirror neuron system.

In this fMRI study, it was hypothesized that mirror neurons in the premotor-parietal network would be activated while improvising performers listened to music. Such activations would suggest that perception is engaging the action repertoire of the improvising musician. Recognition and understanding of music and musical intentions would therefore be directly mediated by the premotor-parietal network dedicated to the planning and execution of movement. Ten improvising musicians and ten musically-unskilled controls listened to two-part harmony while performing one of two tasks: imagining playing the music or assessing the performance. Activations in non-musicians were completely left-lateralized and were restricted to dorsal premotor cortex and SMA. While both ventral and dorsal premotor activations in improvising musicians were bilateral, parietal activations were right-lateralized. While activations during the imagery task were more extensive than during the assessment task, the activations were similar, with the exception of right posterior parietal cortex which was only activated during the imagery task. Right laterization of the parietal cortex suggests that musicians are performing a mental rotation ask, transforming vertical pitch space into horizontal keyboard space. Results suggest that when musicians listen to music they engage their instrument-related action repertoire, a finding that could have important consequences for the teaching of ear training in conservatory curricula.

Using fMRI, ten improvising musicians were contrasted with 10 non-musicians to explore brain activations while playing by ear. Subjects either imagined playing the music they were listening to, without moving their hands, or assessed the performance verbally without actually speaking. Half of the music excerpts was familiar, the other half unfamiliar. Musicians exhibited significantly larger activation of bilateral premotor cortex and right parietal cortex. Activation of right posterior superior parietal cortex was elicited specifically by imagining that they were playing by ear.