Nell’ambito
del progetto IST dell’Unione Europea denominato CARE-HERE, è
stato messo a punto un sistema multimediale con lo scopo di
verificare l’efficacia clinica di “ambienti esteticamente risonanti”
in relazione al trattamento di deficit sensorimotori in pazienti
parkinsoniani. L’idea di “risonanza estetica” è di fornire ai
pazienti un feedback visivo ed acustico che dipenda da un’analisi
qualitativa dei movimenti complessivi del corpo, con lo scopo
di evocare aspetti ludici, introducendo quindi elementi emotivo-motivazionali
senza dover sottostare alla rigida standardizzazione richiesta
in tipici laboratori di analisi tridimensionale del movimento:
i soggetti sono infatti liberi di muoversi nell’ambiente naturale
senza sensori o marcatori connessi al corpo.
Dal punto di vista tecnico ci si è posto
un duplice obiettivo:
(I) Sviluppare un’architettura computazionale
aperta nella quale sia possibile
1) integrare moduli di analisi e riconoscimento di gesti
per la generazione in tempo reale di un feedback multimediale,
2) progettare esercizi terapeutici interattivi,
3) eseguire gli esercizi in tempo reale.
(II) Sviluppare algoritmi di analisi del moto
in tempo reale che, nonostante le limitazioni poste dall’assenza
di sensori/ marker sul corpo, siano abbastanza affidabili
e precisi da permettere
1) la generazione di un’efficace ambiente di risonanza
estetica e
2) il monitoraggio di parametri di movimento adatti ad
una valutazione complessiva del progresso terapeutico.
L’obiettivo è quello di valutare sperimentalmente l’efficacia
di questo tipo di stimolazione sensorimotoria in relazione
al problema della acinesia, che è tipico nei pazienti
affetti dal morbo di Parkinson. In particolare, l’l’addestramento
a riconoscere e riprodurre delle strutture ritmiche di
movimento può aiutare i pazienti a controllare compiti
motori più complessi. Il miglioramento del grado di armoniosità
dei movimenti, codificato in opportune modalità visive
ed acustiche, può guidare il paziente nel miglioramento
della rappresentazione interna dei movimenti volontari.
Questo articolo presenta i risultati preliminari di un
esperimento pilota che ha coinvolto pazienti parkinsoniani
presso il Centro di Bioingegneria dell’Ospedale La Colletta
di Arenzano, nell’ambito di uno studio precedente sulla
stabilità posturale in questo tipo di pazienti (Morasso
et al. 1999, Re et al. 2001). E’ stata utilizzata la open
software platform EyesWeb (www.eyesweb.org) e si sono
integrate le tecniche di analisi del movimento e gli esercizi
terapeutici.
Materiali e metodi Soggetti e protocollo
In questa fase preliminare dello studio sono stati selezionati
due soggetti parkinsoniani: A (uomo, età 67 anni), B (donna,
età 73 anni). Il paziente A ha partecipato a 12 sedute
in un periodo di 6 mesi ed il paziente B 6 sedute in un
periodo di 2 mesi. Durante ogni seduta sono stati filmati
i movimenti sia in relazione a semplici esercizi preliminari
e sia in relazione agli esercizi gestiti da EyesWeb. Per
quanto riguarda questi ultimi si sono usati sia moduli
standard distribuiti con la piattaforma EyesWeb sia nuovi
moduli sviluppati ad hoc in accordo con i medici dell’equipe
clinica. In particolare è stato sviluppato un modulo di
“body paint” che permette ai pazienti di “dipingere” mediante
i movimenti del proprio corpo nello spazio. In relazione
con i sintomi tipici di questa patologia (instabilità
posturale, difficoltà locomotorie, bradicinesia, acinesia)
sono stati selezionati semplici compiti motori al fine
di fornire una tassonomia preliminare da cui progettare
esercizi riabilitativi e modalità valutative. In particolare,
nel seguito viene mostrato un esempio di implementazione
dell’esercizio di alzata dalla sedia che è usato in scale
valutative come l’UPDRS.
La open software platform EyesWeb
La open hardware & software platform EyesWeb (Camurri
et al., 2000, www.eyesweb.org) è stata adottata dal progetto
CareHere per la progettazione, lo sviluppo e la performance
in tempo reale di esercizi riabilitativi, l’estrazione
di rilevanti parametri di movimento e l’analisi dei risultati.
EyesWeb è una open hardware and software platform originalmente
concepita per la progettazione e lo sviluppo di applicazioni
musicali e multimediali in tempo reale. Fornisce un supporto
al progettista per l’effettuazione di esperimenti con
modelli computazionali di comunicazione espressiva non
verbale e per la trasformazione di “gesti” provenienti
da diverse modalità (p.e. movimenti globali del corpo
o frasi musicali) in pattern di uscita multimediale (p.e.
suono, musica, media visuali). EyesWeb è stato precedentemente
la piattaforma di sviluppo del progetto EU MEGA (Multisensory
Expressive Gesture Applications; IST-20410; www.megaproject.org).
Esiste anche un newsgroup che alimenta una crescente comunità
di utenti EyesWeb (più di 500 al momento). Nel progetto
CareHere, EyesWeb è stata scelta come piattaforma di sviluppo
perché
1) permette di trasformare interattivamente parametri
di movimento in caratteristiche di suoni ed immagini in
uno scenario multimediale,
2) permette l’integrazione di nuove tecniche come nuove
librerie o estensioni di librerie già esistenti,
3) permette uno sviluppo rapido di nuovi esercizi terapeutici,
4) può visualizzare in tempo reale le misure cinematiche
effettuate,
5) è compatibile con diversi tipi di sensori (compresi
quelli con tecnologia wireless), una o due telecamere
e può essere programmato per effettuare elaborazioni in
tempo reale.
E’ infatti disponibile un insieme di librerie software
per l’analisi del movimento e l’elaborazione dei gesti
(Camurri et al., 2001, 2002) che permettono l’estrazione
e la pre-elaborazione di segnali fisici (e.g. segnali
video) e l’estrazione ed elaborazione di parametri di
movimento come l’indice di contrazione, l’indice di direzione,
l’indice di stabilità, l’indice di quantità di moto, gli
indici di durata e pausa dei movimenti.
Estrazione ed elaborazione di informazione
sul movimento
EyesWeb è stato usato per
1) estrarre ed analizzare parametri di movimento rilevanti
per le applicazioni cliniche e
2) produrre un feedback multimediale “esteticamente risonante”.
E’ stato raccolto un archivio di registrazioni da sessioni
terapeutiche per un test preliminare ed un affinamento
delle modalità interattive. Sulla base di questa messa
a punto i pazienti hanno potuto seguire le sessioni terapeutiche
con il sistema operante in tempo reale. Si è seguito un
approccio a più livelli per passare dalle misure di basso
livello (p.e. misure di posizione, velocità, accelerazione
di parti del corpo) a descrittori di caratteristiche complessive
del movimento (p.e. fluidità, direzionalità, impulsività
dei movimenti), in relazione con la sintomatologia dei
pazienti parkinsoniani. I descrittori di alto livello,
oltre ad avere un aggancio ad una consolidata tradizione
biomeccanica, sono anche ispirati allo studio del movimento
umano effettuato da ricercatori con una formazione più
legata alle “performing arts”, come il coreografo e kinesiologo
Rudolf Laban, la cui Teoria dello Sforzo (Laban, 1947,
1963), è già stata usata in modelli computazionali di
analisi del movimento umano (Camurri et al. 2000, 2001,
2002; Zhou 2001).
Rilevazione ed inseguimento del movimento
I
quadri video di ingresso sono elaborati in modo da separare
le regioni in cui c’è movimento da quelle in cui non c’è
e valutare, per le prime, i parametri del movimento. Questo
compito è svolto usando tecniche consolidate, come la
tecnica delle template temporali descritta da Bobick e
Davis (2001). Diversamente da questi autori, tuttavia,
il nostro scopo non è tanto quello di riconoscere uno
specifico movimento quanto quello di estrarre indicatori
numerici capaci di descrivere aspetti qualitativi del
movimento, ad esempio la sua fluidità. Le nostre tecniche
includono quindi meccanismi di inseguimento di caratteristiche,
sulla base dell’algoritmo di Lucas-Kanade (1981), ed in
particolare l’inseguimento del colore della pelle per
decodificare il movimento delle mani e della testa, nonché
le SMI (Silhouette Motion Images).
Una SMI è un’immagine a cui è associata dell’informazione
relativa alle variazioni della forma e della posizione
della silhouette negli ultimi quadri. Questo tipo di metodica
si ricollega alle motion-energy images (MEI) and motion-history
images (MHI) (Bradsky & J.Davis, 2002, Bobick & J.Davis,
2001). Una SMI differisce da una MEI perché la silhouette
del quadro più recente viene rimossa dall’immagine di
uscita ed in questo modo viene evidenziato il movimento,
non la postura corrente.
Pertanto si può dire che le SMI contengono informazione
circa la quantità di moto caratteristica dell’immediato
passato. L’informazione sul tempo è implicita nella formazione
delle SMI e quindi non deve essere registrata esplicitamente.
E’ stata inoltre sviluppata un’estensione delle SMI che
tiene in conto il movimento interno alle silhouette e
la decomposizione di queste ultime in sotto-regioni con
caratteristiche indipendenti (vedere figura 1).
L’informazione sul movimento al più alto livello di analisi
è codificata in due modi diversi:
1) traiettorie di punti caratteristici del corpo,
2) emargini pre-elaborate, p.e. sulla base delle SMI.
Queste informazioni sono usate per estrarre delle caratteristiche
aggregate, come la Quantità di Movimento (QoM) e l’Indice
di Contrazione (CI).
Quantità di Movimento
L’indice QoM si ottiene calcolando l’area di una SMI e
costituisce, in effetti, una stima approssimativa della
“quantità di moto”, definita in fisica (q = m v, dove
m è la massa di un corpo in movimento e v è la sua velocità).
L’andamento di un grafico del QoM è del tutto simile al
grafico della velocità di un corrispondente marker connesso
al corpo. La valutazione del QoM ha due problemi potenziali:
la misura dipende dalla distanza del paziente dalla camera
e questo potrebbe rendere inaffidabile il confronto tra
diverse sessioni sperimentali. Abbiamo risolto il problema
mediante uno scalamento dell’area SMI rispetto all’area
della silhouette più recenti:
In questo modo la valutazione diventa indipendente dalla
distanza della telecamera (in un campo che dipende dalla
risoluzione della videocamera) ed è espressa in termini
della percentuale di area del corpo che si è mossa. Per
esempio si potrà dire che ad un certo istante si è verificato
un movimento che corrisponde al 2.5% dell’area coperta
dalla silhouette.
Indice di Contrazione
L’indice di contrazione (CI) è
una misura, variabile tra 0 ed 1,
di quanto il corpo del paziente
stia usando lo spazio circostante.
Si ispira a precedenti lavori sulla
caratterizzazione delle performance
coreutiche (Camurri et
al., 2002) che a loro volta si collegano
al concetto Labaniano di
“spazio personale” (Laban,
1963).
L’algoritmo per il calcolo del CI
combina due diverse tecniche:
l’individuazione dell’ellisse approssimante la silhouette
del corpo e calcoli basati sul rettangolo di contenimento.
La prima tecnica si basa su una analogia di tipo meccanico,
come se la silhouette fosse ricavata da una lastra di
metallo: ne vengono calcolati i tre momenti centrali del
secondo ordine, da cui si ricava il tensore di inerzia
e quindi gli assi principali di inerzia con la corrispondente
ellisse approssimante. L’eccentricità di quest’ellisse
è collegabile al parametro di contrazione/ espansione
e la sua orientazione coincide con quella del corpo (Kilian,
2001). La seconda tecnica usata per il calcolo del CI
usa il rettangolo di contenimento. L’algoritmo paragona
l’area del rettangolo con quella coperta dalla silhouette
e pertanto permetterà di discriminare situazioni in cui
gli arti sono allineati con il corpo (il valore dell’indice
si avvicina ad 1) da situazioni in cui sono ben estesi
all’infuori (il valore dell’indice si abbassa notevolmente).
Quando il paziente si muove l’indice CI varia continuamente
fornendo in tempo reale un’informazione sul fatto che
il paziente stia compiendo delle azioni di “espansione”
o “contrazione”. Il protocollo terapeutico potrà specificare
il tipo di feedback multimediale più appropriato, per
esempio generando musiche più piacevoli quando l’indice
si alza se l’obiettivo è di indurre il paziente ad incrementare
le azioni “espansive”. Segmentazione del Movimento Le SMI hanno proprietà interessanti:
l’evoluzione della loro area
normalizzata (ciò che abbiamo
chiamato QoM) è strettamente
legata all’evoluzione temporale
della velocità biologica, che si
può descrivere come una
sequenza di curve “a campana”
(o campane di movimento,
Morasso 1981): questo implica
che ogni movimento normale è
caratterizzato da una fase di
accelerazione che rispecchia,
simmetricamente, una fase di
decelerazione. Per poter segmentare
in movimenti elementari
un gesto complesso occorre
estrarre dai dati le campane di
movimento ed i corrispondenti
parametri caratteristici: picco di
velocità e durata temporale.
Una prima parte dell’algoritmo
consiste nella separazione tra le
“fasi di movimento” e le “fasi di
pausa”. A questo scopo è stata
identificata empiricamente una
soglia del 2.5%: se la porzione di
immagine in movimento rispetto
all’area della silhouette è inferiore
a questa soglia il paziente è
dichiarato in pausa. Dopo di
questo si possono identificare e
caratterizzare le diverse campane
di movimento. La figura 2
mostra un esempio: inizialmente
il paziente esegue un solo movimento semplice a cui segue una
pausa, un gesto costituito da due
movimenti successivi giustapposti,
una seconda pausa, un gesto
più complesso che fonde in
modo fluido più movimenti
semplici, una lunga pausa e due
movimenti finali semplici, separati
da una piccola pausa.
Fluidità - impulsività
La segmentazione del movimento può essere considerata
come il primo passo verso l’analisi degli aspetti ritmici
dei movimenti del paziente. Infatti, l’evidenziazione
delle sequenze di movimento e di pausa e delle loro durate
relative può fornire una valutazione sul grado di regolarità
o sulla presenza di fenomeni di esitazione che sono clinicamente
rilevanti. A partire da questi dati è possibile valutare
dei parametri di fluidità o impulsività. La fluidità
si può stimare dall’analisi temporale
delle campane di movimento
ed in particolare dal numero
di campane presenti nell’esecuzione
di un compito, come l’alzata
da una sedia. Le esitazioni
infatti producono numerose
campane di movimento con
alternanza di fasi di accelerazione
e decelerazione che non
sono presenti quando il movimento viene “armonicamente”
generato come un tutt’uno.
Una misura di impulsività si può
ottenere dalla forma delle campane
di movimento. Infatti, poiché
il QoM è direttamente legato
alla quantità di movimento
rilevata, una campana di movimento
di corta durata e di alto
picco corrisponderà ad un movimento
“impulsivo”. Al contrario,
in un movimento continuo e
sostenuto la campana di movimento
avrà una durata maggiore
e sarà appiattita sulla punta.
Esercizi terapeutici Con EyesWeb sono stati progettati
diversi tipi di esercizi che
hanno contemporaneamente un
contenuto riabilitativo e di valutazione
motoria.
Body Paint
In questo esercizio il paziente viene indotto a “dipingere”
usando movimenti globali del corpo. Il paziente vede il
suo corpo su un largo schermo mentre una vernice virtuale
viene diffusa in funzione dei suoi parametri di movimento.
Quest’applicazione si ispira al sistema PAGe (Painting
by Aerial Gesture), sviluppato da Taraballa & Bestini
(2001). Il nostro sistema è stato concepito in maniera
da essere usato da un paziente, osservato da un medico,
piuttosto che da un artista osservato dal pubblico. In
particolare, il colore è assegnato sulla base del grado
di fluidità e l’intensità sulla base del QoM; le pause
sono usate per “resettare” il processo di colorazione.
Mentre il paziente segue sullo schermo grande il risultato
del suo lavoro, su un monitor secondario il medico/ricercatore
segue l’andamento dei parametri valutati ed eventualmente
modifica in tempo reale parametri interattivi sulla base
delle esigenze del paziente. La figura 3 mostra un esempio
tratto da una sessione.
Movimenti delle mani
E’ anche possibile focalizzare un’applicazione EyesWeb
su un segmento corporeo specifico. In figura 4 è mostrato
un esercizio in cui viene analizzato in modo dettagliato
il movimento coordinato delle due mani. In questo caso
è stato messo a punto un modulo in grado di riconoscere
ed estrarre la silhouette delle mani.
Alzata da una sedia Nei pazienti parkinsoniani uno
degli esercizi usati nella scala clinica
UPDRS è l’alzata dalla sedia.
L’implementazione in EyesWeb
è stata abbastanza semplice,
usando la libreria standard disponibile
(figura 5).
Discussione
Gli esperimenti clinici effettuati in questa fase preliminare
sono troppo limitati per essere considerati una valutazione
clinica esauriente. Tuttavia forniscono una base di partenza
promettente per mettere a punto una metodica riabilitativa
di tipo innovativo.
In effetti all’inizio di questo preliminare studio clinico
c’erano due punti interrogativi a cui si poteva rispondere
solo dopo una verifica sperimentale:
1) il tipo di interazione multimediale ipotizzato è comprensibile
da parte dei pazienti ed è in grado di coinvolgerli in
un modo clinicamente corretto? 2) La piattaforma EyesWeb
è sufficientemente versatile per ospitare i requisiti
e le richieste provenienti dall’utente medico e/o dal
paziente? Ad entrambe queste domande possiamo dare, a
posteriori, una risposta del tutto positiva. Certamente
l’interazione multimediale ha un futuro in campo riabilitativo,
ma occorre avere a disposizione sistemi che, come EyesWeb,
siano “aperti” e permettano quindi una personalizzazione
spinta delle modalità interattive.
Ringraziamenti
Il lavoro qui descritto è stato parzialmente finanziato
dal progetto EU IST CARE HERE. Si ringraziano per il contributo
al lavoro Riccardo Trocca e Matteo Ricchetti del Laboratorio
InfoMus Lab; Luigi Baratto e Marcello Farinelli dell’Ospedale
di Arenzano; Psiche Giannoni del centro di riabilitazione
ART; Emanuela Cervetto, Grazia Ornato, Luciana Tabbone
ed Alessandro Tanzini, laureandi di Ingegneria Biomedica
presso il CBC; il team di sviluppo di EyesWeb (Paolo Coletta,
Massimiliano Peri e Andrea Ricci).
Referimenti bibliografici
Bobick A.F, .Davis J. (2001) The Recognition of Human
Movement Using Temporal Templates. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 23(3): 257-
267 Bradsky G., Davis J. (2002), “Motion segmentation
and pose recognition with motion history gradients”, Machine
Vision and Applications 13:174- 184 Camurri A., Coletta
P., Peri M., Ricchetti M., Ricci A., Trocca R.,Volpe G.
(2000) A real-time platform for interactive dance and
music systems. Proceedings International Conference ICMC2000,
Berlin. Camurri A., Hashimoto S., Ricchetti M.,Trocca
R., Suzuki K.,Volpe G. (2000) EyesWeb - Toward Gesture
and Affect Recognition in Dance/Music Interactive Systems.
Computer Music Journal, 24, 57-69. Camurri A., Mazzarino
B., Trocca R.,Volpe G. (2001) Real-time analysis of expressive
cues in human movement. Proceedings International Conference
CAST01, Bonn. Camurri A.,Trocca R.,Volpe G. (2002) Real-Time
Analysis of Expressive Cues in Human Movement. Proceedings
International Conference ICMC2002, Gothenburg. Kilian
J. (2001) Simple Image Analysis By Moments. OpenCV library
documentation. Laban R., Lawrence F.C. (1947) Effort.
Macdonald & Evans, London. Laban R (1963) Modern Educational
Dance. Macdonald & Evans London. Lucas B., Kanade T. (1981)
An iterative image registration technique with an application
to stereo vision. Proceedings of the International Joint
Conference on Artificial Intelligence. Morasso P., Baratto
L., Betti E., Capra R, Spada G. (1999) A new method for
the evaluation of postural stability in Parkinson's disease.
Medical & Biological Engineering & Computing 37, sup.
2, 822-823. Morasso P (1981) Spatial control of arm movements.
Experimental Brain Reesearch, 42, 223- 227. Re C., Baratto
L., Capra R., Morasso P., Spada G. (2001) Analysis of
movement control strategies in Parkinson’s disease. Gait
& Posture, 13, 158. Tarabella L., Bertini G. (2001) Wireless
technology in gesture controlled computer generated music.
Proceedings Workshop on Current Research Directions in
Computer Music, Barcelona.
I
quadri video di ingresso sono elaborati in modo da separare
le regioni in cui c’è movimento da quelle in cui non c’è
e valutare, per le prime, i parametri del movimento. Questo
compito è svolto usando tecniche consolidate, come la
tecnica delle template temporali descritta da Bobick e
Davis (2001). Diversamente da questi autori, tuttavia,
il nostro scopo non è tanto quello di riconoscere uno
specifico movimento quanto quello di estrarre indicatori
numerici capaci di descrivere aspetti qualitativi del
movimento, ad esempio la sua fluidità. Le nostre tecniche
includono quindi meccanismi di inseguimento di caratteristiche,
sulla base dell’algoritmo di Lucas-Kanade (1981), ed in
particolare l’inseguimento del colore della pelle per
decodificare il movimento delle mani e della testa, nonché
le SMI (Silhouette Motion Images). 
Una SMI è un’immagine a cui è associata dell’informazione
relativa alle variazioni della forma e della posizione
della silhouette negli ultimi quadri. Questo tipo di metodica
si ricollega alle motion-energy images (MEI) and motion-history
images (MHI) (Bradsky & J.Davis, 2002, Bobick & J.Davis,
2001). Una SMI differisce da una MEI perché la silhouette
del quadro più recente viene rimossa dall’immagine di
uscita ed in questo modo viene evidenziato il movimento,
non la postura corrente.
