Noves Interfícies d’usuari en les TIC per a la docència

l Sistema d’Interacció Natural amb l’ordinador desenvolupat a la UIB es revela com una eina de rehabilitació per a persones que tenen profundament limitades les seves possibilitats de moviment http://dmi.uib.es/~ugiv/sina/
proyecto sina
El objetivo de esta entrada es presentar a la comunidad universitaria el proyecto SINA, que permite a personas con discapacidad motorica severa poder acceder al ordenador de forma natural mediante sus capacidades fisicas disponibles. Es un proyecto validado en mas de 6 centros de las Islas Baleares y con mas de 40 usuarios generalmente jovenes con paralisis cerebral. La idea es poder ir generalizando su uso de manera comun como herramienta integradora para todos los usuarios fomentando asi el diseño universal de interfaces de usuario.
El Sistema d’Interacció Natural amb l’ordinador desenvolupat a la UIB es revela com una eina de rehabilitació per a persones que tenen profundament limitades les seves possibilitats de moviment
El projecte SINA (Sistema d’Interacció Natural Avançat) per a la integració de persones amb discapacitat en entorns informàtics s’ha assolit de manera exitosa i la tasca realitzada fins avui ha obert nous camins per a la recerca i per a l’aplicació d’aquesta eina informàtica, com és ara la rehabilitació.
El projecte va néixer en el marc d’un conveni de col·laboració, signat el dia 30 de març de 2007, entre la Vicepresidència i Conselleria de Relacions Institucionals del Govern de les Illes Balears, l’Institut de Serveis Socials i Esportius de Mallorca, la Fundació IBIT i la Universitat de les Illes Balears. L’objectiu de l’acord era de desenvolupar un sistema pedagògic, basat en tecnologies de la informació i el coneixement per fer accessible l’ordinador a persones amb discapacitat, en el marc del desenvolupament del Pla Avanza.
La col·laboració entre les institucions esmentades ha consistit en el desenvolupament d’aquest sistema d’inclusió social mitjançant una nova interfície multimodal amb l’ordinador basada en la interacció natural amb la cara i la veu i la seva implantació en els centres i les associacions de persones amb discapacitat que ho han sol·licitat. La tasca de la UIB ha consistit a valorar pedagògicament la viabilitat d’aquest sistema en centres específics i adaptar les solucions a cada discapacitat. El sistema desenvolupat és especialment indicat per a persones que presenten una mobilitat limitada de les mans i dels braços i per a nins amb deficiències mentals. A més, la UIB ha desenvolupat un conjunt molt ampli d’aplicacions docents multimèdia per avaluar i millorar la capacitat motora i cognitiva de les persones amb discapacitat; ha donat el suport tecnològic necessari per al desenvolupament de l’experiència; ha donat formació al professorat dels centres escollits per poder aplicar el projecte desenvolupat i realitza el seguiment pedagògic per a la implantació del SINA i donar el suport necessari per al seu desenvolupament. Per part de la Universitat de les Illes Balears han participat en el projecte el grup de recerca de Gràfics i Visió per Ordinador i Intel·ligència Artificial del Departament de Ciències Matemàtiques i Informàtica, encapçalat pel Dr. Francisco José Perales, que ha elaborat i desenvolupat un sistema global i totalment innovador d’interacció perceptual que permet la comunicació, rehabilitació i el control de l’ordinador a través de sistemes multimodals; i ,d’altra banda, el grup de recerca Escola Inclusiva i Diversitat (GREID), encapçalat pel Dr. Joan J. Muntaner, que treballa amb l’aplicació de suports i ajuts per a persones amb discapacitats amb l’objectiu de millorar la qualitat de vida d’aquestes persones. Els resultats han estat valorats molt positivament per totes les institucions amb usuaris discapacitats, i les millores en l’accés a les TIC per part dels usuaris han estat evidents. Es preveu afrontar una segona fase amb la idea de generalitzar aquest ús i millorar les prestacions del sistema dissenyat amb més funcionalitats.  El Sistema d’Interacció Natural Avançat (SINA) es va dissenyar pensant en les persones que tenen profundament limitades les seves possibilitats de moviment, com és ara pacients amb paràlisi cerebral o d’esclerosi múltiple. Durant els darrers anys s’han desenvolupat diverses solucions per a facilitar l’accés de persones amb discapacitat a l’ús de l’ordinador. Des de la utilització del ratolí per seleccionar les tecles i els comandaments del teclat, passant per polsadors únics que agranen literalment la pantalla fins a seleccionar el signe desitjat, fins a dispositius adaptats per persones sense mans que a través d’una mena de casc equipat amb una vareta metàl·lica (licorni) poden emprar el teclat. Per a totes les persones que tenen reduïda la seva motricitat i que, en molts casos, sols poden moure el cap, s’han desenvolupat dispositius que converteixen aquesta única part del cos amb certa mobilitat en el ratolí indispensable per a poder donar les ordres al sistema. Hi ha sistemes que empren sensors d’infrarojos i els moviments del cap són traduïts per un sensor IR en moviments del cursor en la pantalla. En aquest cas i d’altres semblants l’usuari, però, ha dur un sensor al cap.La diferència fonamental entre aquests sistemes i el SINA desenvolupat a la UIB és que aquest darrer es basa en una interacció natural avançada entre l’usuari i l’ordinador, sense la necessitat d’aplicar cap dispositiu al cap de l’usuari.
Com es pot aconseguir això? La Unitat de Gràfis i Visió per Ordinador i Intel·ligència Artificial (UGiVIA) del Departament de Ciències Matemàtiques i Informàtica de la UIB és qui ha desenvolupat el programari informàtic del projecte SINA. Aquest grup de recerca duu més de deu anys desenvolupant sistemes automàtics de reconeixement del moviment humà, és a dir, sistemes capaços de reconèixer no solament l’usuari, sinó també els seus moviments i la intencionalitat que aquests amaguen. Bona part dels avenços obtinguts procedeixen de la participació dels investigadors de la UIB en diversos projectes europeus i nacionals. El SINA es va dissenyar, doncs, pensant en les persones que tenen profundament limitades les seves possibilitats de moviment de manera que la interacció amb l’ordinador fos molt intuïtiva i natural. El sistema dissenyat només requereix una camera USB estàndard i una aplicació multimodal que és capaç de detectar el moviment de la cara de la persona i interpretar-ne els moviments. La primera fase del projecte consistí a identificar el perfil de l’usuari i ajustar el SINA a les necessitats d’aquest perfil, dotar-lo de la màxima flexibilitat. Per aquest motiu durant tot l’any acadèmic 2007-2008 el projecte SINA s’ha anat millorant gràcies a la sinergia de investigadors, tant especialistes en visió per ordinador i intel·ligència artificial com pedagogs i els potencials usuaris del sistema, en concret membres de l’Associació de Paràlisi Cerebral de Balears (ASPACE) i de l’Associació Balear d’Esclerosi Múltiple (ABDEM). El treball conjunt ha estat possible gràcies a un contacte fluid entre els investigadors de la UIB, els responsables de les associacions i les famílies de les persones amb discapacitat.
Un primer prototip i una aplicació d’entrenament
Un primer prototip del SINA es va instal·lar als centres d’estudi (ASPACE i ABDEM) a començaments del mes de setembre de 2007. Es va formar el personal responsable dels centres perquè pogués donar tot el suport als usuaris i poder transmetre als investigadors tots els problemes que presentés el prototip. Molt aviat les suggerències foren incorporades al disseny. Al mateix temps, per tal de facilitar l’aprenentatge del programari els investigadors desenvoluparen una aplicació d’entrenament basada en jocs didàctics de causa-efecte, de moviment de cursor, etc. L’aplicació resultà molt adequada a l’hora de que l’usuari entengués que qualsevol moviment del seu cap serveix per controlar el cursor del ratolí. Així, a través de diversos jocs els usuaris pogueren anar familiaritzant-se amb la dinàmica del SINA i abordar els moviments més complexos, com és ara l’acció d’arrossegar un objecte de la pantalla. En tota aquesta primera fase de desenvolupament i adeqüació del SINA als objectius que estaven prevists, la seva utilització per persones que tenen profundament limitades les seves possibilitats de moviment, el grup de recerca Escola Inclusiva i Diversitat (GREID) de la UIB dugué a terme un intens seguiment pedagògic d’acord amb els responsables dels centres i procurant en tot moment que la dimensió tècnica del projecta s’adaptàs a situacions i contextos reals, tenint en compte les necessitats personals i educatives dels usuaris i dels professionals que els atenen. Els grups d’investigació de la UIB implicats en el projecte, juntament amb els responsables dels centres, realitzaren un seguiment acurat de cada un dels usuaris del SINA, la qual cosa ha permès palesar la dimensió rehabilitadora del sistema, una dimensió que no estava prevista en els objectius inicials.
A continuació sintentitzem alguna de les experiències personals d’alguns dels usuaris dels centres ASPACE i ABDEM que posen de manifest aquest vessant del sINA com ha eina de rehabilitació. En tots els casos els noms no corresponen a la realitat
1.- En Pere té distròfia muscular de Duchenne amb diagnòstic d’hiperactivitat. Inicialment va mostrar un bon domini del moviment del cursor tot i que tenia dificultats per seleccionar els botons i mantenir el temps d’espera per fer el clic. Després de les sessions amb el SINA, en Pere és totalment autònom amb l’ordinador, utilitza totes les funcions de la botonera en qualsevol aplicació i escriu amb el teclat virtual.
2.- En Guillem té paràlisi cerebral i tetraplègia i presenta espasticoatetòsic amb major afectació a les extremitats inferiors per l’espasticitat a les extremitats superiors per l’atetosi. Presenta problemes respiratoris, digestius i crisis epilèptiques.Quan va iniciar les sessions amb el SINA, en Guillem no seguia les indicacions, els seus moviments eren bruscos, amplis, sense coordinació. No era capaç de dirigir el cursor sense que l’educador l’indiqués com fer els moviments. Tampoc mantenia l’atenció. Per entrenar-se amb el sistema s’utilitza el Paint i presentacions en .ppt molt senzilles i, malgrat li resultà molt difícil, la motivació d’en Guillem sempre ha estat alta.Actualment és capaç de dirigir el cursor en la direcció desitjada, és capaç de fer moviments del cap més continus i coordinats, manté bé l’atenció en una tasca i comença a poder interactuar amb programes molt senzills.
3.- En Mateu pateix acidúria glutèmica. A l’inici de les sessions treballava amb el coll flexionat realitzant un gran esforç motriu. Perdia freqüentment el focus a causa dels moviments involuntaris o per dirigir l’atenció a altres estímuls. La trajectòria del cursor era discontínua i descoordinada i no podia mantenir-lo aturat i fer el clic. En Mateu demostrà un gran interès en el SINA. Des dels inicis participà molt activament en l’elecció de les aplicacions que volia utilitzar. Actualment en Mateu controla més els moviments del cap i en una postura més correcta. Gairebé no apareixen moviments involuntaris del cap quan maneja el SINA, se’l veu relaxat i és capaç de dirigir el cursor de manera controlada i de resseguir trajectòries. Ja ha començat a utilitzar un teclat virtual.
Els resultats han estat valorats molt positivament per totes les institucions amb usuaris discapacitats, i les millores en l’accés a les TIC per part dels usuaris han estat evidents. Es preveu afrontar una segona fase amb la idea de generalitzar aquest ús i millorar les prestacions del sistema dissenyat amb més funcionalitats.
Segona fase del projecte
A partir dels resultats obtinguts, els grups d’investigació de la UIB implicats en el projecte i els responsables dels centres col·laboradors han enllestit una segona fase amb, entre d’altres, els objectius següents:
1.- Millora del SINA i desenvolupament de noves aplicacions, com és ara integrar sistemes de reconeixement de la veu, per que fa a la vessant tècnica del projecte. Però també, en el vessant pedagògic, proporcionar recursos i estratègies que possibilitin una millor integració.
2.- Analitzar les possibilitats del SINA com a eina rehabilitadora, atesos els resultats obtinguts a la primera fase. D’aquesta manera s’integraran aplicacions que permetin treballar el tractament i la rehabilitació del llenguatge, del control cefàlic, del seguiment ocular, l’orientació espacial, etc.
3.- Integra el SINA en nous contextos: en centres específics d’educació especial, en contextos hospitalaris adreçat a infants en malalties cròniques i discapacitat motòrica, etc.
4.- Desenvolupar recursos que permetin la comunicació mitjançant eines telemàtiques entre els usuaris del SINA i els diferents professionals que participen al projecte.
Projecte finançat
Títol: Sistema d’Interacció Natural Avançat
Acrònim: SINA
Entitats finançadores: Vicepresidència i Conselleria de Relacions Institucionals del Govern de les Illes Balears, l’Institut de Serveis Socials i Esportius de Mallorca, la Fundació IBIT
Investigadors directors del projecte 
Dr. Francisco José Perales. Professor titular del Departament de Ciències Matemàtiques i Informàtica. Director del grup de recerca de Gràfics i Visió per Ordinador i Intel·ligència Artificial . Edifici Anselm Turmeda . Departament de Ciències Matemàtiques i Informàtica.
Universitat de les Illes Balears (UIB). Ctra Valldemossa Km. 7.5CP-07122 Palma de Mallorca, Espanya
Telèfons:971 17 27 11 (Director Unitat)
971 17 23 86 (Laboratori 41-44)
Dr. Joan J. Muntaner. Catedràtic del Departament de Pedagogia Aplicada i Psicologia de l’Educació. Director del grup de recerca Escola inclusiva i diversitat (GREID). Edifici Guillem Cifre de Colonya. Cra, de Valldemossa Km. 7’5
Tel.: 971 17 32 92
Membres dels grups participants 
Dr. Javier Varona Gómez (grup de recerca de Gràfics i Visió per Ordinador i Intel·ligència Artificial)
Cristina Manresa Yee (grup de recerca de Gràfics i Visió per Ordinador i Intel·ligència Artificial)
Dr. Francisca Negre Bennasar (grup de recerca Escola Inclusiva i Diversitat)
Petra Juan Mut (grup de recerca Escola Inclusiva i Diversitat)
Cristina Clar Forteza (Associació de Paràlisi Cerebral de Balears, ASPACE)
Aina Ferretjans Cladera (Associació de Paràlisi Cerebral de Balears, ASPACE)
Maricel Tornabene (Associació de Paràlisi Cerebral de Balears, ASPACE)
Núria Moreno Garcia (Associació Balear d’Esclerosi Múltiple, ABDEM)
Enric Brunet Monserrat (Associació Balear d’Esclerosi Múltiple, ABDEM)