• Interazione Uomo Macchina: ricerca e sviluppo

1st State of the art and Challenges of Research Efforts (S.C.O.R.E.) at (@) POLIBA
3rd- 5th December 2014
Scheda dei gruppi di ricerca
RESEARCH GROUP
•
INDUSTRIAL INFORMATICS – ING-INF/05 - http://www.vitoantoniobevilacqua.it/lab/
COMPONENTI 2013
•
Professori (4): Vitoantonio Bevilacqua, RC; Andrea Guerriero, PA; Francescomaria Marino, PA; Giuseppe Mastronardi, PO,
(responsabile scientifico).
SSD
SETTORI ERC (European Research Council)
ING-INF-05 – Sistemi di Elaborazione delle Informazioni
PE6
LINEE DI RICERCA
•
Interazione Uomo Macchina: ricerca e sviluppo di applicativi software per il riconoscimento delle
emozioni, basato su tre differenti domini: facciale, vocale e gestuale. Attraverso l’utilizzo di semplici
dispositivi non invasivi e le innovative tecniche, oggetto della ricerca, hanno permesso l’estrazione
di alcuni punti fiduciali del volto in grado di definire delle action units (movimento delle
sopracciglia, movimento delle labbra, rughe e così via) e quindi le espressioni facciali. Queste
espressioni facciali sono state successivamente mappate in stati emozionali. Per quanto concerne il
dominio vocale, sono state estratte alcune caratteristiche prosodiche e spettrali (come pitch, mfcc e
così via) della voce che mediante alcune tecniche contemplate nella disciplina del machine learning
hanno permesso la loro mappatura con gli stati emozionali. Nel dominio del gestuale, mediante l’uso
del dispositivo Kinect e quindi l’analisi delle mappe di profondità è stato possibile rilevare i joints
(gomiti, spalle, torso e così via) e le distanze tra i vari joints permettendo così una mappatura dei
gesti per poi identificarli in stati emozionali.
Sviluppo di una piattaforma di Ambient Assisted Living, costituita da due moduli software. Un
modulo di visione artificiale atto a riconoscere le cadute di persone anziane in ambienti domestici
sfruttando le potenzialità e i limiti del sensore Microsoft Kinect. Un modulo di riconoscimento
vocale che si occupa di gestire tutti i tipi di comandi vocali per confermare un probabile “evento
caduta”. All’interno della piattaforma intelligente, il riconoscimento vocale legato all’evento caduta,
fornisce uno strumento di verifica che si aggiunge al modulo caduta, rendendo quest’ultimo più
robusto e affidabile. Il suddetto sistema di riconoscimento vocale è stato utilizzato anche in scenari
tipici della domotica classica (accensione luci, apertura porte, regolazione tapparelle) per impartire al
sistema dei compiti specifici e legati all’attuazione di porte, luci e tapparelle. Esso quindi, si
focalizza sul riconoscimento di comandi impartiti da un utente per cui il sistema riconosce solo un
certo numero di comandi.
Sviluppo di un sistema BCI (Brain Computer Interface) capace di elaborare i segnali provenienti da
un caschetto EEG (Elettroencefalogramma) e tramutarli in comandi di alto livello per pilotare un
avatar all’interno di un ambiente virtuale. I segnali elettroencefalografici sono registrati attraverso
una rete di sensori posizionati all’interno del caschetto. Le tecniche algoritmiche adoperate spaziano
da quelle utilizzate per filtrare i segnali dal rumore alle tecniche più innovative, quali l’adozione di
particolari topologie di reti neuronali, per classificare tali segnali e per poterli utilizzare come
comandi di alto livello. Tale sistema è la base per poter produrre un sistema di monitoraggio dei
parametri del paziente che naviga in un ambiente immersivo e controllato.
Altre tipologie di segnali molto importanti sono quelli elettromiografici, utilizzati in combinazione
ad apparati esoscheletrici. In particolare è stato modellato il sistema muscolo-scheletrico di un arto
superiore umano ed implementato un sistema di predizione delle coppie articolari mediante l'analisi
dei segnali elettromiografici. Lo scopo dello sviluppo di tecniche di controllo (basate sull'utilizzo di
segnali elettromiografici) di esoscheletri per arto superiore è quello a fini riabilitativi.
Il laboratorio è particolarmente attivo nelle interfacce d’interazione basate sul tracciamento oculare
per persone con ridotte capacità ridotte. L’applicazione di algoritmi di elaborazione di immagini e
Computer Vision per l’estrazione di feature oculari consente la stima ed il tracciamento del gaze
finalizzata alla realizzazione di interfacce d’interazione quali eye-typing (tastiere virtuali gaze-based)
e eye-mouse (emulazione del mouse tramite gaze). Queste interfacce, impiegando i dati di gaze,
permettono il controllo delle comuni GUI o la realizzazione di strumenti di comunicazione
aumentativa ed alternativa basati sul tracciamento oculare.
All’interno del laboratorio ci si occupa anche della progettazione ed implementazione di prototipi
NUI (Natural User Interface) atti alla navigazione di ambienti virtuali semi–immersivi in istallazioni
espositive. Sfruttando il flusso delle immagini di profondità restituito dal Microsoft Kinect®,
realizzando il tracking delle gesture dell’utilizzatore ed interfacciandosi a livello di SO con un
visualizzatore Web di immagini ottenute per proiezione esacubica, il tool consente il controllo della
navigazione attraverso il riconoscimento di metafore di interazione naturali ed intuitive.
Il laboratorio è particolarmente attivo nel campo dello sviluppo di applicazioni mobile, in ambiente
Android e iOS, per il riconoscimento vocale al fine di permettere l’attuazione, tramite smartphone, di
componenti di un sistema domotico.
In ambiente mobile, altrettanto importante, è l’interesse del laboratorio nella progettazione e nello
sviluppo di applicazioni per il riconoscimento delle emozioni sia a partire dal segnale vocale che
dalle espressioni facciali, al fine di monitorare il livello di attenzione di un pilota di aereo, oppure il
livello di soddisfazione di un cliente, oppure per monitorare il livello di stress dei dipendenti di
un’azienda, o per la selezione del personale.
In generale, il laboratorio, si occupa anche di interfacce che sfruttano il movimento oculare e il blink
detection.
•
Elaborazione di immagini mediche e CAD: sviluppo e validazione di tecniche mirate al
miglioramento di qualità e accuratezza delle immagini mediche (CT, MRI, HI) e all'estrazione
automatica di parametri morfologici e funzionali utili a caratterizzare e predire stati patologici nei
diversi contesti di applicazione; progettazione e sviluppo di sistemi CAD di supporto alla diagnosi.
Nel contesto dell’elaborazione di immagini mediche il laboratorio attualmente sviluppa i servizi per
il settore nefrologico e onco-ematologico del progetto Smart Health 2.0.
L’obiettivo generale del progetto Smart Health è la creazione di un’infrastruttura tecnologica
innovativa, sulla quale sviluppare diversi servizi ad alto valore aggiunto per consentire l’attivazione
di nuovi modelli di attività nell’area della salute e del benessere.
In ambito nefrologico l’obiettivo è realizzare:
o Sistema di supporto alle decisioni per la valutazione dell’idoneità del rene effettuata
mediante analisi di immagini istologiche. In particolare lo scopo è quello di individuare gli
elementi strutturali presenti nel rene, essendo questa operazione fondamentale per assegnare
lo score di Karpinski per l’idoneità del rene stesso.
o Sistema di visione artificiale per il telemonitoraggio della torbidità del dialisato.
L’obiettivo in ambito oncoematologico è quello di realizzare:
o Sistema di supporto al processo di analisi dello striscio mediante l’elaborazione
dell’immagine istologica del vetrino. Lo scopo è valutare la presenza di importanti famiglie
di patologie come mononucleosi, allergie, epatiti, e, soprattutto, leucemie. Il software, in
particolare, permette di individuare i leucociti presenti all’interno dello striscio analizzato, di
classificarli nelle 5 tipologie (Neutrofili, Linfociti, Monociti, Eosinofili, Basofili) e, infine,
di calcolare la formula leucocitaria del paziente.
Un altro ambito di ricerca riguarda l’analisi di immagini da risonanza magnetica funzionale. La
risonanza magnetica funzionale è un esame diagnostico che cattura il livello di dipendenza
dall’ossigeno del sangue, quantità direttamente correlata con l’attività metabolica dei neuroni.
Questo esame permette dunque di osservare l’attività celebrale durante l’esecuzione di un compito.
La tecnica è utilizzata per comprendere le connettività celebrali e le aree che si attivano o deattivano
in particolari condizioni, come lo svolgimento di un compito, un’attività cognitiva, o per soggetti in
condizioni di patologia mentale. L’analisi riguarda lo studio di un insieme di pazienti schizofrenici
sottoposti a un test mnemonico. In particolare, si vogliono comprendere se esistono specifiche aree
del cervello che si attivano diversamente, rispetto a un corrispondente set di soggetti sani. Lo scopo
finale della ricerca è fornire uno strumento semi-automatico che aiuti il neurologo e lo psichiatra
nella diagnosi di patologie mentali come appunto (ma non solo) la schizofrenia. Lo studio è svolto in
collaborazione con il Dipartimento di Neurologia dell’Università di Bari
•
Bioinformatica e Data Mining: modelli statistici per l’interpretazione dei dati provenienti da
esperimenti di biologia molecolare e biochimica, mediante uso di Microarray; analisi e sviluppo di
algoritmi innovativi a supporto dei processi di Next Generation Sequencing; modelli e strumenti
matematici per l’analisi di sequenze di DNA/RNA, predizione e espressione genica, analisi
dell’allineamento di sequenze proteiche; analisi statistica di dati farmacologici al fine di identificare
e verificare relazioni tra farmaci con stesso esito e relazioni di tipo causa-effetto tra fenomeni di
vario tipo.
Per quanto concerne il Data Mining, le attività di interesse sono molteplici e riguardano lo studio e la
ricerca di tecniche contemplate nella disciplina del Machine Learning atte allo sviluppo di sistemi di
supporto alle decisioni (SSD). In particolare, con l’utilizzo di tecniche ad apprendimento automatico,
come le Reti Neurali Artificiali (ANN), le Support Vector Machine (SVM), ecc., ci si focalizza sullo
sviluppo di modelli per la classificazione dello status emozionale, modelli per la classificazione della
risonanza e dissonanza tra due soggetti durante un colloquio di lavoro, modelli per la predizione dei
rischi correlati ai mezzi per il trasporto postale.
COORDINAMENTO E COLLABORAZIONE A PROGETTI NAZIONALI E INTERNAZIONALI
Il Laboratorio di Informatica Industriale è coinvolto e partner in numerosi progetti di ricerca ed in
particolare:
•
•
PON01_01864: LAMReCor/DeSMO con Poste Italiane SpA (Responsabile Scientifico DeSMO
Mastronardi), il progetto LAMRECOR sviluppa un insieme di soluzioni tecnologiche e servizi per la logistica
avanzata, attraverso una forte integrazione del sistema di smistamento e recapito della corrispondenza e di altri
prodotti postali di Poste Italiane SpA con tecnologie ICT innovative riguardanti l’acquisizione dati, la
componentistica, la modellistica, lo sviluppo di sistemi di elaborazione e trasmissione di dati ed informazioni
ad un’utenza diffusa e diversificata. L'Italia è il paese con la più elevata quantità pro capite di mobilità
motorizzata. Questo scenario non interessa solo la mobilità delle persone ma ovviamente anche la mobilità
delle merci. Nel trasporto terrestre i mezzi privati coprono circa l'82% della domanda. Si registra poi una
crescita sostenuta del trasporto su motocicli e ciclomotori. Le merci continuano a viaggiare prevalentemente su
strada (il 71,9% nel 2008), poco in nave (18,3%) e pochissimo su ferrovia (9,8%). Uno degli ambiti del
progetto riguarda proprio i sistemi logistici basati su veicoli a due ruote. Si tratta di una tematica che interessa
un numero crescente di operatori in tutta Europa e che è particolarmente importante nel nostro Paese, dove la
diffusione dei motocicli – sia nelle attività professionali che nell’uso quotidiano da parte del cittadino – è
particolarmente rilevante. Le tecnologie sviluppate dal progetto ed i risultati ottenuti sono, quindi, di interesse
per un vasto numero di imprese operanti nei settori commerciali più diversi, e si prestano allo sviluppo di una
vasta gamma di servizi al cittadino che interessano una platea di utenti molto ampia. L'obiettivo generale del
progetto è l'analisi delle attività di trasporto degli operatori di Poste Italiane e delle merci attraverso la
realizzazione di sistemi di monitoraggio. Tali sistemi, attraverso la sperimentazione “integrata” di innovazioni
tecnologiche, potranno diffondere buone pratiche e soluzioni innovative applicabili alla minimizzazione
dell’impatto ambientale della flotta di veicoli, alla ottimizzazione dei processi produttivi, al miglioramento del
livello di sicurezza degli operatori, sviluppato sulla base dell’analisi di dati relativi alla movimentazione di
merci/attrezzature, nonché di dati relativi al funzionamento ed allo stato dei mezzi, ed attuato attraverso la
realizzazione e l’implementazione di sistemi multi-sensore e lo sviluppo e progettazione di dispositivi di
ausilio per situazioni di emergenza
PON FIT B01/0660/02/X17: SS-RR con AMT Services s.r.l. (Responsabile Scientifico Bevilacqua), il
progetto di ricerca SS-RR (Sviluppo di un Sistema per la Rilevazione della Risonanza) si pone l’obiettivo di
sviluppare delle metodologie che, supportate da tecnologie esistenti, possano dar vita a servizi innovativi. In
particolare lo scenario in cui ci si muove è quello in cui vi è interesse a rilevare i livelli di armonia relativi ad
uno o più individui in relazione ad una serie di eventi e stimoli esterni. Ci si riferisce, ad esempio, alla
misurazione del gradiente di soddisfazione di un interlocutore, al gradiente di felicità di un soggetto
intervistato, al gradiente di interesse di uno studente nel corso di una lezione, etc. Da questo punto di vista,
l’innovazione e l’utilità portati dal programma potranno tradursi nella moderna volontà di conoscere la sintonia
esistente tra le persone che interagiscono, nella misurazione della accresciuta conoscenza, preparazione o
interesse maturati a valle di un confronto, di un dialogo, di una lezione, di un’indagine, di un’esperienza di
gruppo. Questo progetto ha l’obiettivo di utilizzare le tecnologie attualmente disponibili sul mercato per creare
dei servizi a valore aggiunto. In particolare utilizzando dispositivi quali smart-phone, iPhone, palmari, portatili
di ultima generazione è possibile pensare di utilizzare dei software associati ad opportuna sensoristica in grado
di acquisire informazioni sullo stato emotivo di chi si sta monitorando. I dati a cui si fa riferimento sono quelli
propri del corpo umano sottoposto a particolari sollecitazioni fisico-emotive. Dall’incrocio di questi dati sarà
possibile, attraverso sofisticati modelli propri della psicologia, ricostruire il gradiente di soddisfazione di un
•
•
•
•
•
interlocutore, il gradiente di felicità di un soggetto intervistato, il gradiente di interesse di uno studente nel
corso di una lezione, etc. Come precedentemente argomentato, quindi, non sarà necessario utilizzare sofisticate
apparecchiature invasive, ma unicamente sfruttare le possibilità fornite dai moderni dispositivi, l’introduzione
di modelli derivanti dalla psicologia e in grado di legare parametri fisici-emozionali a stati della persona e
l’utilizzo di software appositamente progettati ed implementati in grado di collezionare, attraverso l’utilizzo di
semplici dispositivi non invasivi, simili all’iPod per tipologia e dimensione, i dati.
LivingLabs: IHCS (Responsabile Scientifico Bevilacqua) IHCS ( Innovative Health Care System ) è un
progetto finanziato dalla regione Puglia in ambito di un bando Living Lab, al quale hanno preso parte diverse
aziende con l’obiettivo di sviluppare un sistema di telemedicina, atto a favorire la riabilitazione ed il
monitoraggio costante di pazienti affetti da malattie rare neurodegenerative. L’architettura logico – fisica del
sistema è costituita da un nodo centrale ( portale web ) che ha il compito di tenere traccia di informazioni
relative a quattro tipi di attori: pazienti, care giver , medici di base e\o specialisti. In qualsiasi momento,
ciascuno di questi attori è in grado di accedere ad una serie di informazioni ( opportunamente filtrate a seconda
dei casi ) tramite il portale web. E’ importante sottolineare che l’intero progetto è finalizzato a monitorare un
determinato sottoinsieme di pazienti, ovvero coloro che sono affetti da malattie neurodegenerative, nella
fattispecie la malattia di Huntington.
LivingLabs: eSUAP (Responsabile Scientifico Bevilacqua), Piattaforma integrata di gestione telematica
dell’ufficio dello Sportello Unico delle Attività Produttive (SUAP) territoriale, rivolta all’utente di back office
e all’utente cittadino/ impresa/ professionista portatore di istanze, rispondente alle normative cogenti. Il
servizio sarà completamente telematico, efficiente e trasparente, per rendere più efficace l'iter procedurale e
istruire, in autonomia e in maniera guidata, i procedimenti amministrativi con il pieno controllo, continuo e
attivo, sulla istruzione ed evoluzione dei propri procedimenti amministrativi.
LivingLabs: ResCap (Responsabile Scientifico Bevilacqua), “Residual Capabilities” coinvolge le branche
della Realtà Virtuale, Brain Computer Interfaces (BCI) e Domotica e si prefigge l'obiettivo di riqualificare gli
ambienti vitali di soggetti affetti da disagi psico-fisici allo stadio iniziale della perdita dell'autonomia al fine di
ridurre lo stress che questi soggetti percepiscono all'interno di tali ambienti. Attraverso una fedele
acquisizione, digitalizzazione e virtualizzazione degli ambienti reali, il soggetto viene immerso nell'ambiente
virtuale all'interno del quale possono essere variate in real-time caratteristiche come l'illuminazione o suoni
dell'ambiente. Servendosi di sensoristica EEG/ECG si cercano di individuare la condizione di stress del
paziente e di localizzarne la fonte. La configurazione migliore degli ambienti viene poi utilizzata come linee
guida per la progettazione e installazione di un sistema domotico ad-hoc in grado di implementare le modifiche
decise. Il sistema di somministrazione di realtà virtuale permette la modifica delle fattezze degli ambienti
tramite messaggi JSON inviati su una connessione TCP tra l'interfaccia dell'operatore medico e il visore di
realtà virtuale Oculus Rift che indossa il soggetto. Allo stesso tempo, il paziente indossa il frontino MuseBand
o un equivalente sensore per l'elettroencefalografia (EEG), allo scopo di monitorare una sua eventuale
condizione di stress riconosciuta attraverso l'osservazione dei segnali cerebrali catturati tramite i suddetti
elettrodi. L'implementazione tramite dispositivi domotici prevede la variazione del colore delle pareti tramite
strip-led, variazione di intensità e colore delle comuni fonti luminose interne (cromoterapia), diffusione di
suoni di voci famigliari e/o riproducenti particolari ambientazioni, tracciamento di percorsi luminosi colorati
sul pavimento come rapida guida per l'individuazione di vani d'interesse nell'appartamento (come i servizi
sanitari o la cucina). A sistema domotico implementato, i parametri vitali del paziente verranno continuamente
tenuti sotto controllo remoto da un centro d'elaborazione dati ad-hoc dove dei medici specialisti osserveranno
le risposte del paziente nella nuova configurazione degli ambienti e decideranno, qualora lo ritengano
opportuno, di variare le impostazioni dei dispositivi domotici.
Partenariato regionale: MET-AAL (Responsabile Scientifico Bevilacqua), “METhodology and instruments
for pervasive model in Ambient Assisted Living” è una piattaforma di ambient intelligence dotata di tecnologia
pervasiva utile per fornire supporto, assistenza e servizi ai soggetti con carenze di autosufficienza. Ogni
elemento disposto nell’ambiente costituisce un nodo di rete in grado di trasferire informazioni ad un sistema di
monitoraggio e controllo che, tramite algoritmi previsionali, adegua la risposta dell’ambiente in funzione del
contesto percepito e delle esigenze del soggetto.
Partenariato regionale: SKIN (Responsabile Scientifico Bevilacqua)
COLLABORAZIONE CON LABORATORI O CENTRI DI RICERCA STRANIERI
Il laboratorio collabora con i seguenti gruppi di ricerca:
•
•
•
•
•
Università degli Studi di Bari (Dipartimento di Biologia molecolare, Dipartimento di Neurologia e Organi di
Senso, Dipartimento di Emergenza e Trapianti di Organo, Dipartimento di Medicina Interna e Medicina
Pubblica)
Consorzio BioSistema scrl (Centro di Competenza Tecnologica, sede legale presso Università di Sassari)
Istituto Tumori Giovanni Paolo II di Bari
Laboratorio Percro Scuola Superiore Sant’Anna
Laboratorio Accreditato MIUR di AMT Services srl
APPARTENENZA A COMITATI EDITORIALI
Springer LNCS-LNAI – Proceedings of International Conference on Intelligent Computing
Mondo Digitale (Organo Ufficiale AICA - indicizzata Scopus)
Franco Angeli (Collana di Informatica)
Organizzazione di eventi scientifici in sede internazionale
1. Program Chair of ICIC (International Conference on Intelligent Computing) 2009;
2. Publication Chair of ICIC 2010;
3. Tutorial Chair of ICIC 2011;
4. Publication Chair of ICIC 2012;
5. Workshop/Special Session Chair of ICIC 2013;
6. Award Committee Chair of ICIC 2014;
7. Lecturer at International School on Medical Imaging using Bio-inspired and Soft Computing-Miere
(Spain) MIBISOC FP7-PEOPLE-ITN-2008 nel 2011.
RISULTATI DELLA RICERCA 2013 (co–autori in corsivo)
PRODUZIONE SCIENTIFICA
• Contributi in rivista: Bevilacqua, 3;
• Monografie: Bevilacqua ,1 ;
• Proceedings: Bevilacqua ,4 ; Mastronardi ,1; Marino ,1.
PUBBLICAZIONI CON CO–AUTORI STRANIERI: ; Bevilacqua, 1
PROGETTI COMPETITIVI:
•
PON01_01864: LAMReCor/DeSMO con Poste Italiane SpA (Responsabile Scientifico DeSMO Mastronardi)
•
PON FIT B01/0660/02/X17: SS-RR con AMT Services s.r.l. (Responsabile Scientifico Bevilacqua)
•
LivingLabs: IHCS ( Innovative Health Care System ) (Responsabile Scientifico Bevilacqua)
•
LivingLabs: ResCap Residual Capabilities (Responsabile Scientifico Bevilacqua)
•
LivingLabs: eSUAP (Responsabile Scientifico Bevilacqua)
•
Partenariato regionale: MET-AAL “METhodology and instruments for pervasive model in Ambient Assisted
Living “, (Responsabile Scientifico Bevilacqua)
•
Partenariato regionale: SKIN “Sysstem of Knowledge delivered by an Innovative Network “, (Responsabile
Scientifico Bevilacqua)

Download Report