01/07/2014 Laboratorio di Modellistica SanitarioSanitario-Ambientale Analisi di sensitività, calibrazione e valutazione dell ’ incertezza degli input di un modello matematico: matematico: fondamenti e metodologie Giorgio Mannina [email protected] Sommario Definizioni Generalità sull’analisi di sensitività Analisi di sensitività di tipo locale Analisi di sensitività di tipo globale Classificazione matematico dell ’ incertezza di un modello Il metodo Monte Carlo Tecniche di campionamento casuale: Latin Hypercube sampling, Simple random Sample (SRS) Calibrazione di un modello matematico Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 1 01/07/2014 Definizioni Analisi di sensitività L’analisi di sensitività (AS) di un modello matematico è quel processo attraverso il quale è possibile studiare la variazione della risposta del modello (output del modello) al variare di uno o più fattori di input (parametri e/o variabili) e discriminare tra fattori influenti e non influenti. Incertezza L’incertezza è un indicatore del livello di ignoranza/conoscenza di un sistema o processo Analisi di incertezza L’analisi dell’incertezza (AI) di un modello matematico è quel processo attraverso il quale è possibile individuare, in funzione della sorgente di incertezza, il grado di incertezza degli output del modello Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Definizioni Calibrazione La calibrazione di un modello è il processo di “aggiustamento” del valore dei parametri finalizzato al miglioramento del fitting tra i valori delle variabili simulate ed i dati misurati per le stesse variabili. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 2 01/07/2014 Calibrazione outliers!! y E2 E4 En E1 E3 outliers!! x F.O. = MIN [f(Somma(E1…En)] Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Generalità sull’ sull’analisi di sensitività L’analisi di sensitività I valori dei fattori di input del modello vengono perturbati (singolarmente, a gruppi o contemporaneamente) all’interno di un fissato campo di variazione (per fissata distribuzione) al fine di identificare la sensitività per ogni fattore del modello. Il processo di AS permette di determinare, all’interno di limiti ragionevoli, quali parametri o variabili di input hanno sull’output del modello un effetto che può essere considerato trascurabile, significativo, lineare o non lineare Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 3 01/07/2014 Nomenclatura Alta Interazione Fattori “interacting” Fattori importanti Fattori non influenti Bassa Bassa Sensitività Soglia per la misura di sensitività Fattori “interacting” Alta Soglia per la misura di interazione Fattori influenti Prof. G. Mannina - Laboratorio di Modellistica Sanitario Sanitario--Ambientale Generalità sull’ sull’analisi di sensitività I parametri di un modello non sono sensibili e/o insensibili Un modello (intendendo l ’ output) risulta sensibile e/o insensibile ai parametri del modello stesso!! Prof. G. Mannina - Laboratorio di Modellistica Sanitario Sanitario--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 4 01/07/2014 Generalità sull’ sull’analisi di sensitività Perché effettuare una AS? Le motivazioni per le quali si esegue una AS sono molteplici e dipendono dall ’ obiettivo prefissato dal modellatore. Il modellatore può condurre l’AS per determinare: se il modello descrive in modo appropriato il sistema o il processo modellato. Un modello non descrive in modo appropriato i processi coinvolti se esso è fortemente dipendente dai fattori supposti non influenti o se il range di predizione del modello è fisicamente improbabile. In tal caso, l’AS evidenzia la necessità di rivedere la struttura del modello stesso; se esiste una regione nello spazio dei fattori di input per cui la variazione del modello risulta massima; le regioni ottimali all’interno dello spazio dei fattori da utilizzare in un successivo studio di calibrazione; Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Generalità sull’ sull’analisi di sensitività Perché effettuare una AS? Si rende possibile valutare se e quali fattori o gruppi di essi interagiscono tra di loro. Infatti, nella maggior parte dei modelli ambientali gli effetti combinati dei fattori non possono essere espressi dalla somma dei singoli effetti. Ciò implica una interazione tra i fattori che può avere implicazioni importanti in uno studio modellistico; È possibile valutare quali siano i fattori di input che contribuiscono maggiormente alla variazione dell ’ output e quali, invece, richiedono ulteriori studi al fine di migliorarne la conoscenza di base. L’individuazione di tali fattori agevola la fase preliminare di pianificazione del processo sperimentale consentendo di pianificare un piano sperimentale ad hoc finalizzato a trarre più informazioni dai dati che si intende rilevare. In tal modo è possibile minimizzare l’incertezza dei risultati del modello legata agli errori di misura; Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 5 01/07/2014 Generalità sull’ sull’analisi di sensitività Perché effettuare una AS? si rende possibile valutare individuare i parametri poco significativi del modello. Sono poco significativi quei parametri la cui variazione non produce cambiamenti rilevanti nell’output del modello. Nel caso in cui il modello risultasse più complesso rispetto alle necessità del modellatore tutti quei fattori, processi e quindi parametri che risultano poco significativi per l’oggetto dello studio possono essere trascurati. La conoscenza di tutti i parametri che influenzano invece in modo significativo la risposta del modello favorisce/migliora la fase di calibrazione di un modello. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Generalità sull’ sull’analisi di sensitività Le tipologie di AS I metodi di AS possono essere suddivisi, sulla base dello spazio fattoriale di interesse, in due grandi classi: metodi di analisi di sensitività locale (ASL) e metodi di analisi di sensitività globale (ASG). Tipo locale Analisi di sensitività Tipo globale Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 6 01/07/2014 Generalità sull’ sull’analisi di sensitività Le tipologie di AS I metodi di ASL focalizzano l’attenzione sull’impatto locale che i fattori di input hanno sull’output di un modello. In tale contesto, interessa valutare l ’ effetto sull ’ output del modello di piccole variazioni dei fattori di input rispetto a predefiniti valori nominali, generalmente considerate singolarmente. I metodi di ASG valutano l ’ effetto che la variazione contemporanea, in ampi range di variazione, dei fattori di input ha sull’output del modello. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività locale Introduzione La ASL viene condotta mediante il calcolo di derivate parziali delle funzioni di output rispetto alle variabili di input; i metodi di ASL vengono infatti anche chiamati “metodi basati sulle derivate”. Al fine di valutare tali derivate numericamente, ogni parametro xi di input viene fatto variare nell ’ intorno di un valore nominale (xinom) e valutata la risposta del modello per ogni output y. ( ∆y = ∑ yi − yin om x2 i x2nom ) 2 ∆y MODELLO MODELLO x1nom perturbazioni parametriche x1 simulazioni x2nom x1nom valutazione della variazione di uscita Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 7 01/07/2014 Analisi di sensitività locale Peculiarità dell’ dell’ASL L’ASL può essere vista come un particolare caso di approccio one factor at a time (OAT), poiché durante la variazione del singolo fattore tutti gli altri vengono mantenuti costanti. L’approccio locale è applicabile quando la variazione attorno al valore nominale, di ognuno dei fattori di input, risulta essere talmente piccola da potere assumere verosimilmente lineare la relazione che intercorre tra input e output. I metodi di ASL risultano poco utili laddove l ’ obiettivo dell’analisi è quello di confrontare l’effetto della variazione dei diversi fattori di input sugli output del modello, poiché in tal caso l’incertezza relativa di ogni fattore di input dovrebbe essere pesata. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività locale Peculiarità dell’ dell’ASL I metodi di ASL presenti in letteratura hanno la caratteristica di essere molto efficienti in termini computazionali, in quanto richiedono un numero di perturbazioni sufficientemente basso per singolo fattore da analizzare. Tuttavia, i metodi ASL sono inefficienti in termini di tempo di programmazione. Essi richiedono, ad esempio, al fine di eseguire le operazioni di analisi OAT, l’intervento da parte del modellatore sul codice aumentando così l ’ incertezza legata agli errori di programmazione. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 8 01/07/2014 Analisi di sensitività locale Le funzioni di sensitività La variazione del fattore xi determina una variazione dell’output y. La sensitività del generico parametro xi sull ’ output y viene quantificata mediante una “funzione di sensitività”. Particolare attenzione, nell’applicazione dell’ASL ricopre la scelta della funzione di sensitività adottata per quantificare l’influenza che il fattore xi ha sull’output y. L’esito dell’ASL, ad esempio, di un modello per la simulazione di un impianto di depurazione, può essere fortemente influenzato dalle condizioni operative, dalla caratterizzazione del refluo influente e dalla natura dell’indice e/o coefficiente di sensitività utilizzato. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività locale Le funzioni di sensitività La misura della sensitività locale, si,j, del parametro xi rispetto alla variabile yj è in genere rappresentata dalla pendenza della funzione che descrive il valore di yj al variare di xi come segue: si , j = ∂y j ∂ xi Tale misura di sensitività descrive la variazione assoluta di una variabile di output del modello per variazione unitaria (assoluta) del valore del parametro, essa dipende tanto dall’ordine di grandezza della variabile di output quanto da quello del parametro. Tale circostanza ha l ’ inconveniente di rendere impossibile il confronto tra le misure di sensitività di diverse variabili di output o di una stessa variabile ma calcolate rispetto a diversi parametri Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 9 01/07/2014 Analisi di sensitività locale Le funzioni di sensitività Per ovviare all ’ inconveniente sopra citato la funzione di sensitività viene normalizzata. Tale normalizzazione può essere seguita rispetto al valore della variabile corrispondente al valore nominale del parametro e rispetto al valore del parametro nominale stesso : si , j nom ∂y j xi = y j nom ∂ x i Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Peculiarità dell’ dell’ASG La ASG consente di quantificare l’impatto che l’intero spazio parametrico ha sull ’ output del modello comportando la variazione contemporanea di tutti i fattori di input. Nella ASG l’incertezza dell’output del modello viene associata all’incertezza dei fattori di input e descritta, tipicamente, da funzioni di distribuzione di probabilità che coprono i range di variazione dei fattori. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 10 01/07/2014 Analisi di sensitività globale Peculiarità dell’ dell’ASG Le proprietà fondamentali dell’analisi di sensitività di tipo globale sono: L ’ influenza del fattore di scala e della forma distribuzione: in particolare si tiene conto dell’effetto range di variazione del singolo fattore e la rispettiva della funzione di densità di probabilità hanno sulla della sensitività dello stesso. della che il forma stima Media multidimensionale: la stima della sensitività di ogni fattore viene effettuata variando contemporaneamente tutti i fattori di input e facendo riferimento dunque al contemporaneo effetto su tutte le variabili del modello Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Peculiarità dell’ dell’ASG L’adozione di un metodo ASG ha l’inconveniente di richiedere tempi computazionali >> rispetto a quelli necessari per la ASL in quanto la variazione contemporanea di tutti i parametri determina un incremento del numero di simulazioni necessarie. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 11 01/07/2014 Analisi di sensitività globale Classificazione dei metodi di ASG I metodi di analisi ASG vengono generalmente suddivisi in tre grandi categorie: Metodi basati sulla decomposizione della varianza: Sobol ’ , Fourier Amplitude Sensitivity Test (FAST), Extended-FAST, etc… Metodi di screening: Morris screening, Latin Hypercube-OAT, etc… Metodi basati sulla regressione lineare: analisi della regressione lineare standardizzata (SRC), analisi di regressione a step, etc… Di seguito vengono presentate le caratteristiche peculiari di ognuna delle categorie elencate entrando nel dettaglio dei metodi SRC, Morris screening e Extended-FAST Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST Il metodo Extended-FAST è basato sul teorema di decomposizione della varianza. A tal proposito si riportano di seguito alcune utili definizioni: Valore atteso: atteso: il valore atteso (chiamato anche media, speranza o speranza matematica) di una variabile casuale X, indicato con E[X], è un parametro di sintesi del valore medio di un fenomeno aleatorio. Nel caso in cui la variabile casuale sia discreta (la variabile casuale assume un numero finito o una infinità numerabile di valori) il valore atteso della variabile X è dato dalla somma dei possibili valori di tale variabile, ciascuno moltiplicato per la probabilità di essere assunto (ossia di verificarsi), cioè è la media ponderata dei possibili risultati. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 12 01/07/2014 Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST Varianza: la varianza di una variabile casuale x fornisce la Varianza: misura di quanto siano dispersi i valori assunti dalla variabile, ovvero di quanto si discostino dal valore atteso. La varianza della variabile casuale x viene indicata con σ2(x) o Var(x) ed è espressa come il valore atteso del quadrato della variabile xE[x]: σ 2 ( x ) = Var ( x ) = E [( x − E [ x ])2 ] La formula per la varianza di un'intera popolazione è: σ 2 ( x ) = Var ( x) = ) ( 2 1 N ∑ xi − x N i =1 dove N rappresenta la dimensione della popolazione e x la media aritmetica della popolazione. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST In sintesi, il teorema della decomposizione della varianza afferma che la varianza dell’output Y di un modello, indicata con Var(Y), può essere partizionata nel seguente modo: Var ( Y ) = n n ∑D + ∑D i i =1 i≤ j ≤n ij + ... + n ∑D 1...n (1) i ≤ ... n dove Di rappresenta l’effetto del primo ordine del fattore i-esimo: [ ] Di = Varxi E x−i (Y xi ) Il pedice xi indica che viene assunta la variazione del solo fattore iesimo mentre x-i indica che viene assunta la variazione per tutti i fattori tranne l’i-esimo (tutti i fattori sono noti tranne l’i-esimo) Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 13 01/07/2014 Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST n Mentre ∑D i ≤ j ≤n ij + ... + n ∑D rappresenta l’interazione tra gli n fattori 1...n i ≤...n coinvolti o somma degli effetti di ordine superiore al primo. Nello specifico l’interazione tra i parametri i e j viene calcolata come segue: [( [ )] [ ( )] ] Di j = Var E Y xi , x j − Varxi Ex−i (Y xi ) − Varx j Ex− j Y x j varianza del valore atteso di Y noti tutti i fattori tranne xi e xj varianza del valore atteso di Y noti tutti i fattori tranne xj varianza del valore atteso di Y noti tutti i fattori tranne xi Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST Dividendo tutti i membri della (1) per Var(Y) si ottiene n n 1= ∑ i =1 ∑D Di i≤ j ≤n ij n ∑D 1...n + ... + i≤...n Var ( Y ) Var ( Y ) Var ( Y ) + somma degli indici del primo ordine di tutti gli n fattori somma degli indici di ordine superiore al primo. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 14 01/07/2014 Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST Pertanto la somma tra gli effetti di ordine totale relativamente a tutti i fattori coinvolti è pari ad 1. Dunque nel caso in cui si voglia calcolare l’effetto dell’ordine totale di un fattore bisogna sottrarre ad 1 il valore della varianza del modello associata alla interazione tra il fattore in esame e gli altri coinvolti. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST L ’ applicazione del metodo Extended-FAST non richiede alcuna assunzione sulla struttura del modello (lineare, monotono, etc.). Per ogni fattore il metodo Extended-FAST fornisce due misure di sensitività: Si = ( ) Varxi E x−i (Y xi ) Var (Y ) Indice dell’effetto del primo ordine Si rappresenta il contributo alla varianza del modello,Var(Y), dovuto al solo fattore i, senza considerare l’interazione dell’ isimo fattore. In particolare Si rappresenta la percentuale di riduzione della varianza (in media) che si avrebbe se il fattore isimo fosse noto. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 15 01/07/2014 Analisi di sensitività globale Metodi basati sulla decomposizione della varianza: il metodo ExtendedExtended-FAST ST i = 1 − ( ) Varx−i E xi (Y x −i ) Var (Y ) Indice dell’effetto totale STi rappresenta il contributo alla varianza del modello,Var(Y), dovuto al solo fattore i, considerando pure le interazione tra i fattori. In particolare, rappresenta la percentuale di riduzione della varianza (in media) che si avrebbe se tutti i fattori tranne i fossero noti. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Di Analisi di sensitività globale Metodi di screening: il metodo Morris screening Il metodo Morris screening si basa sulla quantificazione degli effetti elementari (EE) che la variazione dei fattori di input producono sugli output del modello. In particolare l’effetto elementare dell’i-esimo fattore (EEi) conseguente ad una perturbazione ∆ del fattore rappresenta la differenza relativa tra l’output del modello ottenuto con e senza perturbazione: EE i ( x1 ,..., x n , ∆ ) = y ( x1 ,..., x i −1 , x i + ∆, x i +1 ,..., x n ) − y ( x1 ,..., x n ) ∆ Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 16 01/07/2014 Di Analisi di sensitività globale Metodi di screening: il metodo Morris screening Per ogni fattore i la misura della sensitività è espressa dalla media (µ) e dalla deviazione standard (σ) della funzione degli effetti elementari; µ quantifica l ’ importanza del fattore e σ l’interazione Il metodo Morris screening richiede un numero di simulazioni che è pari a r(N+1), dove N è il numero di fattori ed r il numero di ripetizioni nel campionamento OAT del fattore (varia da 5-70) Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla regressione lineare: il metodo Standardized Regression Coefficients - SRC Il metodo SRC è basato sulla esemplificazione mediante regressione lineare multipla degli output del modello: n y j = bo + ∑ bi ⋅ xi + ε i =1 dove yj reppresenta l’output j-esimo del modello, xi l’i-esimo fattore, n il numero di fattori, bi le pendenze della regressione e ε l’errore random del modello di regressione. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 17 01/07/2014 Analisi di sensitività globale Metodi basati sulla regressione lineare: il metodo Standardized Regression Coefficients - SRC Le pendenze della regressione standardizzata rappresentano la misura di sensitività espressa dal coefficiente di regressione (SRC). Tale pendenza è esplicitabile come segue: SRC ( x i ) = β i = bi ⋅ σ xi σ y Dove σxi e σy rappresentano rispettivamente la deviazione standard del fattore e dell’output Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale Metodi basati sulla regressione lineare: il metodo Standardized Regression Coefficients - SRC Il metodo SRC è applicabile qualora il coefficiente di determinazione R2, che è la porzione della varianza totale rappresentata dal modello di regressione, sia maggiore di 0.7. Il segno di βi indica se l’effetto della variazione del fattore sulla variazione dell’output è positivo o negativo (effetto positivo: aumentando xi aumenta y; effetto negativo aumentando xi diminuisce y) Il valore assoluto di β i da il grado di influenza del fattore. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 18 01/07/2014 Analisi di sensitività globale:SRC 1 Quantità Sensitivity [βi] (a) Threshold 0.5 0 -0.5 -0.5 -1 1 2 3 4 5 6 1 7 8 9 10 11 12 13 14 15 16 17 Parameter No. (b) Qualità 0.5 0 -0.5 -1 Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Analisi di sensitività globale: Morris 1 (a) Treshold * µ i=+2SEMi 0.8 Parameter 0.6 σ Quantità 0.4 2 3 0.2 4 5 0 0 0.2 0.4 1 µ* 0.6 0.8 1 0.6 0.8 1 (b) 0.8 Qualità 0.6 8 2 16 3 9 6 0.4 15 0.2 0 1 0 0.2 0.4 µ* Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 19 01/07/2014 Analisi di sensitività globale: EE-Fast 1 (a) Si Interaction Quantità Sensitivity [Si, STi] 0.8 0.6 0.4 0.2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Parameter No. 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Parameter No. 1 (b) 0.8 Qualità 0.6 0.4 0.2 0 1 Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Classificazione dell’ dell’incertezza Fonti di incertezza Qualunque sia il modello in analisi le fonti di incertezza delle predizioni del modello possono essere classificate in 4 grandi categorie: Input del modello. A questa categoria appartengono tutti i dati necessari per eseguire le simulazioni (nel caso di un modello di un impianto di depurazione: portate in ingresso, caratteristiche del refluo da trattare…) Struttura del modello Parametri del modello Metodo di implementazione e/o risoluzione adottato (software, linguaggio di programmazione) Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 20 01/07/2014 Classificazione dell’ dell’incertezza Fonti di incertezza Schematizzazione delle fonti di incertezza nel caso di un modello ASM: Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Valutazione dell’ dell’incertezza La valutazione dell ’ incertezza di un modello matematico considera in primo luogo la definizione dello scopo del modello che include la identificazione delle sorgenti rilevanti di incertezza. Identificata ogni singola fonte di incertezza e selezionate le fonti significative, è possibile valutare l’incertezza. Esistono diversi metodi per quantificare l’incertezza, tra i quali: Metodi usati per caratterizzare e classificare (in funzione della significatività) le incertezze: Valutazione della qualità dei dati Stima dei parametri Analisi di sensitività … Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 21 01/07/2014 Valutazione dell’ dell’incertezza Metodi finalizzati ad incrementare dell’’informazione: Controllo di qualità Coinvolgimento dei portatori di interesse … la qualità Metodi usati per quantificare e propagare l’’incertezza di modelli di calcolo finalizzati a quantificare l’’ incertezza dell’’output del modello: Propagazione Gaussiana dell’errore Simulazioni di Monte Carlo Analisi di scenari … Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale I metodi Monte Carlo Generalità Il metodo Monte Carlo è un procedimento matematico basato sull'utilizzazione di numeri casuali. La definizione più utilizzata è la seguente: Il metodo di Monte Carlo consiste nel cercare la soluzione di un problema, rappresentandola quale parametro di una ipotetica popolazione e nello stimare tale parametro tramite l'esame di un campione della popolazione ottenuto mediante sequenze di numeri casuali.. casuali Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 22 01/07/2014 I metodi Monte Carlo Gli step del metodo Si effettua un numero elevato di simulazioni deterministiche variando uno o più parametri in modo casuale secondo una statistica predefinita Si analizzano i risultati delle simulazioni su base statistica Si cerca un legame fra la statistica del parametro e quella dell’uscita del modello Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale I metodi Monte Carlo Esempio di metodo Monte Carlo Variazioni casuali del rateo di crescita di una popolazione Es. Sviluppo di una popolazione in funzione del rateo di crescita 120 Si considera media e varianza delle simulazioni 100 P opul ti Popolazione 80 Si correla la distribuzione del rateo di crescita alla distribuzione della popolazione 60 40 r 20 0 0 20 40 60 Tempo pop 80 100 120 Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 23 01/07/2014 I metodi Monte Carlo Particolare interesse nei metodi di tipo Monte Carlo ricopre la forma della distribuzione di probabilità della popolazione che può essere di vario tipo a seconda del caso in esame (Poisson, normale, uniforme esponenziale…) Un altro elemento chiave dei metodi Monte Carlo è rappresentato dal metodo adottato per il campionamento casuale (Latin hypercube sample, simple random sample…) che caratterizza il metodo stesso Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Tecniche di campionamento casuale Simple random sample Il Simple random sample (SRS) (campionamento casuale semplice) rappresenta il naturale punto di partenza per lo studio di tutti gli altri disegni campionari. L’SRS è un campionamento di tipo equiprobabilistico Si consideri una popolazione di N unità dalla quale si debba estrarre un campione di n unità distinte. L’SRS è la tecnica che attribuisce la stessa probabilità di selezione ad ogni insieme di n unità distinte della popolazione. Consegue dalla precedente definizione che anche ogni singola unità della popolazione ha la stessa probabilità di entrare a far parte del campione. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 24 01/07/2014 Tecniche di campionamento casuale Simple random sample Nella selezione di un campione casuale è possibile scegliere se ogni unità possa entrare più di una volta nel campione. Se questa possibilità non è ammessa il campionamento è detto senza ripetizione, ripetizione altrimenti con ripetizione. ripetizione Nella pratica, l'estrazione con ripetizione viene adottata raramente. E' intuitivo che, fissata la dimensione del campione, l'osservazione ripetuta di una o più unità rappresenta una perdita di informazione. E' tuttavia anche evidente che la distinzione tra estrazione con e senza ripetizione perde gradualmente di importanza all'aumentare della dimensione della popolazione di rilevazione. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Tecniche di campionamento casuale Simple random sample Seppure il metodo SRS sia tra i più semplici metodi di campionamento casuale esso è anche il meno efficiente qualora sia necessario ridurre il campionamenti e quindi le simulazioni da effettuare. Ciò è dovuto al fatto che al diminuire della dimensione campionaria diminuisce la probabilità di coprire l’ intero range di variazione della variabile aleatoria, ottenendo così un campione falsato. Al fine di ovviare a tale problema si preferiscono, nel caso si voglia ridurre il numero di simulazioni, i metodi di campionamento stratificati. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 25 01/07/2014 Tecniche di campionamento casuale Latin Hypercube sampling (LHS) La Latin Hypercube Sampling (LHS) (campionamento ad ipercubo latino) è un metodo di campionamento casuale di tipo stratificato. Ciò implica che il metodo LHS è basato sulla suddivisione del campo di esistenza delle variabili aleatorie (ad esempio parametri) in N regioni a cui competa la stessa probabilità. Il campionamento casuale è limitato ad un numero pari ad N campioni: si estrae infatti per ogni variabile un singolo campione per regione. Si generano in seguito N combinazioni casuali di questi campioni in modo che ogni campione venga utilizzato una sola volta e che tutti i campioni vengano utilizzati Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Tecniche di campionamento casuale Latin Hypercube sampling (LHS) Esempio di LHS nel caso in cui le variabili aleatorie sono due (parametri φ1 e φ2) il cui campo di esistenza è suddiviso in N=10 parti. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 26 01/07/2014 Calibrazione di un modello matematico Introduzione Il processo di calibrazione e/o di stima dei parametri di un modello è definito come: la determinazione dei valori ottimali dei parametri ottenuta mediante l’ausilio di dati sperimentali nell’ipotesi che la struttura del modello (relazioni tra variabili e parametri) sia esplicitamente nota. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Calibrazione di un modello matematico Le fasi Le fasi del processo di calibrazione prevedono: Scelta del data set set di dati da adottare in fase di stima; set di dati da adottare in fase di validazione del modello con i valori dei parametri stimati Identificazione dei parametri da calibrare Analisi di identificabilità strutturale: se un parametro è combinazione di altri e tale combinazione è esplicitata da una legge, noti i valori misurati di tutti i parametri della legge tranne uno, il valore del parametro incognito è bene calcolarlo a partire dalla legge ed escluderlo tra i parametri da calibrare Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 27 01/07/2014 Calibrazione di un modello matematico Le fasi Analisi di identificabilità pratica: consente di individuare quali parametri possono essere calibrati a partire dai dati disponibili. Analisi di sensitività Differenziazione tra parametri lineari e non Il legame tra parametri del modello e variabili può essere di tipo lineare o meno, poiché la non linearità complica il processo di stima dei parametri è importante discriminare tra parametri lineari e non. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Calibrazione di un modello matematico Le fasi Linearizzazione del modello E’ pratica abbastanza frequente quella di rendere lineari modelli che nella loro forma originale sono non-lineari. Un esempio è il modello della cinetica di Monod linearizzata come segue: 1 µ = Ks µ max ⋅ 1 1 + S µ max Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 28 01/07/2014 Calibrazione di un modello matematico Le fasi Scelta della funzione obiettivo per la stima dei parametri Questa fase consiste nella individuazione della funzione obiettivo (funzione dei valori simulati e misurati) da minimizzare e/o massimizzare (a seconda della sua espressione) da adottare per la scelta dei valori calibrati dei parametri Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Calibrazione di un modello matematico Le fasi Valutazione della qualità dei parametri stimati Quando i parametri di un modello vengono calibrati sulla base di un set di dati è essenziale, ancor prima della fase di validazione, valutare la bontà della risposta del modello calibrato. E’ necessario valutare due aspetti fondamentali: Se i dati simulati presentano un buon fitting con quelli misurati; Quantificare l ’ accuratezza della risposta del modello. Nel caso in cui l ’ accuratezza sia sufficiente il processo di calibrazione è concluso viceversa sono richiesti ulteriori dati misurata per migliorare tale accuratezza. Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 29 01/07/2014 Calibrazione di un modello matematico Scelta della funzione obiettivo per la stima dei parametri La più nota funzione obiettivo per la stima dei parametri di un modello è la funzione somma degli scarti quadratici J(θ ) = ∑ ( yi − ˆyi ( θ )) N 2 i =1 Dove yi sono le osservazioni (in totale sono disponibili N osservazioni) e ˆyi ( θ ) sono le predizioni del modello per un dato set di parametri θ La condizione per cui J risulta minimo è quella alla quale corrisponde il set di parametri ottimale Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Calibrazione di un modello matematico Scelta della funzione obiettivo per la stima dei parametri Nel caso in cui gli errori delle misure dei dati adottati si considerano indipendenti (non correlati) ed originati da una distribuzione normale è possibile adottare le funzioni di massima verosimiglianza che esprimono qual ’ è la probabilità che un dato set di dati misurati si adatti ai valori simulati dal modello (assumendo che il modello sia corretto). Tra le funzioni di verosimiglianza si ha la funzione che 2 tiene conto dello stimatore χ L( y | θ ) = N ∏ i =1 1 1 1 exp − 2 2π σ i yi − ˆyi ( θ σi i =1 N ∑ ) 2 Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 30 01/07/2014 Calibrazione di un modello matematico Scelta della funzione obiettivo per la stima dei parametri dove y è il set di n osservazioni e σ i è la deviazione standard delle misure yi . Per ogni set di dati y il set di parametri ottimale è quello per cui L( y | θ ) = N ∏ i =1 1 1 1 exp − 2 2π σ i yi − ˆyi ( θ σi i =1 N ∑ ) 2 è massima . Il che è equivalente a dire che è minimo il valore della funzione: J (θ ) = χ 2(θ ) = N 1 ∑ σ ( y − ˆy ( θ )) 2 i =1 2 i i i Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale Calibrazione di un modello matematico Scelta della funzione obiettivo per la stima dei parametri Nel caso in cui la deviazione standard delle misure è costante quanto detto sopra risulta equivalente alla minimizzazione della seguente funzione: J(θ ) = ∑ ( yi − ˆyi ( θ )) N 2 i =1 Prof. G. Mannina - Laboratorio di Modellistica Sanitaria Sanitaria--Ambientale PhD Course Cassino 2014 - Prof. Mannina - Università di Palermo 31
© Copyright 2024 Paperzz
