Rapporto tecnico:Istituto di Metrologia ”G. Colonnetti”,Consiglio Nazionale delle Ricerche
1
LSMFE: istruzioni
Daniela Ichim
Sezione Termometria
Strada delle Cacce, 73
10135, Torino, Italia,
e-mail: [email protected]
July 12, 2005
Abstract
Il metodo LSMFE è stato implementato in Microsoft Excel. Questo documento illustra le operazioni necessarie per un corretto uso del software.
Key Words: LSMFE, EXCEL macro.
Contents
1 Versioni
4
2 Introduzione
5
3 Il metodo statistico LSMFE
6
4 Le stime calcolate
9
5 L’uso della macro
10
6 Output
15
7 Esempio
17
8 Figures
18
3
1
Data
01/06/2005
01/07/2005
12/07/2005
12/07/2005
Versioni
Nome file EXCEL
LSMFE.xls
LSMFE.xls
LSMFE.xls
LSMFE.xls
Aggiornamenti
prima versione
prima versione
prima versione
prima versione
Modifiche
riattivato il controllo di default di Excel della StatusBar (prima era rimasto su un valore personalizzato)
inserito un controllo sul numero inserito di serie che non deve essere superiore al numero di colonne X che includono dati
il valore della StdDevTotale è calcolato giusto (prima mancava la radice quadrata)
4
2
Introduzione
1. Il metodo statistico LSMFE, è stato implementato in Excel, utilizzando le
potenzialità di Visual Basic.
2. La macro implementata usa esclusivamente strumenti di EXCEL e Visual
Basic.
3. La macro dà la possibilità di scegliere:
(a) il numero di serie da utilizzare,
(b) il grado del polinomio “comune”,
(c) il grado del polinomio “specifico”,
(d) il tipo di fitting (pesato o non pesato),
(e) ed il nome del file in cui i risultati saranno salvati ed il corrispondente
file di dati utilizzato per l’analisi.
4. Le quantità calcolate sono:
(a) le stime dei coefficienti,
(b) i loro errori standard,
(c) i valori approssimati della variabile dipendente,
(d) i residui,
(e) la stima della deviazione standard e
(f) il valore di R2 .
5. Alla fine, qualsiasi passaggio intermedio sarà cancellato e non sarà visibile
dal utente.
6. Ad ogni apertura del file LSMFE.xls, l’intero file è generato ex-novo, per
non lasciare la possibilità di avere informazioni (dati) residui dalle precedenti
sessioni di lavoro.
7. Tutte le operazioni necessarie sono state implementate in un’unica macro.
5
3
Il metodo statistico LSMFE
1. Supponiamo che X sia la variabile indipendente (esplicativa) e che Y sia la
variabile dipendente (risposta).
2. Supponiamo di avere S serie (oggetti, termometri, resistenze, ecc). Supponiamo di acquisire i valori assunti dalle variabili X e Y sulle S serie.
3. Supponiamo che per ogni serie s = 1, . . . , S, acquisiamo Ns misure delle
due variabili X e Y . Siano (xs,i , ys,i ), i = 1, . . . , Ns le Ns coppie di misure
ottenute. Sia N = Ss=1 Ns il numero totale di misure.
4. Supponiamo che esiste una relazione lineare Y ∼ X fra le due variabili X e
Y.
5. Supponiamo l’andamento “comune” (principale) delle serie della relazione
X ∼ Y può essere modellizzata da un polinomio di grado P :
f (x) =
P
Cp+1 xp
(1)
p=0
6. Supponiamo che la correzione necessaria, per ogni serie, per individuare la
“specificità” di ogni serie può essere modellizzata da un polinomio di grado
Q, Q < P :
Q
Cs,q+1 xq
(2)
gs (x) =
q=0
7. Di conseguenza, il modello matematico per ogni serie s = 1, . . . , S è dato
da:
ys,i =
P
p=0
Cp+1 xps,i
+
Q
q=0
Cs,q+1 xqs,i + εs,i ,
i = 1, . . . , Ns
(3)
8. Consideriamo la prima serie (s = 1) come serie di riferimento. Allora
l’equazione (3) può essere scritta come:
ys,i =
P
p=0
Q
Cp+1 xps,i +
q=0
Q
C1,q+1 xqs,i +
q=0
(Cs,q+1 − C1,q+1 ) xqs,i +εs,i ,
i = 1, . . . , Ns
(4)
6
Notazioni
a1,1
a1,2
a1,3
...
a1,Q+1
a1,Q+2
a1,Q+3
...
a1,P +1
a2,1
a2,2
...
a2,Q+1
..
.
= C1 + C1,1
= C2 + C1,2
= C3 + C1,3
...
= CQ+1 + C1,Q+1
= CQ+2 = C1,Q+2
= CQ+3 = C1,Q+3
...
= CP +1 = C1,P +1
= C2,1 − C1,1
= C2,2 − C1,2
...
= C2,Q+1 − C1,Q+1
..
.
as,1
Cs,2
...
as,Q+1
..
.
= Cs,1 − C1,1
= Cs,2 − C1,2
...
= Cs,Q+1 − C1,Q+1
..
.
aS,1
aS,2
...
aS,Q+1
= CS,1 − C1,1
= CS,2 − C1,2
...
= CS,Q+1 − C1,Q+1
(5)
Quindi il modello matematico per la serie s può essere scritto come:
ys,i =
P
p=0
a1,p+1 xps,i +
7
Q
q=0
as,q xqs,i + εs,i
(6)
Di conseguenza, la matrice di regressione X dell’equazione (6) diventa:

1
1
...
1
1
1
...
1
..
.
..
.
..
.
..
.
x1,1
x1,2
...
x1,N1
x2,1
x2,2
...
x2,N2
..
.
..
.
..
.
..
.





























 1
xS,1

 1
xS,2


...
 ...
1 xS,NS
...
...
...
...
...
...
...
...
..
.
..
.
..
.
..
.
xp1,1
xp1,2
...
xp1,N1
xp2,1
xp2,2
...
xp2,N2
..
.
..
.
..
.
..
.
. . . xpS,1
. . . xpS,2
...
...
. . . xpS,NS
0
0
0
0
... ...
0
0
1
x2,1
1
x2,2
... ...
1 x2,N2
..
..
.
.
..
..
.
.
..
..
.
.
..
..
.
.
0
0
0
0
... ...
0
0
0
0
0
0
... ...
0
0
. . . xq2,1
. . . xq2,2
... ...
. . . xq2,N2
..
..
.
.
..
..
.
.
..
..
.
.
..
..
.
.
...
0
...
0
... ...
...
0
...
...
...
...
...
...
...
...
..
.
..
.
..
.
..
.
...
...
...
...
...
...
...
...
..
.
..
.
..
.
..
.
...
...
...
...
...
...
...
...
..
.
..
.
..
.
..
.
...
...
...
...
...
...
...
...
..
.
..
.
..
.
..
.
0
0
0
0
0
0
0
0
..
.
..
.
..
.
..
.
0
0
0
0
0
0
0
0
..
.
..
.
..
.
..
.
...
...
...
...
...
...
...
...
...
...
...
...
... 1
xS,1
... 1
xS,2
... ...
...
. . . 1 xS,NS
(7)
Notazioni:
Y = [y1,1 , . . . , y1,N1 , . . . , . . . , . . . , yS,1 , . . . , yS,NS ] ∈ RN,1
(8)
e con
a = [a1,1 , . . . , a1,P +1 , a2,1 , . . . a2,Q+1 , . . . , aS,1 , . . . , aS,Q+1 ] ∈ RP +1+(S−1)∗(Q+1),1
(9)
Allora, il modello matematico si può scrivere come:
Y = Xa + ε
8
(10)
0
0
0
0
0
0
0
0
..
.
..
.
..
.
..
.
0
0
0
0
0
0
0
0
..
.
..
.
..
.
..
.
. . . xqS,1
. . . xqS,2
...
...
. . . xqS,NS




































4
Le stime calcolate
Le stime calcolate con il metodo dei minimi quadrati sono le seguenti:
â
−1 = X X
XY
Σi,j
1/wi , i = j
,
0,
altrimenti
:=
−1
â
= X Σ
Ŷ
= X â
ε̂
= Y − Ŷ
RSS
= ε̂ ε̂
σ̂ 2
=
X
−1
X Σ−1 Y
i, j = 1, . . . , N
nel
caso pesato
ε̂ ε̂
N −P −1−(S−1)(Q+1)
−1
σ̂ 2
V ar(â) = X X
−1
σ̂ 2 ,
V ar(â) = X Σ−1 X
se(ak )
se(ak )
= σ̂
= σ̂
nel
R2
X X
−1
kk
,
X Σ−1 X
nel
caso pesato
k = 1, . . . , P + 1 + (S − 1)(Q + 1)
−1
kk
,
k = 1, . . . , P + 1 + (S − 1)(Q + 1)
caso pesato
=1−
N
(ŷi −yi )2
i=1
N
2
i=1 (yi −ȳi )
(11)
9
5
L’uso della macro
1. Istallazione.
• Utenti Windows. Copiare il file nella cartella desiderata. L’applicazione
è stata testata sui sistemi operativi Windows 2000 Proffesional (inglese) e Windows NT.
• Utenti Macintosh
(a) E stato testato sul sistema operativo Macintosh 9.1.
(b) Copiare il file nella cartella desiderata.
(c) Aprire il file. Si aprirà in modalità “sola lettura”
(d) Salvarlo con un’altro nome (ad esempio “a.xls”).
(e) Cancellare il file “LSMFE.xls”.
(f) Aprire il file “a.xls”.
(g) Salvarlo con il nome “LSMFE.xls”.
(h) Cancellare il file “a.xls”.
2. Apertura — Figura 1.
• Quando si apre il file LSMFE.xls, le macro si devono attivare.
• Ad ogni apertura del file LSMFE.xls, il file è completamente generato
ex-novo. In questo modo, le informazioni dalle precedenti sessioni di
lavoro saranno cancellate.
• Evitare di creare un qualsiasi altro foglio di lavoro nel file LSMFE.xls
perché, senza conferme o avvertenze,
– sarebbe cancellato all’apertura del file LSMFE.xls
– sarebbe cancellato una volta attivato il pulsante LSMFE
• Le informazioni personalizzate dell’analisi corrente, si devono conservare in altri file.
3. Passo 1 — Figura 2 — Inserire il numero di serie.
10
• Il numero di serie da analizzare (un numero intero positivo) deve essere
inserito nella cella B1.
• Se la cella B1 rimane vuota, la macro chiederà di specificare il numero
di serie da includere nell’analisi1 . Vedi le figure 3 e 4.
• Quando un numero valido (intero positivo) è immesso nella cella B1,
la macro non chiede ulteriori informazioni sul numero di serie2 .
• Un qualsiasi altro carattere genera un messaggio d’errore e provoca
l’arresto della macro.
4. Passo 2 — Figura 5 — Inserire il tipo di fitting.
• Inserire nella cella D1 la codifica del tipo di fitting:
* 1 = pesato oppure
* 2 = non pesato.
• Se questa informazione è omessa, la macro la chiederà. Vedi le figure
6 e 7.
• L’inserzione di valori non validi (diversi da 1 e 2) genera un messaggio
d’errore e provoca l’arresto della macro.
5. Passo 3 — Figura 8 — Inserire i dati.
• Per ogni serie, i dati si devono inserire a partire dalla quinta riga in poi.
• I dati della s-esima serie sono contenuti in tre colonne:
– la colonna 3∗(s−1)+1 contiene i valori della variabile esplicativa
X della s-esima serie,
– la colonna 3 ∗ (s − 1) + 2 contiene i valori della variabile risposta
Y della s-esima serie,
Flessibilità: In questo modo si potrebbero selezionare anche solo le prime S1 < S serie per
l’analisi.
2
Quindi, una volta iniziata l’esecuzione della macro, non si ha più la possibilità di cambiarlo.
1
11
– la colonna 3 ∗ (s − 1) + 3 contiene i valori dei pesi3 delle misure
della s-esima serie.
• Quando si intende scegliere un fitting non pesato, i dati contenuti nelle
colonne dei pesi non sono inclusi nell’analisi, quindi queste colonne
possono rimanere vuote.
• Il numero di osservazioni della s-esima serie è determinato come il numero di osservazioni nella colonna 3∗(s−1)+1, prima dell’occorrenza
della prima cella vuota.
• La lettura dei dati della s-esima serie si ferma alla prima cella vuota
nella colonna 3 ∗ (s − 1) + 1, a partire dalla quinta riga4 .
• Per ciascuna serie, il numero delle osservazioni nelle colonne “risposta”
e “pesi” (nel caso pesato) sono confrontati con il numero di osservazioni nella colonna “esplicativa”. Una qualsiasi disugualianza genera
un messaggio d’errore e provoca l’arresto della macro.
• Per ciascuna serie, l’inserimento di un valore non numerico genera
messaggio d’errore e provoca l’arresto della macro.
• Operazioni come copia, incolla, cancella, ecc. sono normalmente eseguibili prima e dopo dell’esecuzione della macro.
• La posizione del pulsante LSMFE può essere cambiata
– CTRL (FUNZIONA ANCHE SUL MAC?) + RightClick sull’area
del pulsante
– da qualsiasi bordo, spostare il pulsante nella posizione desiderata.
6. Passo 4 — Figura 9 — Iniziare l’analisi.
• Attivare il pulsante LSMFE per iniziare l’analisi.
• Nessuna combinazione di tasti è associata a questa operazione.
• Se le informazioni sul numero di serie, sul metodo di fitting e sul tipo
di dati non sono state inserite correttamente, messaggi d’errore saranno
3
pesi e non incertezze!!!
Il numero di osservazioni di una serie è esclusivamente determinato come numero di osservazioni della variabile esplicativa X.
4
12
generati. In alcuni casi la possibilità di correggere gli eventuali errori è
prevista.
• Se tutte le informazioni sul numero di serie, sul metodo di fitting e sul
tipo di dati sono valide, verrà visualizzato un messaggio sulle future
richieste della macro. Vedi figura 10
• I parametri dell’analisi da effettuare saranno richiesti in seguito:
– il grado P del polinomio “comune”. Vedi figura 11. Valore di
default P = 2.
– il grado Q del polinomio “specifico”. Vedi figura 12. Valore di
default Q = 0.
– inserire il nome del file RAD in cui verranno salvati i risultati
∗ Vedi figura 13.
∗ Valore di default Risultati.
∗ Sarebbe meglio non usare caratteri speciali
∗ NOMI PROIBITI5 :
· RegressionMatrix
· TraspMatrRegr
· Yvector
· PrimoProd
· InvPrimoProd
· interm1
· Coefficienti
· Xvector
· Pesivector
· diagpesi
· InvMatricePesi
· interm10
· PrimoProd0
∗ le estensioni (“.txt”, “.xls”, “.csv”) non sono necessarie
∗ usare nomi di lunghezza minima necessaria6
5
l’inserimento di uno di questi nomi genera un loop da cui si esce soltanto inserendo un’altro
nome RAD; messaggi saranno generati in continuazione
6
particolare attenzione in ambiente Macintosh, dove nomi ancora più corti sarebbero consigliabili
(1-2 caratteri).
13
∗ Utilizzando per due volte lo stesso nome, i risultati precedenti
potrebbero essere persi. Vedi la section OUTPUT.
7. Passo 5 — Figura 14 — Elaborazione dati.
• Dopo l’ultimo OK, inizia l’elaborazione dei dati.
• Nessun calcolo intermedio sarà visibile dall’utente.
• Durante l’elaborazione, EXCEL e Visual Basic sono assolutamente
bloccati.
• Nessun risultato finale sarà visibile nel file LSMFE.xls.
• I risultati e i dati utilizzati per l’analisi saranno salvati AUTOMATICAMENTE in un file separato7 .
• Se esiste un file con lo stesso nome, EXCEL chiederà la conferma della
sostituzione del file. Scegliere “SI”8 .
• La conferma della cancellazione dei dati immessi nel foglio di lavoro
“Data” del file LSMFE.xls sarà richiesta.
7
8
la cartella del salvataggio sarà visibile in un messaggio alla fine della macro. Vedi figura 18
il “NO” genera errori ed il blocco della macro. In questa situazione, chiudere EXCEL.
14
6
Output
1. Output 1 — I dati.
• I dati utilizzati per l’analisi saranno salvati in un file EXCEL nella
cartella indicata alla fine della macro.
• Il file contiene una copia del foglio di lavoro “Data”, cosı̀ come creata
per l’analisi effettuata.
• Il nome del file è costruito a partire dalla stringa RAD inserita nel
passo 4 (figura 13). A questa stringa RAD si aggiunge la stringa “
DatiUsatiLSMFE CPD < P >SPD<Q>.xls”9
2. Output 2 —Figura 15 — Le stime calcolate.
• Nessun risultato sarà visibile nel file LSMFE.xls.
• Le stime saranno salvate in un file EXCEL che si trova nella cartella
indicata alla fine della macro.
• il nome del file è costruito a partire dalla stringa RAD inserita nel passo
4 (figura 13). A questa stringa RAD si aggiunge la stringa “ LSMFE
CPD< P >SPD< Q >.xls”10
• Dato che, di default, i file dei risultati saranno salvati nella stessa cartella,
se si usa lo stesso P e lo stesso Q, è consigliabile inserire nomi diversi
dei file sin dall’inizio. Se lo stesso nome è inserito due volte, EXCEL
chiederà se si desidera sostituire il file precedente.
– La scelta del “NO” genera il blocco della macro. L’unica via
d’uscita (in questa versione) è la chiusura forzata di EXCEL.
• Il file dei risultati contiene le stime presentate nella section “LE STIME
CALCOLATE”.
• Le celle con lo sfondo chiaro contengono informazioni relative alle
stime.
• Le celle con lo sfondo scuro contengono una copia dei dati, in un formato che potrebbe facilitare le presentazioni grafiche.
9
10
quindi attenzione alla lunghezza del nome del file inserito, sopratutto in ambiente Macintosh
quindi attenzione alla lunghezza del nome del file inserito, sopratutto in ambiente Macintosh
15
– i coefficienti a e i loro errori standard — colonne A e B (chiaro)
– i dati usati per l’analisi — colonne C, D, E, F e G (scuro)
– i valori Ŷ — colonna H (chiaro)
– i residui ε̂ — colonna I (chiaro)
– il valore di σ̂ 2 — colonna J (chiaro)
– il valore di R2 — colonna K (chiaro)
16
7
Esempio
1. Consideriamo i dati nel file Dati050526.xls.
2. Aprire il file Dati050526.xls.
3. Aprire il file LSMFE.xls (attivando le macro).
4. Inserire nella cella B1 il numero di serie S = 3.
5. Copiare i dati della prima serie; copiare le A1 - C6 dal file Dati050526.xls
nelle celle A5 - C10 del foglio “Data” del file LSMFE.xls. Usare copia +
incolla. Vedi figura 16.
6. Copiare i dati della seconda serie; copiare le A7 - C14 dal file Dati050526.xls
nelle celle D5 - F12 del foglio “Data” del file LSMFE.xls.
7. Copiare i dati della terza serie; copiare le A15 - C19 dal file Dati050526.xls
nelle celle G5 - I9 del foglio “Data” del file LSMFE.xls.
8. Chiudere il file Dati050526.xls.
9. Supponendo di voler eseguire un fit pesato, inserire nella cella D1 il valore
1.
10. Attivare il pulsante LSMFE.
11. Inserire P = 2, Q = 0 nelle due finestre di dialogo seguenti.
12. Scegliere “prova” come nome del file dei risultati.
13. Scegliere i vari OK seguenti.
14. Dopo qualche secondo, nella cartella di lavoro di EXCEL, si troveranno i
due file di output, vedi la figura 17.
15. FINE!!!!!!!!!!!!!!
17
Figure 1: La presentazione del file LSMFE.xls all’apertura.
8
Figures
18
Passo 1: scelta numero di serie
Figure 2: Inserire il numero di serie da analizzare.
Figure 3: La prima finestra di dialogo quando la cella B1 rimane vuota.
19
Figure 4: La seconda finestra di dialogo quando la cella B1 rimane vuota.
Figure 5: Inserire la codifica del tipo di fitting: pesato (= 1) o non pesato (= 2).
20
Figure 6: La prima finestra di dialogo quando la cella D1 rimane vuota.
Figure 7: La seconda finestra di dialogo quando la cella D1 rimane vuota.
21
Figure 8: Inserire i dati. Operazioni copia, incolla, cancella, ecc. possono essere
eseguite.
Figure 9: Premere il pulsante LSMFE per iniziare l’analisi.
22
Figure 10: Avvertenza sulle future informazioni da inserire.
Figure 11: Inserire il grado P del polinomio specifico.
23
Figure 12: Inserire il grado Q del polinomio comune.
Figure 13: Inserire la base del nome del file EXCEL in cui salvare i risultati. Attenzione alla lunghezza, alla cartella di lavoro di EXCEL e ai nomi già esistenti.
24
Figure 14: L’elaborazione dei dati.
25
Figure 15: Il file finale dei risultati.
26
Figure 16: Immissione dei dati della prima serie.
27
Figure 17: Esempio di creazione dei file di output.
28
Figure 18: Esempio di messaggio per la visualizzazione della cartella di salvataggio.
29