Korištenje distribucije osvjetljenja za ostvaranje brzih i

Korištenje distribucije
osvjetljenja za ostvaranje
brzih i točnih metode za
postojanost boja
Nikola Banić
26. rujna 2014.
Sadržaj
• Postojanost boja
• Ubrzavanje lokalnog podešavanja boja
• Distribucija najčešćih osvjetljenja
• Korištenje distribucije najčešćih osvjetljenja
• Zaključak
2
Osvjetljenje
3
Model formiranja slike
• fc(x) – vrijednost na poziciji x za kanal c ∈ {R, G, B}
4
Model formiranja slike
• fc(x) – vrijednost na poziciji x za kanal c ∈ {R, G, B}
• ω – vidljivi spektar
• R(x, λ) – odsjaj površine na poziciji x za valnu
duljinu λ
5
Model formiranja slike
• fc(x) – vrijednost na poziciji x za kanal c ∈ {R, G, B}
• ω – vidljivi spektar
• R(x, λ) – odsjaj površine na poziciji x za valnu
duljinu λ
• ρc(λ) – osjetljivost senzora kamere na valnu duljinu
λ za kanal c
6
Model formiranja slike
• fc(x) – vrijednost na poziciji x za kanal c ∈ {R, G, B}
• ω – vidljivi spektar
• R(x, λ) – odsjaj površine na poziciji x za valnu
duljinu λ
• ρc(λ) – osjetljivost senzora kamere na valnu duljinu
λ za kanal c
• I(λ) – spektralna razdioba izvora svjetlosti –
pretpostavlja se uniformno osvjetljenje
7
Model formiranja slike
•
•
•
•
e – promatrani izvor svjetlosti – to nas zanima
idealni slučaj – bijelo svjetlo: eR= eG= eB
matematički loše postavljen problem
potrebne su dodatne pretpostavke
8
Model formiranja slike
• Za uspješnu kromatsku adaptaciju dovoljan je samo
smjer od e
• Redukcija jedne dimenzije
• Može se koristiti kromatičnost
•𝑟 =
𝑅
,
𝑅+𝐺+𝐵
𝑔=
𝐺
,
𝑅+𝐺+𝐵
𝑏=
𝑅
𝑅+𝐺+𝐵
• Budući da je 𝑟 + 𝑔 + 𝑏 = 1, dovoljne su samo dvije
komponente
9
Računalna postojanost boja
• Postojanost boja (engl. color constancy, njem. Farbkonstanz) postiže se
uravnotežavanjem bijele boje (engl. white balancing, njem. Weißabgleich)
• Koraci u ostvarivanju su:
1. Procjena osvjetljenja
• procjenjuje se vektor e – važan je samo smjer, ne i iznos
• svaki algoritam za procjenu osvjetljenja uvodi svoje dodatne
pretpostavke
• najvažniji i najteži korak
2. Kromatska adaptacija
• korištenje procijenjenog osvjetljenja za popravljanje izgleda slike
• ako je procjena e=[eR, eG, eB]T i ako su kanali slike R, G i B, onda se
kanali popravljene slike dobivaju kao αR, βG i γB pri čemu vrijedi
αeR= βeG= γeB
• npr. α = eG / eR, β = 1, γ = eG / eB
10
Automatska procjena osvjetljenja
1. Statističke metode
• brže i jednostavnije za implementaciju
• koriste statistiku u pikselima
2. Metode zasnovane na učenju
• koriste se različiti algoritmi za učenje različitih svojstava
na temelju različitih značajki slike
• Otvoreno područje istraživanja
11
Retinex
• Provodi se za zadani kanal I
• Računa se svjetlina svakog piksela
• Kroz svaki piksel se provuku staze
12
Random Sprays Retinex
Random Sprays Retinex
I( )
Random Sprays Retinex
I( )
Random Sprays Retinex
I( )
I( )=
max I( )
Random Sprays Retinex
1
I( )= Σ
N
N
i=1
I( )
max I( i)
Random Sprays Retinex
originalna slika
RSR s parametrima N=1, n=4
18
Random Sprays Retinex
RSR s parametrima N=5, n=20
RSR s parametrima N=20, n=400
19
Light Random Sprays Retinex
____________________________
=
20
Light Random Sprays Retinex
____________________________
=
21
Light Random Sprays Retinex
22
Light Random Sprays Retinex
23
Light Random Sprays Retinex
24
27
28
Light Random Sprays Retinex
• Složenost:
•O(nM)
• n – veličina spreja
• M – broj piksela u slici (veličina slike)
• Nije prikladno za izvedbu u stvarnom vremenu
• Korištenjem interpolacije postiže se ubrzanje, ali
pada i kvaliteta rezultata
29
Ubrzanje
• Kritični dio: računanje maksimuma u spreju: O(n)
• Pokušati kombinirati operacije
• Što je zajedničko obradi pojedinih piksela?
• Na koji način se to može iskoristiti?
30
Zajedničko
31
Zajedničko
32
Zajedničko
33
Zajedničko
34
Zajedničko
35
Zajedničko
36
Zajedničko
37
Zajedničko
38
Zajedničko
39
Zajedničko
40
Zajedničko
41
Zajedničko
42
Zajedničko
43
Zajedničko
44
Zajedničko
45
Zajedničko
46
Računanje maksimuma
• Za svaki sprej je potrebno izračunati maksimum
• Kod promjene spreja treba odrediti novi
maksimum
• Dodavanje piksela nije problem – jedna
usporedba
• Uklanjanje piksela je problem – n usporedbi
47
Računanje maksimuma
• Cilj je izbjeći preračunavanje maksimuma kod kojeg
se pregledava cijeli sprej
• Ovaj problem moguće je riješiti pametnom
organizacijom intenziteta piksela spreja
• Postoji nekoliko rješenja
48
Računanje maksimuma
• Kartezijevo stablo
•
•
•
•
Struktura koja glumi red i omogućuje upit maksimuma
Umetanje nove vrijednosti: amortizirano O(1)
Uklanjanje najstarije vrijednosti: O(1)
Određivanje maksimuma: O(1)
• Dva stoga
•
•
•
•
Simulacija reda uz upit maksimuma
Umetanje nove vrijednosti: O(1)
Uklanjanje najstarije vrijednosti: amortizirano O(1)
Određivanje maksimuma: O(1)
49
Ubrzanje
• Stara složenost:
•O(nM)
• Nova složenost:
•O(n+M)
• Novi algoritam:
• Light Random Memory Sprays Retinex
50
Utjecaj na rezultat
51
52
53
54
55
Osvjetljenje
• Većina osvjeteljenja se može modelirati zračenjem
idealnog crnog tijela
56
57
58
Osvjetljenje
59
Osvjetljenje
60
Osvjetljenje
61
Greyball
62
ColorChecker
63
NUS baze
64
Osvjetljenje
65
GreyBall – kromatičnosti svjetla
GreyBall – kromatičnost svjetla
Distribucija boja
• Prostorne informacije ne donose ništa što ne bi
donijela i raspodjela boja
• Sliku predstaviti histogramom boja
• Histogram se može dodatno sažeti (PCA)
• Hiperparametar: razlučivost histograma n
• Hiperparametar: broj glavnih komponenti k
Povezivanje
• Kako povezati distribuciju s vrijednosti x?
• Više je mogućnosti
• Odabrana mogućnost: linearna regresija
• Ostale testirane mogućnosti su se pokazale lošijima
Color Cat
• Rezolucija histograma: n
• Broj glavnih komponenti: k
• Histogram: h = (h1, ..., hn )T
• PCA matrica: M
• Koeficijenti linearne regresije: c
• Parametri linije: a1, a0
• Granice crvene komponente: r0, r1
3
70
Color Cat
Rezultati
72
Rezultati
73
Rezultati
Drugi pristup
75
Drugi pristup
76
Drugi pristup
• Svaki centar predstavlja jedno osvjetljenje
• Odrediti najprikladniji centar za danu sliku
• Problem procjene osvjetljenja se svodi na
klasifikaciju
• Što je više centara, to je veća maksimalna moguća
točnost, ali je i problem klasifikacije teži
77
Idealna klasifikacija
78
Postojeći pristup
• Ideja je već patentirana
• US 20140241620 A1
• Illumination Estimation Using Natural Scene
Statistics
• Nema eksperimentalne analize
79
Postojeći pristup
• U patentu se kao značajke koriste histogrami
kromatičnosti
• Ulogu klasifikatora ima multivarijatni Gaussov
klasifikator
80
Promjena pristupa
• Korištenje histograma boja
• Ulogu klasifikatora preuzima AdaBoost (CE)
• Dodatan pokušaj: k-NN (CA)
• Mnogo manja potreba za sažimanjem histograma
81
Alternativni pristup
• Korištenje izračunatih centara za navođenje
postojećih metoda
• Nema više potrebe za histogramima
• Jednostavna nadogradnja na gotovo bilo koju
metodu
• Color Dog (CD)
82
Alternativni pristup
83
Rezultati
84
Rezultati
85
Rezultati
86
Zaključak
• Postojanost boja je zahtjevan i loše postavljem
problem
• Korištenje distribucije može uvelike povećati
točnost procjene osvjetljenja
• Vrijedi proučiti na koje se još načine distribucija
osvjetljenja može iskoristiti za bolju procjenu
osvjetljenja
87
88

Download Report