Multi View Geometry as Task of Computional Inteligence

Bezparametryczna metoda
wyznaczania narożników przy
porównywaniu zdjęć stereograficznych
Marcin Luckner
Wydział Matematyki i Nauk Informacyjnych
Politechnika Warszawska
Geometria epipolarna
Cyganek 2009
Przykład zdjęcia stereo
Dopasowanie obrazów
• Identyfikacja punktów obrazów dla pomiarów
w przestrzeni 3D
• Identyfikacja zgodnych cech obrazów dla
rekonstrukcji powierzchni 3D
• Śledzenie ruchu w sekwencji obrazów
Strategia dopasowania obrazów
Obraz
wejściowy
Obróbka
wstępna
Ekstrakcja
cech
Kalibracja, orientacja
Parametry
orientacji
Piramida obrazów
Operatory detekcji
Dopasowanie
bazujące na cechach
Relaksacja,
programowanie dynamiczne,
sieci neuronowe
Progi
Wiedza,
reguły
za Luhmann 2006
Ekstrakcja obiektów
• Punkty (narożniki)
• Krawędzie
• Symbole
Założenia przy ekstrakcji obiektów
• Założenia dla sceny
– Wspólne spektrum intensywności dla wszystkich
obrazów
– Jednorodne oświetlenie
• Założenia dla powierzchni obiektów
– Gładka
– Niezmienna
– Nieprzezroczysta
• Znany przybliżony opis obiektów i przestrzeni
Detekcja krawędzi
• Filtr Sobela
• Binaryzacja
Detekcja punktów
Operatory detekcji
•
•
•
•
Moravec (1977)
Harris / Plessey (1988)
SUSAN (1997)
Trajkovic and Hedley (1998)
Problemy dopasowywania
Dopasowanie punktu i na obrazie j do punktu na
obrazie k
• Wykluczenie
– Punkt Pij nie ma odpowiednika Pik
• Wieloznaczność
– Wielu kandydatów Pik na odpowiednika punktu Pij
• Zakłócenia
Dopasowanie dla pary obrazów
Luhmann 2006
Dopasowanie dla wielu obrazów
Dopasowywanie jako zadanie
klasyfikacyjne
• Dwie klasy
– Para
– Nie para
• Różnice cech z obu obrazów| FR-FL|
– Położenie
– Intensywność
– Wartości operatorów detekcji
Operator Moravec
Dla
każdego punktu obrazu
przesunięcia (u, v) jako:
wyznacza
się
wariancję
dla
Gdzie I jest funkcją intensywności, a i b są współrzędnymi
rozpatrywanego okna, a rozpatrywane przesunięcia poziome u i
pionowe v przyjmują wartości ze zbioru {-1, 0, 1}.
Wyznaczona wartość przez operatora - miara C(x,y) – określa czy
dany punkt jest narożnikiem
Operator Harris
Dla każdego piksela (x, y) oryginalnego obrazu wyliczana jest
macierz autokorelacji postaci:
gdzie:
I jest funkcją intensywności,
jest operatorem splotu, w jest
oknem Gaussowskim
Wyznaczona wartość przez operator - miara C(x,y)
Różnica między wyznacznikiem macierzy M, a kwadratem jej
śladu, przemnożonym przez stałą k.
Porównanie parametrów
Operator Moravec
• Rozmiar okna
Operator Harris
• Rozmiar okna
• Odchylenie standardowe
• Stała k
• Próg
• Rozmiar sąsiedztwa
• Próg
• Rozmiar sąsiedztwa
Strategia ekstrakcji cech
Kalibracja operatorów
Harris
Moravec
Test wykrywania narożników
fasada
Harris
Moravec
Test wykrywania narożników
kamienie
Harris
Moravec
Test wykrywania narożników
pomnik
Harris
Moravec
Testowe obrazy stereo
Porównanie dla obrazów stereo
fasada
Porównanie dla obrazów stereo
pomnik
Budowa wektora cech
fasada
Budowa wektora cech
pomnik
Budowa wektora cech
kamienie
Dopasowanie na podstawie
odległości
Dopasowanie na podstawie
odległości - wyniki
Wnioski
• Praca na obrazie binarnym pozwala
– Rozwiązać problem kalibracji danych
– Zredukować liczbę wykrytych narożników
– Zwiększyć liczbę wykrytych narożników
– Wiedzie do zbieżności różnych metod względem
położenia punktów
– Zbudować treściwy wektor cech dla dalszych prac
Bibliography
• Luhmann, Robson, Kyle, Harley
– Close Range Photogrametry. Principles, Methods and
Applications, Wiley 2006
• Goshtasby, Ardeshir
– 2-D and 3-D image registration for medical, remote sensing, and
industrial applications , Wiley 2005
• Hartley, Richard & Zisserman, Andrew
– Multiple view geometry in computer vision, Cambridge 2003
• Cyganek, Boguslaw & Siebert, J. Paul
– An Introduction to 3D Computer Vision Techniques and
Algorithms , Wiley 2009