Fast Scale and Orientation Matching of Images using Scale-invariant features (Master Thesis, Finished)
Author
Manuel Studer
Description
Content-based Image Retrieval (CBIR), wie z.B. in ISIS [1] ermöglicht es, aus Bildkollektionen von einigen Zehntausend Bildern in interaktiver Zeit ähnliche Bilder zu finden. Die Qualität der Ergebnisse ist hierbei abhängig von der zur Suche verwendeten Features.
Ein generelles Problem hierbei besteht daran, dass der Anwender als Startpunkt einer Suche ein geeignetes Anfragebild besitzen muss. Häufig ist jedoch nur ein Teil des gesamten Bilds tatsächlich von Bedeutung für die Anfrage des Benutzers; man spricht hier von der Region of Interest (ROI). Zudem kann das Motiv skaliert oder gedreht vorliegen, was die Qualität vieler häufig verwendete Merkmale für die Bildsuche erheblich verschlechtert.
Auf dem Gebiet der Objekterkennung hat sich eine Klasse von skalierungsinvarianten Bildmerkmale herausgebildet, prominentester Vertreter ist hier SIFT [2]. Diese sind geeignet um einzelne Keypoints eines Objektes in Bildern selbst bei geänderter Skalierung, Rotation, geändertem Blickwinkel und in begrenztem Masse auch veränderten Lichtverhältnissen wiederzuerkennen. Leider ist die reine Anzahl der wiedergefundenen Keypoints noch nicht sehr aussagekräftig bezüglich der Bildähnlichkeit zweier Bilder aus einer umfangreichen Kollektion.
Ziel der Arbeit ist es, einen Ansatz zu Entwickeln und zu Implementieren, welcher auf Grund der gefundenen einzelnen Keypoints aus der ROI die Rotation und Skalierung des Gesamtobjekts bestimmt. Mit dieser Information lassen sich wieder klassische Bildmerkmale zur Beurteilung der Aehnlichkeit von Bidern besser einsetzen, weil die ermittelte Rotation und Skalierung herausgerechnet bzw. berücksichtigt werden kann. Da eine exakte Lösung dieses Graph Matching-Problems für viele gefundene Keypoints aufwendig zu berechnen ist, muss hier eine Heuristik / approximativer Ansatz verwendet werden, denn insgesamt soll dies ja nur eine Vorstufe zur eigentlichen Aehnlichkeitsbestimmung in mitunter sehr grossen Bildarchiven darstellen.
Ein zusätzlicher wichtiger Aspekt ist, die Beurteilung der Qualität des gefundenen Ansatzes und für welche Art von Bildkollektionen er sich besonders eignet. Hierzu stehen eine Reihe von umfangreichen Bildarchiven zur Verfügung, u.a. gecrawlte Webseiten, Wikipedia / Wikimedia Commons, mehrere medizinische Bildkollektionen, Kunstarchive bis hin zu mitteralterliche Zeichnungen. Referenzen:
[1] G. Brettlecker, D. Milano, P. Ranaldi, H.-J. Schek, H. Schuldt, M. Springmann: ISIS and OSIRIS: A Process-Based Digital Library Application on Top of a Distributed Process Support Middleware [2] David Lowe: Scale-Invariant Feature Transform
Start / End Dates
2008/02/17 - 2008/07/18