19th Telecommunications forum TELFOR 2011 Serbia, Belgrade, November 22-24, 2011.

978-1-4577-1500-6/11/$26.00 ©2011 IEEE

Sadržaj — Savremeno doba obeleženo je velikom

profesionalnom i privatnom multimedijalnom produkcijom od kojih najve i procenat zauzimaju slike. Pretraga velikog broja slika sa aspekta korisnika je skoro uvek bazirana na sadržaju. Cilj ovog rada je kreiranje algoritma za pretraživanje baza slika koje je bazirano na sadržaju. Polaze i od matrice obeležja slika algoritam e rad bazirati na radu sa bojom, teksturom i oblikom. Koriste i pet obeležja boje, etiri obeležja teksture i jedno obeležje oblika, inicijalna grupa slika se primenom nekoliko nivoa rangiranja i redukcije svede na mali broj reprezentativnih predstavnika baze slika u odnosu na upitnu sliku. Koriste i model neuralne mreže i grupu dobijenih slika, korisniku se prikazuje rezultat dobijen na bazi vešta ke inteligencije. Interakcijom sa korisni ke strane, svaki naredni rezultat pretrage se dodatno može filtrirati ili menjati u skladu sa odabranim slikama.

Klju ne re i — Pretraga baza slika, pretraga na osnovu sadržaja, CBIR, obeležja slike.

I. UVOD

ntenzivna upotreba multimedijalne opreme kao rezultat ima veliki broj fotografija koje su skladištene na

personalne ra unare ili servere. Cilj korisnika je da što pre prona e odre enu sliku ili grupu slika. Problem pretrage se može klasifikovati na pretragu prema imenu fajla ili njegovom sadržaju.

Naj eš i oblik je pretraga po imenu fajla, ali se na ovaj na in kao rezultat dobijaju slike koje su prethodno morale da budu ozna ene i da odgovaraju jeziku na kome se vrši pretraga. Ovaj na in je najlakši za realizaciju jer se svodi na pore enje dela stringa sa upitnim stringom, ali je kvalitet pretrage vrlo esto neodgovaraju i.

Pretraga po sadržaju CBIR (Content Base Image Retrieval) sistemima [1]-[3] teorijski treba da omogu idobijanje rezultata nezavisno od prethodnog tekstualnog ozna avanje slike, reši problem jezi ke barijere, specijalnih karaktera, meta tagova i sli no. Ovaj vid pretrage treba da omogu i rezultat baziran na sli nosti upitne slike sa ostalim slikama. Sli nost treba tehni ki da se opiše kroz zastupljenost boje, teksture i oblika u vidu obeležja slika niskog nivoa.

U ovom radu predstavljen je CBIR sistem namenjen pretrazi velikih baza slika na osnovu sadržaja, sa automatizovanim odabirom reprezentativnih slika. Odabir reprezentativnih slika realizovan je primenom

Goran Zaji i Nenad Koji su iz Visoke škole strukovnih studija za informacione i komunikacione tehnologije, Zdravka elara 16, 11000 Beograd, Srbija; E-mail: goran.zajic@ict.edu.rs , nenad.kojic@ict.edu.rs,a Branimir Reljin je iz Inovacionog centra Elektrotehni kog fakulteta u Beogradu; E-mail: breljin@etf.rs .

odgovaraju eg algoritma. Funkcionisanje CBIR sistema je podeljeno u tri faze rada:

1. Priprema baze vektora obeležja na osnovu baze slika koja e se koristiti u procesu pretrage

2. Preprocesiranje koje treba da obezbedi selekciju grupe reprezentativnih slika koje inicijalno najviše odgovaraju upitnoj slici. Na bazi ove redukovane grupe slika algoritam treba da obezbedi ulazne informacije za vešta ku neuralnu mrežu.

3. Iterativni postupak primenom neuralne mreže. U ovoj fazi korisniku se daje mogu nost da selekcijom odre enih slika koje zadovoljavaju kvalitet pretrage uti e na na in rada logike neuralne mreže [4]. Na taj na in, obukom vešta ke neuralne mreže može o ekivati rezultat koji je po sadržaju približniji grupi „pozitivno“ odabranih slika iz prethodne iteracije.

Glavni fokus u radu stavljen je na drugu fazu – Preprocesiranje, dok su prva i tre a faza ve ranije razvijana u radovima autora ovog rada.

U ovom radu, primarna logika za selekciju grupe reprezentativnih slika, od svih slika iz baze a na osnovu upitne slike, realizovana je upotrebom tri vrste obeležja: boje, teksture i oblika. U radu je koriš eno pet obeležja boje, etiri obeležja teksture i jedno obeležje oblika.

Za razliku od sli nih radova [5]-[8] iz ove oblasti, u fazi preprocesiranja e se odvojeno posmatrati kriterijumi i rangiranja po pojedina nim obeležijima, a me u rezultati e se objedinjavati u integralne celine. Na taj na in, svako

od obeležja e imati svoj proporcionalni u inak u kona noj logici pore enja, s tim što se na ovaj procenat direktno može uticati. Tako se kod pretrage slika gde je boja prioritetna, udeo obeležja boje može pove ati i obrnuto.

Ovaj rad organizovan je kroz pet poglavlja. Nakon Uvoda, u drugom poglavlju su detaljno objašnjena koriš ena obeležja, njhove karakteristike i veli ine. Princip rada neuralne mreže i opis predloženog sistema su dati u tre em poglavlju. Dobijeni rezultati su sadržani u etvrtom poglavlju. U petom poglavlju je dat zaklju ak i dalje smernice u radu.

II. KORIŠ ENA OBELEŽJA SLIKE

U ovom radu sadržaj slika je opisan obeležjima niskog nivoa za boju, teksturu i oblik. Obeležja su izdvojena iz slika odgovaraju im algoritmima, i od niza vrednosti dobivenih izdvajanjem obeležja za svaku sliku formirane su matrice pojedina nih obeležja. Inicijalna pretraga u CBIR sistemu koji je prezentovan u ovom radu izvodi se na matricama pojedina nim obeležja. Pored pojedina nih matrica obeležja formirana je i matrica vektora obeležja koja je dobivena konkatenacijom pojedina nih matrica obeležja. Pretraga nad matricom vektora obeležja izvršava

Pretraživanje baza slika na osnovu sadržaja Goran Zaji , Nenad Koji i Branimir Reljin

I

1203

se u tre oj fazi pretrage kada korisnik uz primenu inteligentne logike vrši korekciju pretrage.

Iz svake slike ekstrakovano je O=10 obeležja slika i kreirano je deset matrica razli itih dimenzija 1000xKj,j=1,...,10 gde Kj predstavlja dužinu pojedina nih obeležja. U procesu pretrage CBIR sistema korištena su slede aobeležja niskog nivoa, HSV(Hue Saturation Value) kolor histogram, moment boje, kolor layout deskriptor, skalabilni kolor deskriptor, i kolor korelogram za boju, a za teksturu: obeležje homogene teksture, obeležja radijalnih co-occurence matrica, histogram ivica i waveletobeležje teksture. Kao obeležje oblika korišteno je obeležje globalnih ivica. U nastavku teksta dat je kratak opis obeležja, a na in izra unavanja je detaljno obrazložen u literaturi [9].

a) Boja Kolor histogram predstavlja histogram slike u HSV kolor prostoru dužine 162 koordinate (tj. 162 razli ite boje). Kolor momenti predstavljaju vrlo robusno obeležje slike i dobro reprezentuju prostornu raspodelu boje na slici. Dužina ovog obeležja slike je 81. Kolor layot deskriptor, predstavlja obeležje pomo ukojeg se na kompaktan na in reprezentuje prostorna raspodela boje. Dužina ovog obeležja slike je 12. Skalabilni kolor deskriptor, predstavlja HSV kolor histogram dobijen odre enom kvantizacijom i koji je redukovan na 32 kooordinate odgovaraju im kodovanjem radi kompaktnijeg zapisa. Kolor korelogram, predstavlja obeležje slike za karakterizaciju ne samo raspodele boje po pikselima ve i prostornu korelaciju parova boja. Ukupna dužina ovog obeležja je 648 koordinata.

b) Tekstura Obeležje homogene teksture, predstavlja obeležje koje opisuje usmerenost, preciznost i regularnost struktura teksture na slici. Ovo obeležje sadrži 62 koordinate. Obeležje radijalnih co-occurrence matrica, predstavlja globalno obeležje teksture na slici. Svaka co-occurrence matrica predstavlja matricu uparenosti nivoa piksela na slici koji se nalaze na odgovaraju oj udaljenosti u odre enom pravcu. Ukupan broj koordinata ovog obeležja je 96 . Histogram ivica, predstavlja obeležje koje opisuje usmerenost teksture na slici na osnovu detektovanih ivica. Ukupan broj koordinata ovog obeležja je 80. Wavelet obeležje teksture, predstavlja obeležje teksture izdvojeno primenom talasne (wavelet) transformacije. Ovim obeležjem nastoji se opisati varijacija u visokofrekventnim oblastima piramidalne talasne analize 4. reda. Ukupan broj koordinata ovog obeležja je 192.

c) Oblik Obeležje oblika, predstavlja obeležje koje opisuje oblik na slici a zasniva se na obeležjima globalnih ivica. Detalji vezani za izdvajanje ovog obeležja dati su [8] i [10], a ukupna dužina ovog obeležja je 30 koordinata.

III. REALIZACIJA SISTEMA

Funkcionalna šema sistema za pretragu baza slika na osnovu sadržaja, koji je prezentovan u ovom radu, prikazan je na slici 1. Pojedini delovi sistema mogu se grupisati po fazama izvo enja odgovaraju ih koraka u procesu pretrage.

Sl.1. Blok šema predloženog sistema baziranog na automatizaciji odabira relevantnih slika.

a) Prva faza

U prvoj fazi vrši se priprema baze slika za proces pretrage. U ovoj fazi izdvajaju su obeležja slike niskog nivoa za boju, teksturu i oblik. Formiraju se matrice pojedina nih obeležja i matrica vektora obeležja. Matrice obeležja se normiraju maksimalnom vrednoš u po kolonama.

b) Druga faza

U drugoj fazi korisnik bira upitnu sliku na osnovu koje e se izvršiti pretraga, nakon ega sledi inicijalna pretraga

i odabir relevantnih slika. Ova faza predstavlja niz postupaka koji za rezultat imaju odabir relevantnih slika na osnovu upitne. S obzirom da se inicijalno odabrane relevantne slike ne prikazuju korisniku, druga faza je dobila naziv preprocesiranje.

Pri inicijaloj pretrazi se u svakoj od grupa obeležja (boja, tekstura, oblik), po svakom obeležju izdvaja N1 = 20 najbližih slika na osnovu Euklidskog rastojanja od upitnog obeležja. Slike u bazi su ozna ene samo svojim rednim brojem (ID). Formira se niz od izdvojenih ID-ova slika po svakom obeležju (nizovi O1,O2,…,O10). Konkatenacijom dobijenih nizova po grupama obeležja formiramo nove nizove A, B i C dužina 100, 80 i 20 koordinata respektivno (5x20, 4x20, 1x20).

Novonastali nizovi se sortiraju na osnovu broja ponavljanja slika. Broj ponavljanja slike u odgovaraju oj grupi obeležja ukazuje na sli nost slike upitnoj po razli itim kriterijumima. Na ovaj na in je prevazi en problem dominantnosti pojedinih obeležja zbog broja koordinata i njihove varijanse, kada se primenjuje Euklidsko rastojanje vektora obeležja kao jedini kriterijum sli nosti u inicijalnoj pretrazi. Nakon sortiranja izdvajamo N2 = 15 najzastupljenijih slika po broju ponavljanja u nove nizove A1, B1 i C1 po grupama obeležja .

Objedinjavanje nizova obavlja se po posebnoj procedure. Formira se novi niz D unijom prvih N3 slika iz niza B1 (tekstura), prvih N3 slika iz niza C1 (oblik) i prvih 2 N3 slika iz niza A1 (boja).

1204

Pri odabiru relevantnih slika koristi se vektor obeležja upitne slike. Najbližih N4 = 5 slika iz niza D, upitnoj slici na osnovu Euklidskog rastojanja, ini novi niz relevantnih slika REL , a preostale slike ine niz nerelevantnih slika NEREL. Broj slika u nizu NEREL je promenljiv zbog unije nizova A1, B1 i C1 .Efikasnost pretrage CBIR sistema zavisi od brojeva odabranih slika N3 i N4 tokom objedinjavanja rezultata inicijalne pretrage po pojedina nim obeležjima.

b) Tre a faza Nakon inicijalne pretrage i inicijalnog odabira

relevantnih slika u tre oj fazi neuralna mreža RBF tipa [4] vrši kreiranje novog upitnog vektora obeležja koji predstavlja upitni vektor pomeren u odnosu na stari, a pravac i smer pomeraja odre en je vektorima obeležja relevantnih i nerelevantnih slika. Algoritam funkcionisanja neuralne mreže ovog tipa zasniva se na pomeranjem upitnog vektora i promenom širine Gausove krive. Nakon prve primene inteligentne logike u proces pretrage se uklju uje i korisnik kome se predstavlja N5 = 30 slika i koji svojim subjektivnim odabirom relevantnih slika za slede u iteraciju pretrage uti e na sam tok i kvalitet pretrage. Ponavljanjem ovog procesa dobija se sekvencijalni niz modifikacija upitnog vektora obeležja ija se pozicija približava klasteru relevantnih slika, što je

regulisano razli itim težinskim koeficijentima za relevantne odnosno nerelevantne slika pri pomeranju upitnog vektora. Širina Gausove krive je odre ena standardnom devijacijom klastera sli nih slika. Promenom ovog parametra vrši se korekcija osetljivosti algoritma u cilju poja anja uticaja sli nih slika u klasterima sa malom standardnom devijacijom. Objektivna mera sli nosti koja se koristi u ovom algoritmu je Euklidsko rastojanje.

IV. REZULTATI

Performanse prezentovanog CBIR sistema testirane su na Corel 1K bazi slika. Corel 1K [11] koja sadrži 1000 slika koje su klasifikovane i sortirane u 10 klasa po tematici: Africa (klasa1), Beach (klasa2), Buildings (klasa3), Buses (klasa4), Dinosaurs (klasa5), Flowers (klasa6), Elephants (klasa7), Horses (klasa8), Mountains (klasa9) i Food (klasa10).

Performanse sitema su posmatrane kroz dve efikasnosti pretrage, efikasnost nakon inicijalne pretrage i efikasnost nakon prve iteracije neuralne mreže. Efikasnost CBIR sistema nakon inicijalne pretrage izra unat je kao koli nik broja slika koje pripadaju klasi upitne slike i broja slika u REL nizu, a efikasnost nakon prve iteracije neuralne mreže kao koli nik broja slika koje pripadaju klasi upitne slike i broja slika koje se prezentuju korisniku (N5=30slika). Prilikom izra unavanja obe efikasnosti, upitna slika je tretirana kao prona ena slika u procesu pretrage.

Za potrebe eksperimenta upitne slike su generisane slu ajno tako da se u svakoj sekvenci nalazi po jedna slika iz svake od klasa. Ukupno su generisane tri slu ajne sekvence sa po deset slika.

Zavisnost efikasnosti pretrage CBIR sistema od broja slika koje su automatizovano izabrane nakon inicijalne

pretrage N3 i broja izabranih relevantnih slika N4 prikazana je na slikama 2–7.

Sl.2. Efikasnost generisanja relevantnih slika nakon inicijalne pretrage za tri slu ajne sekvence slika, za N3.= 3 i N4.= 3.

Sl.3. Efikasnost generisanja relevantnih slika nakon jedne iteracije neuralne mreže, za tri slu ajne sekvence slika za N3.= 3, N4.= 3 i N5.= 30.

Sl.4. Efikasnost generisanja relevantnih slika nakon inicijalne pretrage za tri slu ajne sekvence slika, za N3.= 3 i N4.= 5.

Sl.5. Efikasnost generisanja relevantnih slika nakon jedne iteracije neuralne mreže, za tri slu ajne sekvence slika za N3.= 3, N4.= 5 i N5.= 30.

Sl.6. Efikasnost generisanja relevantnih slika nakon inicijalne pretrage za tri slu ajne sekvence slika, za N3.= 5 i N4.= 7.

1205

Sl.7. Efikasnost generisanja relevantnih slika nakon jedne iteracije neuralne mreže, za tri slu ajne sekvence slika za N3.= 5, N4.= 7 i N5.= 30.

Upitne slike iz sve tri slu ajne sekvence su grupisane po klasama radi lakšeg pregleda efikasnosti. Kao što se može videti na slici 2, kada odabiremo mali broj slika po obeležjima i mali broj relevantnih slika velika je efikasnost pretrage i u samoj inicijalnoj pretrazi. Pove anjem broja slike koje se biraju otvara se prostor da i slike koje ne pripadaju klasi upitne slike na u svoje mesto me uodabranima na osnovu velike sli nosti po nekom od obeležja. Na slici 3 prikazana je efikasnost pretrage nakon prve iteracije neuralne mreže. Efikasnost pretrage je velika izuzev u slu aju klasa 3 i 8. Iako je manja efikasnost sa manjim brojem relevantnih slika, asistencijom korisnika može se vrlo uspešno korigovati efikasnost i za ove klase.

Na slikama 4-7 prikazane su obe efikasnosti pretrage za slu ajeve kada pove avamo broj slika koji se odabire u okviru procesa pretrage. Trend je takav da gubimo visok nivo efikasnost inicijalne pretrage sa pove anjem broja slika koji se odabire iz grupa obeležja. Razlog tome je pove anje broja slika koje ne pripadaju klasi upitne slike ali su po nekom od obeležja vrlo sli ne istoj. Efikasnost pretrage nakon prve iteracije neuralne mreže ne menja drasti no svoj nivo sa pove anjem broja relevantnih slika koje se prosle uju inteligentnoj logici. Razlog tome je što na korekciju pretrage uti u i nerelevantne slike, slike koje nisu iz klase upitne, ali se na osnovu sli nosti po nekom obeležju nalaze u okolini upitne slike u višedimenzionom prostoru vektora obeležja i ne remete konvergenciju sistema ka oblasti sa ve im brojem relevantnih slika. .

Realizacijom ovog sistema korisniku se na osnovu zadate upitne slike prezentuje skup relevantnih slika dobijenih automatskom inicijalnom pretragom po pojedina nim obeležjima niskog nivoa slika iz baze. Primenom ovog sistema korisnik nije angažovan u inicijalnoj pretrazi CBIR sistema, ve ima mogu nost da u dodatnoj iteraciji svojim izborom relevantnih slika i primenom neuralne mreže pove a kvalitet i efikasnost procesa pretrage.

V. ZAKLJU AK

U radu je predstavljeno jedno rešenje za pretragu baza slika na osnovu sadržaja. Rad predloženog algoritma baziran je na tri vrste obeležja slika: boji, teksturi i obliku. Glavni cilj rada je usmeren na selektivnu obradu pojedinih obeležja, primenu rangiranja i redukcije sa ciljem dobijanja objedinjenog rezultata sa kojim algoritam koristi mogu nosti vešta ke neuralne mreže. Na ovaj na in, korisniku se pruža mogu nost da u iterativnom postupku, uz njegovu asistenciju, dobije rezultat pretrage koji je u skladu sa izabranim slikama a baziran na sadržaju. Dalji rad e biti usmeren na redukciju broja obeležja, pove anje

brzine konvergencije algoritma i implementaciju na web orijentisane strukture.

LITERATURA

[1] Y. Alemu, J. Koh, M. Ikram, and D. Kim, “Image retrieval in multimedia databases: A survey,” Proc. of 5th International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2009.

[2] S. Feng , D. Xu , X. Yang, “Attention-driven salient edge(s) and region(s) extraction with application to CBIR,” Signal Processing, v.90 n.1, p.1-15, January, 2010

[3] D. Liu, K. A. Hua, K. Vu, and N. Yu. “Fast query point movement techniques for large cbir systems.” IEEE Trans. on Knowl. and Data Eng., 21(5):729–743, 2009.

[4] V. Radosavljevi , N. Koji , S. abarkapa, G. Zaji , I. Reljin, B. Reljin, “An image retrieval system with user’s relevance feedback”, in Proc. 7th Conf. WIAMIS-2006, pp. 9-12, Se ul, Korea, 19-21, April 2006.

[5] P. Muneesawang, L. Guan, “An interactive approach for CBIR using a network of radial basis functions”, IEEE Trans. Multimedia, vol. 6, pp. 703-716, Oct. 2004

[6] G. Zaji , N. Koji , V. Radosavljevi , M. Rudinac, S. Rudinac, Nikola Reljin, I. Reljin, B. Reljin, “Accelerating of Image Retrieval in CBIR System with Relevance Feedback”, EURASIP Journal of Signal Processing, Spec. Issue on Knowledge Assisted Media Analysis for Interactive Multimedia Applications, Volume 2007 (2007), Article ID 62678, 13 pages

[7] G. Zaji , N. Koji , N.Reljin, B. Reljin, “Experiment with Reduced Feature Vector in CBIR System with Relevance Feedback”, The 5th International Conference on Visual Information Engineering, VIE'08, July 29- August 1, Xi'an, China, 2008.

[8] G. Zaji , B. Reljin, "CBIR System With Automated Selection of Relevant Images", in Proc. Conf. Scientific and Professional Symposium INFOTEH-2011, Jahorina, 16-18. march, 2011.

[9] N. Koji , G. Zaji , S. abarkapa, M. Pavlovi , V. Radosavljevi ,B. Reljin, ”The Influence of the Feature Vector Content on the CBIR System Efficiency”, TELSIKS 2009, 9th International Conference on Telecommunications in Modern Satellite, Cable and Broadcasting Services, Nis-Serbia, 7.-9. October 2009.

[10] M. Yang, K. Kpalma, J. Ronsin, “A Survey of Shape Feature Extraction Techniques,” Pattern Recognition Techniques, Technology and Applications, Peng-Yeng Yin (Ed.) (2008) 43-90.

[11] Corel Gallery Magic 65000 (1999), www.corel.com

ABSTRACT

The modern age is characterized by great professional and private multi-media production of which the largest percentage are images. Search a large number of images from the user's perspective is almost always based on content. The aim of this work is to create a database search algorithm for images that is content based. Starting from the features matrix, algorithm is based on working with color, texture and shape. Using the five characteristics of color, four characteristics of texture, and one feature for shape, the initial group of images, by applying different levels of ranking and reduction, are reduced to a small number of representative images in relation to query image. Using a neural network model and the group obtained images, the result obtained by artificial intelligence is shown to the user. Interaction with the user, in every iteration, search result can be further filtered or modified in accordance with selected images.

SEARCHING IMAGE DATABASE BASED ON CONTENT

Goran Zaji , Nenad Koji , Branimir Reljin

1206