Analiza podataka Data Mining
20
Analiza podataka Data Mining An dela Mili´ cevi´ c, Luka Deki´ c
Transcript of Analiza podataka Data Mining
Analiza podatakaData Mining
Andela Milicevic, Luka Dekic
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Pregled
1 Upoznavanje sa pojmom Data Mining
2 Faze u procesu Data Mininga-a
3 Data Mining tehnike
4 Primena Data Mining-a
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Sta je to Data Mining?
Danasnje uslove poslovanja karakterisu neizvesnost, rizik ikonkurencija
Preduzeca moraju svakodnevno da se bore za opstanak natrzistu i ostvarivanje boljih rezultata
Skoro sve firme cuvaju velike kolicine podataka o poslovanju,klijentima i kretanjima u okruzenju
Dnevni unos podataka koje velike firme pohranjuju u svojebaze, meri se u terabajtima
Kako znati bas koji podaci su znacajni?
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Sta je to Data Mining?
Data Mining je proces pronalazenja skrivenih zakonitosti iveza medu podacima
Postupak izdvajanja interesantnih, novih i potencijalnokorisnih informacija, sadrzanih u velikim bazama podataka
Multidisiplinarno podrucje koje obuhvata baze podataka,ekspertne sisteme, teoriju informacija, statistiku, matematiku,logiku i citav niz drugih oblasti
Data Mining se zove i Knowledge Discovery in Databases(KDD) tj. otkrivanje znanja u bazama podataka
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Sta je to Data Mining?
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
1. Sakupljanje podatakaPoslovni podaci su uskladisteni u brojnim sistemima, naInternetu, u bazama podataka kompanijaPrvi korak je prenos relevantnih podataka u bazu podataka gdese podaci analizirajuPoezljno je da se podaci sakupe iz razlicitih izvora, a nakontoga sempluju
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
2. Filtiriranje podataka i transformacijaCilj filtriranja podataka je odstranjivanje irelevantnih i suvisnihinformacija iz skupa podatakaTo podrazumeva uklanjanje duplih i nepotpunih informacija,njihovu transformaciju, biranje podgrupa podataka itd.Neke od tehnika koje se primenjuju su transformacija tipovapodataka, neprekidna transformacija kolona, rad sa vrednoscukoja nedostaje, brisanje abnormalnih slucajeva
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
3. Kreiranje i izbor modelaPre kreiranja modela treba da razumemo cilj datog DataMining projektaZa svaki Data Mining problem postoji nekoliko odgovarajucihalgoritamaPreciznost algoritma zavisi od prirode podataka kao sto su:broj stanja atributa koji se koriste za predvidanje, prenosvrednosti svakog atributa, veza izmedu atributa itd.U ovom delu projekta potrebno je sastaviti tim poslovnihanaliticara koji su eksperti u odredenoj oblasti
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
4. Procena kvaliteta modelaU ovoj fazi kreira se skup modela koriscenjem algoritama i DMtehnikaNakon kreiranja mora se izvrsiti i evaluacija tog modelaPostoji nekoliko popularnih alata za evaluaciju kvalitetamodela, a najpoznatiji je lift dijagram
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
5. Kreiranje izvestajaNakon kreiranja modela i evaluacije kvaliteta tog modela, vrsise kreiranje izvestaja
6. Ocenjivanje modelaU mnogim projektima, pronalazenje obrazaca i modela je samopola poslaKonacni cilj je upotreba tog modela za predvidanje
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
7. Integracija Data Mining modela u aplikacijuSve vise poslovnih aplikacija ukljucuje Data MiningkomponentuNa primer, on-line knjizara moze dati potencijalnim kupcimapreporuke knjigaOvo je kljucni korak za uvodenje Data Mining-a u masovnuupotrebu
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Faze u procesu Data Mininga-a
8. Upravljanje modelomTrajanje jednog Data Mining modela je ogranicenoNova verzija modela se mora praviti cestoOdredivanje preciznosti i kreiranje novih verzija ovog modela bitrebalo biti postignuto koriscenjem automatizovanih procesa
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Data Mining tehnike
Iako je Data Mining mlada tehnologija, koriste se odavnopoznate matematicke tehnike i algoritmi
Ono sto je povezalo ranija saznanja i velike baze podatakajeste pojeftinjenje prostora za skladistenje podataka iprocesorske snage
Data Mining tehnike se mogu podeliti u dve grupe
1. Discovery Data Mining – tehnike za otkrivanje novih znanja2. Predictive Data Mining – tehnike za predvidanja
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Data Mining tehnike
Metoda najblizeg susedaNearest neighbor classification
Zbog nacina rada, koji je slican ljudskom nacinu razmisljanja,ova metoda je jedna od najjednostavnijihZasniva se na trazenju podataka koji imaju najslicinija svojstvai poznato ponasanjePodatak koji ima najslicnija svojstva je najblizi sused, pa sepretpostavlja da ce se slicno i ponasati
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Data Mining tehnike
Stablo odlucivanjaDecision Tree
To je tehnika odlucivanja utemeljena na odnosima izmedustrategija i stanjaKoristi se za resavanje problema u finansijama, bankarstvu,osiguranjuKoriscenjem serije pitanja i pravila za kategorizaciju podataka,predvidaju se ishodi. Stablo odlucivanja nastaje grananjem kaoposledica ispunjenja uslova dredenih pitanja. Svako pitanje cepodeliti podatke u podskupove koji su homogeniji nego visiskup
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Data Mining tehnike
Neuronske mrezeNeural networks
Ova tehnika Data Mining-a zamisljena je da deluje slicnoljudskom mozguKao sto ljudski mozak nakon ucenja izvlaci odredenepretpostavke na osnovu ranijih zapazanja, tako i ove mrezepredvidaju promene i desavanja u sistemu nakon procesa ucenjaDM na osnovu ove tehnike pocinje ,,ucenjem” mreze pomocupodataka koji su vec poznati, a koji se odnose na vrednost kojuzelimo prognozirati. Nakon toga znanje se proverava, sve dokrezultati provere ne budu zadovoljavajuciOvo je najkomplikovanija metoda, ali daje najtacnije modele
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Data Mining tehnike
Pored ovih tehnika postoji niz drugih algoritama na kojima setemelje modeli za Data Mining
Neki od njih su fuzzy logika, memorijski zasnovanorasudivanje, klastering, analiza potrosacke korpe
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Primena Data Mining-a
Data Mining najvecu primenu ima u trgovini. Pored toga,primenjuje se i u bankarstvu. U medicini moze da se odredikoju terapiju treba prepisati pacijentu. Elektrane ili telefonskekompanije mogu da predvide kada ce i koliki biti vrhunacopterecenja, kako bi ga izbegle. . .
Potencijali koji leze u Data Mining tehnologiji su ogromni ivec se uveliko primenjuju, a dalji razvoj racunarske tehnologijece ga sve vise i vise uvoditi u svakodnevni zivot
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
Literatura
Max Bramer, British Library Cataloguing in Publication data,Springer-Verlag London limited, 2007(http://lib.mdp.ac.id/ebook/Karya%20Umum/Data-Mining-Undergraduate-Topics.pdf)
http://www.sk.rs/2005/05/skpr01.html
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
Upoznavanje sa pojmom Data MiningFaze u procesu Data Mininga-a
Data Mining tehnikePrimena Data Mining-a
HVALA NA PAZNJI!
Andela Milicevic, Luka Dekic Analiza podataka Data Mining
