Chapter 5 Data Mining for Classification · Classification & Prediction 2 Data Mining...

Chapter 5Data Mining for Classification

01/06/571 Data Mining Classification โดย ผศ.วภาวรรณ บวทอง

Classification & Prediction

01/06/57Data Mining Classification โดย ผศ.วภาวรรณ บวทอง2

Classification เปนกระบวนการสรางโมเดล จดการขอมลใหอยกลมทก าหนดมาให เชน จดกลมนกเรยนวา ดมาก ด ปานกลาง ไมด โดยพจารณาจากประวตและผลการเรยน หรอแบงประเภทของลกคาวาเชอถอได หรอเชอถอไมได โดยพจารณาจากขอมลทมอย

Process of Classification



1. แบงขอมลตวอยาง (Samples Data) ออกเปน 3 สวนไดแก - Training Datasets - Validation Datasets - Test Datasets

2. น า Training Datasets มาสราง Decision Tree3. ใช Validation Datasets วดความถกตองในการจ าแนกของ

Tree ทสราง4. ท าซ าขอ 2,3 เพอใหไดความถกตองสงสด5. ใช Testing Datasets มาทดสอบกบ Tree ทไดเพอวดความ

ถกตอง

Classification : Definition


อลกอรทมทใชในการเหมองขอมลแบบจ าแนก


ไดแก

• Decision Tree induction

• Naïve Bayes method• K-nearest neighbor (K-NN)

• Neural Network

Decision Tree Example


Decision Tree Learning Algorithm


Decision Tree เปนการน าขอมลมาสรางแบบจ าลองการพยากรณในรปแบบโครงสรางตนไม และมการท างานแบบ Supervised Learning (คอการเรยนรของโมเดลแบบมครสอน) สามารถสรางแบบจ าลองการจดหมวดหมไดจากกลมตวอยางขอมลทก าหนดไวลวงหนา และพยากรณกลมของรายการท ยงไ มเคยน ามาจดหมวดหม ไดดวยรปแบบของ Tree โครงสรางประกอบดวย Root Node, Child และ Leaf Node อลกอรทมทใชในการสราง Decision Tree ไดแก - ID3 Algorithm

- C4.5 Algorithm- C5.0 Algorithm- CART Algorithm

เทคนคในการท าเหมองขอมลแบบ Decision Tree


สมมตวาตองการพยากรณว า ล ก ค าท ป จ จ บ น ไ ด เ ช าสนทรพยอยางใดอยางหนงไปแลว จะมโอกาสตดสนใจซอสนทรพยชนดนนไปเปนของตนเองหรอไม ? โดยใชปจจยในการวเคราะหคอ ระยะเวลาทลกคาไดเชาสนทรพยมาและอายของลกคา

อายเชาสนทรพย อายผเชา ซอสนทรพย

2 25 YES

3 22 YES

1 28 NO

5 30 YES

4 27 NO

2 21 NO

3 23 NO

... ... …


จากขอมลพบวา “ลกคาทมอายเชาสนทรพยตงแต 2 ปขนไปและอายของผเชาตงแต 25 ปขนไป มกจะตกลงซอสนทรพยเปนของตนเอง” อายเชาสนทรพย

>= 2 ?

อายผเชา

>= 25 ?เชา

เชา ซอ

No

No

Yes

Yes

เทคนคในการท าเหมองขอมลแบบ Decision Tree

Classification Sample Data



ขอมลทก าหนดในตาราง เปนขอมลสภาพอากาศ ทใชประกอบการตดสนใจในการเลนกฬาชนดหนง วา มสภาพอากาศอยางไรจงจะเลน (play = yes)

มสภาพอากาศอยางไรจงไมเลน (play = no)

ในงานจ าแนกขอมล (Classification) ขอมลทเปนจดมงหมายในการจ าแนก คอ แอททรบวต play

ขณะท แอททรบวต outlook , temperature , humidity , windy ท าหนาทเปน predicting attributes


ปญหาทตองพจารณาคอ จะเลอก Attributes ใด ท าหนาทเปน root node ในแตละขนตอนของการสราง tree และ subtree

เกณฑทชวยตดสนใจ ในการเลอก root node คอ ทดลองเลอกAttribute แตละตวมาท าหนาทเปน root node แลวหาคา Gain ซงเปนคาทใชบอกวา attribute ทท าหนาทเปน root node สามารถจ าแนกขอมลไดดมากนอยเพยงใด

จะเลอก attribute ทใหคา Gain สงสดเปน root node

การหาคา Gain


Gain เปนคาทบอกระดบความสามารถของการจ าแนกคลาสของ attribute หนวยของการวดเปน bits (มาจาก Information Theory)

ถาให T แทน เซตของ Training Set

X แทน แอททรบวต ทถกเลอกใหเปนตวจ าแนกขอมล

Gain(x) = info(T) – infox(T)

การหาคา Gain (ตอ)


Info(T) เปนฟงกชน ทระบปรมาณขอมลทตองการเพอใหสามารถจ าแนกคลาสทตองการได

info(T) =

เมอ |T| คอ จ านวนขอมลทงหมดใน Training DatasetsFreq(Cj,T) คอ ความถทขอมลใน T ปรากฏเปนคลาส Cj

การหาคา Gain (ตอ)


Infox(T) หรอ Entropy คอ ฟงกชนทระบปรมาณขอมลทตองการเพอการจ าแนกคลาสของขอมลโดยใช attribute X เปนตวตรวจสอบเพอแยกขอมล

Infox(T) =

เมอ i คอ จ านวนคาทเปนไปไดของแอททรบวต x

|Ti| คอ จ านวนขอมลทมคา x=i

Example


จากตวอยางขอมลจะหาคา gain ของแตละ attribute ทจะเลอกเปน Root node

1. จะตองหาคา info(T)

2. หาคา infox(T) ของแตละแอททรบวต


คา info outlook(T) หาไดดงน


การจะจ าแนกคลาสของขอมลออกเปน play = yes หรอ play = no ตองใชขอมลจากแอททรบวตอนประกอบการตดสนใจ ถาแอททรบวต outlook จะตองดขอมลเพอประกอบการเลอกคลาส ดงน

Classification : Constructing Decision Tree



Classification : Constructing Decision Tree (ตอ)

เปรยบเทยบคา Gain ทได



เนองจากแอททรบวต outlook ยงไมสามารถจดกลมขอมลใหเปนคลาสเดยวกนไดทงหมด (outlook = sunny จดกลมขอมลทเปนคลาส yes=2 recs, no=3 recs และ outlook = rainy จดกลมขอมลทเปนคลาส yes=3 recs, no=2 recs) จงตองสราง decision tree ตอ โดยเลอกแอททรบวตทจะมาเปน node ในระดบท 2 ตอจาก root node ในกรณ outlook = cloudy ไมจ าเปนตองสราง node เพมเตม เพราะสามารถจดกลมขอมลทเปนคลาส yes ไดทงหมด

Constructing Decision Tree (ตอ)


แอททรบวตทสามารถถกเลอกเปน node ในระดบท 2 ได คอ temperature, humidity และ windy

พจารณาการสรางโหนดลกทางซายมอ outlook = sunny ถาเลอกแอททรบวต temperature จะไดค านวณคา gain ไดดงน

เนองจาก outlook = sunny จดกลมขอมลทเปนคลาส yes=2 recs, no=3 recs ดงนน



เมอลอง outlook = sunny แลว ทดลองจ าแนกกลมตอไปดวยแอททรบวตcloudy



เมอลอง outlook = sunny แลว ทดลองจ าแนกกลมตอไปดวยแอททรบวตhumidity



ในท านองเดยวกนเมอ outlook = sunny แลว ทดลองสราง decision tree ดวยแอททรบวตอนๆ จะไดคา gain ดงตอไปน

gain(temperature) = 0.571gain(humidity) = 0.971gain(windy) = 0.020

จงพจารณาเลอกแอททรบวต humidity (เพราะมคา gain สงสด) เปน node ในระดบทสองตอจากโหนด outlook



decision tree ยงเหลอโหนดลกทางขวาของโหนด outlook ทตองพจารณาเลอกแอททรบวตและจากวธค านวณคา gain ทผานมากอนหนาน สามารถเลอกไดวา แอททรบวต windy จะใหคา gain สงทสด

กระบวนการสราง decision tree จะสนสด กตอเมอ leaf node เปนกลมของขอมลคลาสเดยวกนทงหมด


Classification Rule


ในกรณทมขอมลใหมทยงไมทราบคลาส “outlook = sunny, temperature = cool, humidity = high, windy = true” สามารถใช decision tree ท านายคลาสของขอมลนวา play = no โดยพจารณาจากเพยง 2 แอททรบวต คอ outlook = sunny และ humidity = high

Decision tree สามารถแปลงเปน Classification rule ไดดงน

rule 1 : IF (outlook = sunny) AND (humidity = high) THEN play = no

rule 2 : IF (outlook = sunny) AND (humidity = normal)THEN play = yes

rule 3 : IF (outlook = cloudy) THEN play = yes

rule 4 : IF (outlook = rainy) AND (windy = false) THEN play = yes

rule 5 : IF (outlook = rainy) AND (windy = true) THEN play = no

Exercise


จากขอมล ความคดเหนของคน 7 คน ทตองการเลอกผสมครหมายเลข 1 หรอ หมายเลข 2 โดยพจารณาจากอาย รายได และการศกษาของผแสดงความคดเหน ปรากฎดงตาราง ใหสราง Decision Tree พรอมแสดงกฎการเรยนรทได

No Age Income Education Candidate

1 >=35 High High School 1

2 <35 Low University 1

3 >=35 High College 2

4 >=35 Low High School 2

5 >=35 High University 1

6 <35 High College 1

7 <35 Low High School 2

Chapter 5 Data Mining for Classification · Classification & Prediction 2 Data Mining...

Documents

Transcript of Chapter 5 Data Mining for Classification · Classification & Prediction 2 Data Mining...