Data Warehouse Architecture
-
Upload
raywadee-sakdulyatham -
Category
Documents
-
view
219 -
download
0
description
Transcript of Data Warehouse Architecture
LOGO
��
��������������������� ����������������� ����������������������������������� ����������������� ��������������Data Warehouse Architecture
������������ ����������� ������
Contents
2 สถาปตยกรรมคลงขอมล
1
แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล
2
สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล3
4
5
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
แนวทางในการพฒนาคลงขอมล
แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล
ใบส�งซ�อสนคา บรษท ABC จากด
ลกคา คณสมชาย ใจด เบอรโทร 081-9999999
สนคา จานวน เปนเงน
เกาอ� 172 17200
3
เกาอ� 172 17200
โตะ 85 1700
ต 184 18400
ช�นวางของ 110 1100
กระดาน 47 940
แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล
4
แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล
5
แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล
6
สถาปตยกรรมคออะไร ??
“สถาปตยกรรมของระบบใดๆ (Architecture) หมายถง การกลาวถง องคประกอบ และความสมพนธระหวางองคประกอบตางๆ ท�มในระบบน�นๆ รวมถงหนาท�ของแตละองคประกอบของระบบดวย”
7
ระบบดวย”
คลงขอมล เปรยบไดกบเปนระบบสารสนเทศขนาดใหญท�รวบรวมเอาขอมลและกระบวนการตางๆ ท�มอยในธรกจท�งหมดขององคกรไวในท�เดยวกน และมความสอดคลองกน
สถาปตยกรรมคลงขอมล
ดงน�นสถาปตยกรรมของคลงขอมล จะสอดคลองกบองคประกอบหลกของระบบสารสนเทศ ดงน�
InputInput ProcessProcess OutputOutput
8
InputInput ProcessProcess OutputOutput
StorageStorage
สถาปตยกรรมคลงขอมล
Data Acquisition System
Data Staging Area
Data Warehouse Database
Data Provisioning Area
Data Data DataData
9
Metadata Repository
Meta
data
Meta
data
Meta
data
Meta
data
Terminal
สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล
องคประกอบหลกๆ ท�สาคญ ในสถาปตยกรรมคลงขอมล มดงน�
1. Data Acquisition System : ทาหนาท�รวบรวมขอมลจากภายในและภายนอกองคกร และทาการตรวจสอบความถกตองในเบ�องตน กอนสงไปยงกระบวนการตอไป
2. Data Staging Area : ทาหนาท�รบขอมลและตรวจสอบรายละเอยดของ
10
2. Data Staging Area : ทาหนาท�รบขอมลและตรวจสอบรายละเอยดของขอมล โดยมการทา Cleansing และ Filtering
3. Data Store หรอ Data Warehouse Database : ทาหนาท�บนทกขอมลท�ผานกระบวนการ Data Staging มาแลว ลงในคลงขอมล
ซ�งในกระบวนการน�จะตองมการออกแบบแบบจาลองขอมล (Data Model) เพ�อเปนโครงสรางขอมลท�จะทาการจดเกบ
สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล
4. Data Provisioning Area หรอ Data Mart : ทาหนาท�ดงมาจาก Data Warehouse Database มาประมวลผล และบนทกขอมลท�ตองการนาไปวเคราะห ซ�งขอมลดงกลาวจะถกทาการปรบขอมลใหเหมาะสมกบการนาไปใช (นาไปวเคราะห)
5. End Users Terminal : ทาหนาท�เปนเคร�องมอท�ดงเอาขอมลท�เตรยม
11
5. End Users Terminal : ทาหนาท�เปนเคร�องมอท�ดงเอาขอมลท�เตรยมไวใน Data Provisioning Area หรอ Data Warehouse Database มานาเสนอผลลพธ โดยจะมเคร�องมอท�ทาหนาท�ออกรายงาน (reporting tools), Multidimensional (OLAP) tools, Data mining tools
สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล
6. Metadata Repository : เปนพ�นท�ท�ใชสาหรบเกบขอมลตางๆ ท�จาเปนสาหรบควบคมการทางานและขอมลในคลงขอมล โดยจะเกบขอมลท�เก�ยวของกบทกๆ กระบวนการ เชน
- คานยามของขอมลใน Data Warehouse
12
- คานยามของขอมลใน Data Warehouse
- ความถ�ในการนาขอมลเขา ในสวนของ Data Acquisition System
- กระบวนการในการแปลงขอมล ของ Data staging
- ขอมลท�จาเปนในการออกรายงานแตละรายงาน
สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล
สวนประกอบอ�นๆ ท�เสรมอยภายในสถาปตยกรรมคลงขอมล
Process Management : ทาหนาท�จดการกระบวนการทางานท�งหมด
เชน ลาดบการทางานของกระบวนการตางๆ
Application Messaging : เปน Middleware ทาหนาท�ในการสง
13
Application Messaging : เปน Middleware ทาหนาท�ในการสงขอมลภายในองคกร ผานทางเครอขาย
Middleware คอ ซอฟตแวรประเภทหน�งท�ทาหนาท�เปนตวกลาง
เปนตวประสานและให Service ตางๆ แก Application
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
Data Warehouse Architecture
หลกการแบงประเภทของสถาปตยกรรมของคลงขอมลน�น จะแบงจากสภาพทางกายภาพของ Data Warehouse Database และ Data Provisioning
14
Centralized Architecture
Architecture
DistributedArchitecture
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
Centralized ArchitectureCentralized Architecture
หมายถง รปแบบของสถาปตยกรรมของคลงขอมลท� Data Warehouse
น�นถกเกบเปนกลมกอนเดยวกน ไมไดมการแยกหรอกระจายออก
Data
15
DataWarehouseDatabase
Dataprovisioning
Area
Dataprovisioning
Area
Dataprovisioning
Area
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
ขอดของสถาปตยกรรมคลงขอมลแบบ Centralized Architecture
การรกษาความปลอดภย และบารงรกษาทาไดงาย
เน�องจากเปนสถาปตยกรรมท�มคลงขอมลแบบรวมเปนกอนเดยว ทาให..
- มความซบซอนนอย
16
- มความซบซอนนอย
- มงรกษาความปลอดภยของขอมลไปท�จดเดยว
สามารถสรางความเปนปกแผนของขอมลไดงายท�สด
มความถกตองตรงกนของขอมลอยแลว เพราะไมมโอกาสท�จะมขอมลชดเดยวกน 2 ชดอยหลายท�ได
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
ขอเสยของสถาปตยกรรมคลงขอมลแบบ Centralized Architecture
มความเส�ยงในการไดรบความเสยหายมากกวาสถาปตยกรรมอ�นๆ
ในกรณท�เกดความเสยหายข�น จะเกดความเส�ยงสงท�ขอมลจะถกทาลายแลวสงผบกระทบอยางมากตอการใชงาน
ในการออกแบบและสรางทาไดยากท�สด
17
ในการออกแบบและสรางทาไดยากท�สด
- จะตองออกแบบ Data Model ขององคกรใหครบถวนกอนท�จะสราง
- Data Warehouse ท�สรางข�นจะตองมความเปนหน�งเดยว
** ถงแมวาความยากในการออกแบบจะเปนขอดอยของ Centralized Architecture แตความเปนหน�งเดยวของขอมล เปนท�ยอมรบวาเปน Data Model ท�มประสทธภาพมากท�สด
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
Distributed ArchitectureDistributed Architecture
หมายถง รปแบบของสถาปตยกรรมของคลงขอมลท� Data Warehouse
มการกระจายออก โดยอาจจะกระจายอยบน Disk ตวเดยวกนหรอคนละตวกได
เพ�อสรางความคลองตวในการใชงาน
18
เพ�อสรางความคลองตวในการใชงาน
โดยการกระจายออกของ Data Warehouse น�นหมายความวา มขอมล
ใดๆ ตวหน�ง อาจจะมอยใน Data warehouse เพยงตวเดยว หรอหลายตวกได
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
DataWarehouse
Dataprovisioning
Area
Dataprovisioning
19
WarehouseDatabase
provisioningArea
Dataprovisioning
AreaData
WarehouseDatabase
Dataprovisioning
Area
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
ขอดของสถาปตยกรรมคลงขอมลแบบ Distributed Architecture
เปนสถาปตยกรรมคลงขอมลท�สามารถสรางไดงาย
เน�องจากม Data warehouse ท�แยกจากกน ดงน�นจงงายท�จะคอยๆ ออกแบบ และสรางทละสวน คอออกแบบ Data Model ท�ยงไมเปนภาพรวม
** เหมาะกบองคกรท�ตองการระบบ Data Warehouse อยางรวดเรว
20
** เหมาะกบองคกรท�ตองการระบบ Data Warehouse อยางรวดเรว
เปนสถาปตยกรรมท�สามารถกระจายความเส�ยง ในกรณท�อาจจะเกดความเสยหายข�นกบระบบไดด
คอ มโอกาสท�ขอมลชดนงใน Data warehouse ตวหน�งอาจจะถกทาลาย แตขอมลชดเดยวกนในอกท�หน�งยงอย
สถาปตยกรรมในแบบตางๆ ของคลงขอมล
ขอเสยของสถาปตยกรรมคลงขอมลแบบ Distributed Architecture
มโอกาสท�ขอมลอาจจะขาดความเปนอนหน�งอนเดยวกน
ในการท�ยอมใหขอมลชดเดยวกนมในหลายๆ ท�ได มโอกาสท�ขอมลชดเดยวกนใน 2 ท� อาจจะมความไมสอดคลองกนได
21
เดยวกนใน 2 ท� อาจจะมความไมสอดคลองกนได
การรกษาความปลอดภย ทาไดยาก
เน�องจากม Data Warehouse มหลายแหง ดงน�นจะตองมการหามาตรการปองกนความเสยหายท�รดกมมากพอ ซ�งทาไดยากกวา Centralized Architecture
แนวทางในการพฒนาคลงขอมล
แนวทางในการพฒนาคลงขอมลน�น มอยดวยกน 3 วธการ โดยจาแนกตาม
ลกษณะและลาดบเวลา กอน-หลง ในการเกด Data Model, Data Warehouse
Database และ Data Provisioning
Top-Down Data Warehouse Development
22
Top-Down Data Warehouse Development
Bottom-Up Data Warehouse Development
Mixed Data Warehouse Development
แนวทางในการพฒนาคลงขอมล
Top-Down Data Warehouse Development
เปนหลกการท�เหมาะสมในการใชเพ�อพฒนา Centralized Data Warehouse
โดยยดหลกการท�จะทาใหได Data Warehouse รวมของท�งองคกรในคราวเดยว
23
ซ�งวธการพฒนา จะเร�มจากการวเคราะหธรกจองคกรท�งหมด และออกแบบ
Data Model ท�เปนภาพรวมของธรกจ
แนวทางในการพฒนาคลงขอมล
Organization-wide
Data Model
Data
24
DataWarehouseDatabase
Data Mart
Data Mart
Data Mart
แนวทางในการพฒนาคลงขอมล
ขอดของการพฒนาคลงขอมลดวยหลกการ Top-Down
Data Model ท�พฒนาข�น จะสามารถอธบายธรกจขององคกรไดอยางถกตอง และสามารถเช�อมโยงขอมลกนไดท�งหมด ไมวาขอมลน�น จะถกใชงานท�แตกตางกน
25
แตกตางกน
หลงจากท�พฒนาเสรจแลว จะมงานท�เหลอท�จะตองทาเพ�มนอยมาก
ไมจาเปนตองรกษาความสอดคลองของขอมล เพราะวาขอมลหน�งหนวยใดๆ มอยเพยง 1 ท�เทาน�น
แนวทางในการพฒนาคลงขอมล
ขอเสยของการพฒนาคลงขอมลดวยหลกการ Top-Down
มการออกแบบ Data Model ท�มความยากท�สด
อาจพบขอจากดของขอมลท�เกดจากความแตกตางในการปฏบตงาน
26
อาจพบขอจากดของขอมลท�เกดจากความแตกตางในการปฏบตงาน
เชน ขอมลตวเดยวกน แตมช�อตางกนใน 2 ฝายงาน
ตองใชเวลา งบประมาณ และกาลงคนเปนจานวนมาก
แนวทางในการพฒนาคลงขอมล
Bottom-Up Data Warehouse Development
เปนวธการพฒนาท�ตรงขามกบ Top-Down โดยการพฒนาในวธน� จะเร�มจาก
- การวเคราะหและออกแบบผลลพธทละสวนกอน
27
- การวเคราะหและออกแบบผลลพธทละสวนกอน
- Data Acquisition, Data Staging Area, Data Provisioning (Data Mart)
- นาเอาขอมลท�มอยในแตละ Data Mart มารวมกน เพ�อออกแบบและสราง
Data Model และ Data Warehouse
แนวทางในการพฒนาคลงขอมล
DataWarehouseDatabase
Next
Ste
p
28
Data MartData
Model
Data Mart Data Mart Data Mart
Data MartData
Model
Data MartData
Model
Next
Ste
p
Next
Ste
p
แนวทางในการพฒนาคลงขอมล
ขอดของการพฒนาคลงขอมลดวยหลกการ Bottom-Up
ทาใหผใชไดขอมลอยางรวดเรว
การออกแบบ Data Mart แตละตวมความซบซอนนอยกวาการออกแบบ
29
การออกแบบ Data Mart แตละตวมความซบซอนนอยกวาการออกแบบ Data Warehouse ท�มความเปนหน�งเดยว
ตนทน และเวลาท�ใชสาหรบการออกแบบและสราง Data Mart แตละตว นอยกวาการออกแบบและสราง Data Warehouse ดวยวธ Top-Down
แนวทางในการพฒนาคลงขอมล
ขอเสยของการพฒนาคลงขอมลดวยหลกการ Bottom-Up
การควบคมความซ�าซอนทาไดยาก เพราะเม�อม Data Mart มากข�น โอกาสท�มขอมลท�มความหมายเดยวกน แตอยคนละ Data Mart กมสงข�น
30
การนาขอมลเขาอาจมมากเกนความจาเปน ซ�งเกดจากการดาเนนกบขอมลท�มความซ�าซอนเกดข�น
การรวม Data Mart แตละตว เพ�อทาการสราง Data Warehouse กลางขององคกร ทาไดยากและใชเวลามาก
แนวทางในการพฒนาคลงขอมล
Mixed Data Warehouse Development
เปนการพฒนาระบบ Data Warehouse โดย
- แยกขอมลออกเปนสวนๆ
31
- แยกขอมลออกเปนสวนๆ
- พจารณาเลอกวธการวเคราะหและออกแบบ
(Top-Down หรอ Bottom-Up)
- นาเอาแตละสวนท�ไดพฒนาข�น มารวมกนภายหลง
แนวทางในการพฒนาคลงขอมล
Organization-wide
Data Model
DataWarehouse
32
WarehouseDatabase
Data Mart Data Mart
Data MartData
Model
Data MartData
Model
Ne
xt
Ste
p
LOGO
����
Do you have any Question ?
Home Work
1. จงอธบายถงสวนประกอบ หรอกระบวนการหลกๆ ในสถาปตยกรรมของคลงขอมลท�ง 6 กระบวนการ
2. สถาปตยกรรมคลงขอมล แบงไดเปนก�ประเภท และอธบายลกษณะสาคญของแตละประเภท
3. จงบอกขอด-ขอเสย ของสถาปตยกรรมคลงขอมลในแตละประเภท
34
3. จงบอกขอด-ขอเสย ของสถาปตยกรรมคลงขอมลในแตละประเภท
4. แนวทางในการพฒนาคลงขอมลมก�แนวทาง และอธบายลกษณะสาคญของแตละแนวทาง
5. จงบอกขอด-ขอเสย ของแนวทางในการพฒนาคลงขอมลแบบ Top-Down และ Bottom-Up