“BİR”LİKTENGÜÇ DOĞAR
Yeni Nesil Veri Ambarı
Cem KubilayTeradata Türkiye
Ajanda
• Trendler• Yeni Disk Teknolojileri• Temporal Veritabanı• Molap’tan Rolap’a• In Database Analitik• Aktif Veriambarı
Veri Ambarında Trendler
Problems on current DW’s
Source: TDWI 2009 BP Survey. 1752 responses from 417 respondents.
Analitik
Real-Time
Ölçeklenebilirlik
‘’Old’’ Stuff
Karışık iş yükü
‘’Modern’’ Stuff
“BİR”LİKTENGÜÇ DOĞAR
Yeni Disk Teknolojileri
SSD Disk Nedir?
• Solid-State Disk (SSD) Data depolama ünitesi> Hard disk ile aynı elektriksel ve fiziksel paket> Bir grup flash memory grubudur.
Geleneksel Hard Disk Solid State Disk
SSD Vs Geleneksel Hard Disk
Kurumsal SSD (2009)
Kurumsal 15K HDD (2009)
IOPs (4 KB) 10.000 100
Bant genişliği (MB/s) >225 >150
Random I/O geçikmesi (sec)
Microseconds (10-4) Milliseconds (10-3 )
Aktif Güç (watt) <2W 12-18W
Bekleme Durumunda Güç (watt)
<1W 4-10W
Max Kapasite (GB) 256 GB 600 GB
• Hem elektrik kullanımı hem de performansta daha iyi.
Veri Ambarında en yüksek hızExtreme Performance Appliance
• Teradata Blurr Teknolojisi üzerine kurulu> SSD teknolojisi ile yaratılmış ilk veri ambarı
platformu> Endüstri lideri Teradata Veriambarı
platformunun performansını yükseltir.
• SSD “Kurumsal Kullanıma Hazır”> Yüksek performans kazancı> Yüksek süreklilik
• Teradata 13 > Yüksek performans
• Teradata Platfrom Ailesinin bir üyesi> Güvenilir donanım/yazılım ve özellikler
Blurr™ TechnologyBlurr™ Technology
•Blurr Teknolojisi yüksek performas sağlar> Saniyede 4 milyon I/O
– Diğerleri @ 1 milyon IOPS
> Saatte 9TB+ veri yükleme– Diğerleri saatte 5TB
> Günümüz veriambarlarından 18 kat daha hızlı
SSDSSD
Veri Ambarında en yüksek hızExtreme Performance Appliance
Çok katmanlı hibrid mimaride SSD (2011)
300GB SAS
Drives
1 TBSATA Drives
Solid State Drives (SSD)
Geleneksel Performans
ArşivVeri
YüksekPerformans
Oto
mati
k v
eri
taşım
a
Teradata Active Enterprise Data
Warehouse
“BİR”LİKTENGÜÇ DOĞAR
Temporal Veri Tabanı
“Time Aware” Database
Source: Temporal Data and the Relational Model by C.J. Date, H. Darwen, N. Lorentzos
Temporal veritabanı nedir?
• Temporal veritabanı zaman boyutu için özel bir destek sağlar.Tarihsel veriyi tutma, sorgulama ve güncelleme için tasarlanmış özel bir yapı.
• Geleneksel veritabanı sistemleri– piyasada şuanda varolan tüm sistemler dahil– bu anlamda temporal değil: Aslında hiçbiri tam olarak temporal desteği vermemektedir.
Önemli fonksiyonlar
• VALID TIME gerçek dünyada bir şeyin geçerli olduğu zaman dönemi
• TRANSACTION TIME verinin veritabanına yazıldığı zaman
• BI-TEMPORAL DATA valid time ve transaction time’ın birlikte tutulduğu sistem
• Valid Time ve Transaction Time herhangi bir şey için aynı olmak zorunda değil
Örnek
• Create table musteri_statu ( musteri_no integer, statu Char(1), valid_time period(date) not null as validtime);
• Insert insert into musteri_statu values (1,’A’period '(2010-01-01,UNTIL_CHANGED)');
• Update update musteri_statu set statu=‘B’ where musteri_no=1;
musteri_no statu valid_time1 A (2010-01-01,9999-12-31)
musteri_no statu valid_time1 A (2010-01-01,2010-11-23)1 B (2010-11-23,9999-12-31)
Örnek
01/01/2010 23/11/2010
31/12/9999 (eternity)
MusteriNo = 1
MusteriNo = 1
musteri_no statu valid_time1 A (2010-01-01,2010-11-23)1 B (2010-11-23,9999-12-31)
Select * from musteri_status where musteri_no=1 and validtime as of DATE ‘2010-11-21’
Select * from musteri_status where musteri_no=1 and validtime as of DATE ‘2010-11-25’
Temporal verinin faydaları
Teknik olarak• Sorgu karmaşıklığının azaltılması
>Zaman yönetimi yerine veri içerisindeki ana değerlerle çalışma>Geliştirme ve bakım sürelerinde azalma
İş faydaları• İş Zekası uygulamalarının veri derinliğinin arttırılması
>Belirli bir andaki verinin sorgulanması ve olay zincirinin yönetimi>Tarihsel veri içerisinde daha önceden bulunmasında zorlanılan iş
faydalarının sağlanması>Olayların tarihsel yönetiminin kolaylığı
“BİR”LİKTENGÜÇ DOĞAR
MOLAP’tan ROLAP’a
Yeni nesil küp uygulamarı
Star Şema
İşZekası
ÇözümleriKararDestek
Sistemleri
3NF Schema
Pazarlama Yönetim Analist Finans
İş Zekasında çok boyutlu modelleme
Uygulama Yöntemleri• Üçüncü Normal Form
> Ad-hoc analiz için> Esnek ve genişletilebilir> En detay veri sağlar> Farklı açılardan iş görüntüsü
sağlar> Karar destek sistemleri için
önemli
• Star/Snowflake Şema> Daha önceden belirlenmiş iş
soruları optimize> Önceden özetlenmiş veri sağlar> Raporlama ihtiyaçlarını modeller> İş Zekası ve OLAP raporlama için
hazırlanmış
Yönetim Analist Satış
Fiziksel küler(MOLAP)
Çok boyutlu görüntü
İş Zekası görüntüsü• Verinin çok boyutlu görüntüsü• Özetlenmiş veri• Detay veriye drill down
OLAP Uygulamaları• Farklı katmanlarda detay veri• Verinin özetlenmesine dayalı
mimari
Teradata Veri Ambarı• Drill-through• Drill-down• Daha hızlı küp yapısı• Güçlü OLAP motoru
ilişksel OLAP(ROLAP)
Hibrid OLAP(HOLAP)
01101100101011011
1
01
İş Zekası uygulama şekilleri
Finans
MOLAP ROLAP Karşılaştırması
Molap• Veri özetlenerek başka bir
platforma çıkılır• Fazladan disk alanı
gerektirir• Veri güncel değildir• Baştan yaratılması zaman
alır• Ölçeklenebilirlik problemleri• Detay veri analizi zordur• Bakım yönetim problemleri
Teradata Rolap• Özet veri bir indeks olarak
tutulur• Disk alanı ihtiyacı
minimumdur.• Veri veritabanına girdiği anda
analiz için hazırdır.• Yaratılması kolaydır.• Ölçeklenebilir• Detay veri sorgulanı, optimizer
tarafından kullanılır• Bakım yönetim problemleri
yoktur
Multi-dimensional View(BI Tools)
PI, PPI, AJI, Views
Teradata üzerinde İş Zekası
• Teradata Faydaları> Veri derinliği artat> Analitik veri sorgulama süresi azalır> Veri geçikmesi ortadan kalkar> Disk alanı ihtiyacı azalır> Ölçeklenebilirlik sorunları ortadan
kalkar> Düşük toplam sahip olma maliyeti> İş yükü Teradata tarafından karşılanır.
Bankacılık – Lloyds TSB
Problem
• Karışık ve koordine olmayan bir İş Zekası platformu• Ölçeklenebilir , çok teknik bilgi gerektirmeyen ve
esnek bir çözüm arayışı• Analist SQL cümlecikleri yazmakla çok fazla vakit
kaybetmekte• Standart ve günlük raporları yaratmak için yüksek
efor. • İş birimlerinin veriye doğrudan olmayışı
Çözüm
• ROLAP modunda MS Sql ServerAnalysis Services 2005• Teradata Aggregate Join Indexes ile MOLAP
fonksiyonu• Veri duplikasyonu ortadan kalkar• Büyük veri transferi yapılmaz
Sonuçlar
• Tek boyut üzerinde sorgular <1 sn vs. 40 sn• Tüm boyut üzerinde sorgular 2 sn vs. 7 dakika• Diğer tüm sorgular saniyeler içerisinde
Etki
• Raporlama süresi dakikalardan saniyelere
• Kolay kullanım• İstenilen tüm veriye kolay erişim,
zaman kazanımı• Tutarlı raporlama ortamı• Az kişi ile daha çok iş• Daha düşük Toplam Sahip Olma
Maliyeti
Telekomünikasyon – Verizon
Problem
• Ölçeklenebilirlik problemleri• İş tarafının artan isteklerine cevap verememe• Varolan mevcut altyapı, son kullanıcı isteklerine
cevap vermede yetersiz.
Çözüm
• ROLAP Küpler: En efektif çözüm• Kullanılabilir altyapı• AJI• Farklı işyüklerinin yönetimi• Konfigure analitik servisler
Sonuç
• Azalan depolama ünitesi kullanımı• Zaman Kazancı• Yüksek performans• Artan iş faydası• Azalan donanım gereksinimi• Azalan geliştirme ve bakım süreleri
Etki
• Yüksek sayıda boyut ve ölçüm desteği
• Model esnek ve ölçeklenebilir• Önceden belirlenemeyen trendler
şimdi kolaylıkla bulunabiliyor.• Veriambarı içerisinde bulunan
tüm veriye drill down olanağı
Kübün yaratılma süresi: 13 saatten 3 dakikayaKüp Boyutu: 22.4 GB’tan 10GB altınaVeri Detayı: Aylık özetten to Günlüğe
“BİR”LİKTENGÜÇ DOĞAR
In-Database Analitik
Teradata ile SAS işbirliği veri madenciliğini veritabanı içine taşıdı
Veri madenciliğinin en genel kullanımında veri, veri ambarından SAS platformuna çıkılır.
Sorunlar • Tekrarlayan veri ve yüksek altyapı maliyeti• Analistlerin çoğu zamanı iş faydası düşük
olan veri hazırlama süreci ile geçer.• Verinin taşınması ve veri kalitesi
problemleri
Eski
Analytic Modelling
SASScoringData
Yeni
SASScoring
Data
SASModelling
Analytic Modelling
Faydalar
SAS ile Teradata tüm bu süreci veri ambarı içerisine taşıdı
• Maliyet Avantajı: Tek sistem ayrı bir donanım gereksinimi yok
• Analistler veri hazırlama yerine veri analizi yaparlar
• Yüksek hızda skorlama
Rek
abet
Ava
ntaj
ı
Veri HazırlamaVeri Hazırlama
Veri KeşfiVeri Keşfi
İşin Kavranmasıİşin Kavranması
Veri ToplamaVeri Toplama
OperaOperasysyononeel l AnalAnalitik Bakışitik Bakış
Zaman
ModelModelin in Uygulamaya AlınmasıUygulamaya Alınması
SAS ModelSAS Modelii
ModelModelGeliştirmeGeliştirme
Model Model ve Veri ve Veri DönüştürmeDönüştürme
Gelişim Sürecinin %70’i
Model ADS
Skor ADS
Geleneksel Analitik Süreç Zinciri
Rek
abet
Ava
ntaj
ı
İşin Kavranmasıİşin Kavranması
OperaOperasyonel Analitik Bakışsyonel Analitik Bakış
Uygulanabilir İş Zekası
ModelModelGeliştirmeGeliştirme
Zaman
Model Geliştirme ve UygulamaGünlerden Saatlere
Skor ADS
SAS ModelSAS Modelii
“In-Database” Analitik Süreç Zinciri
Select musteri_degeri_skorla (1,’ABC’,2000,......);
STRATEJİK ZEKA
Plan
İÇERİKAKSİYON
OPERASYONEL ZEKA
Sonuç
Veri
Sonuç OlarakAktif Kurumsal Zeka
InsightsInto
Action
Top Related