2015 Arancibia - A Perfect Storm - OOW LAD PT share - Oracle...Title 2015 Arancibia - A Perfect...

A Perfect StormOracle Big Data para usuários corporativosdas tecnologias "R" e SASMarcos Arancibia, Product ManagerOracle Data Science

[email protected]@MarcosArancibiayoutube.com/user/OracleAdvAnalytics

Oracle Confidential – Internal/Restricted/Highly RestrictedCopyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Safe Harbor StatementThe following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

2


Perfect Storm: algo que descreve o fenômeno específico que acontece com

tal confluência, que resulta em um evento de magnitude muito maior e

pouco usual.-‐Wikipedia

3

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4

Masters in Data Science

Big Data

Cloud


Agenda•O que é o R?•Quem está utilizando o R e porquê?•Visão geral das Tecnologias R da Oracle•Tour Global de Clientes•Demo

5


O que é o R?• O R é uma linguagem de script de código aberto e um ambiente para computação e gráficos estatísticoshttp://www.R-‐project.org/

• Iniciado em 1994 como uma alternativa ao SAS, SPSS e outros ambientes proprietários

• O ambiente R– R é um pacote integrado de componentes de software para

manipulação, computação e display gráfico de dados. • Milhões de usuários no mundo– Amplamente ensinado em Universidades– Muitos analistas corporativos e Cientistas de Dados utilizam e

conhecem R• Milhares de pacotes de código aberto para melhorar a produtividade, como :– Bioinformática– Estatística Espacial– Análise de Mercados Financeiros– Análise de Redes Sociais


Porque estatísticos, Analistas e Cientistas de Dados utilizam R?

O Ambiente R é…• Poderoso• Extensível• Gráfico• Estatísticas extensas• Functionality out-‐of-‐the-‐box com muitas opções e defaults inteligentes• De fácil instalação e uso• Grátis

A Linguagem estatística R é bastante similar ao SAS básico ou SPSS

http://cran.r-‐project.org/


Popularidade do R – # de buscas Google Scholar

Robert A. Muenchenhttp://r4stats.com/articles/popularity/

“O SPSS tem uma claravantagem, mas se pode verque sua dominância foimáxima em 2007 e seu usotem tido um declínio forte. O SAS nunca chegou próximo do nível de dominação do SPSS, e teve seu pontomáximo em2008“

SPSS

SAS

R


Popularidade do R – # de buscas Google ScholarSAS e SPSS removidos

Robert A. Muenchenhttp://r4stats.com/articles/popularity/

“…o uso do R estáexperimentando um crescimento muito rápido e está se distanciando do resto, solidificando suaterceira posição.”

R


Popularidade do R – Tendências de Empregos

http://r4stats.com/articles/popularity/R vs. SPSS R vs. SAS


Pesquisa KDNuggets: Linguagems para Data Mining/Analytics


Pesquisa KDNuggets: Ferramentas Mais Utilizadas


Pontos Críticos que o Advanced Analytics resolve“Demora muito para eu conseguir meus dados, ou para conseguir os dados corretos”

“Não consigo analizar todos os meus dados – tenho que utilizar amostras”

“Colocar modelos e resultados em produção leva tempo e é complicado”

“Recoding models into SQL, C, or Java takes time and is error prone”

“Nossa empresa se preocupa muito com segurança, backup e recuperação de dados”

“Temos que construir dezenas de milhares de modelos rapidamente para atingir nossos

objetivos de negócio”

13


Tecnologias R da Oracle

14


Distribuição R da Oracle – Oracle R Distribution

• Uma redistribuição com suporte Oracle do software aberto R• Melhor performance de álgebra via carregamento dinâmico de bibliotecas• Melhora a escalabilidade do R em utilização embebida no cliente e no database• Suporte Corporativo para clientes com a opção Oracle Advanced Analytics, o Big Data Appliance, o Big Data Connectors ou o Oracle Linux.

• Download gratuito• A Orace contribui com ajustes a Bugs e melhoras ao R software aberto

Abilidadede carregar dinamicamenteIntel Math Kernel LibraryAMD Core Math Library

Solaris Sun Performance Library

SuporteOracle


Oracle R Distribution x64 utilizando Intel MKLPerformance emmanipulação de matrizes (segundos)

ORD with internal

BLAS/LAPACK1 thread

ORD + MKL 1 thread

ORD + MKL2 threads

ORD + MKL4 threads

ORD + MKL8 threads

Performance gain ORD + MKL 4 threads

Performance gain ORD + MKL 8 threads

Matrix Calculations 11.2 1.9 1.3 1.1 0.9 9.2x 11.4x

Matrix Functions 7.2 1.1 0.6 0.4 0.4 17.0x 17.0x

Matrix Multiply 517.6 21.2 10.9 5.8 3.1 88.2x 166.0x

CholeskyFactorization 25 3.9 2.1 1.3 0.8 18.2x 29.4x

Singular Value Decomposition 103.5 15.1 7.8 4.9 3.4 20.1x 40.9x

Principal Component Analysis

490.1 42.7 24.9 15.9 11.7 29.8x 40.9x

Linear DiscriminantAnalysis 419.8 120.9 110.8 94.1 88.0 3.5x 3.8x

Benchmark executado em um cluster de 3 nós, com 24 cores a 3.07GHz por CPU e 47 GB RAM, usando Linux 5.5.

16https://blogs.oracle.com/R/entry/oracle_r_distribution_3_0


Módulo ROracle

• Pacote R que permite uma conectividade escalável e performática ao Database Oracle– Software aberto, publicamente disponível no CRAN– A Oracle é quem mantém o módulo

• Interface para o Database Oracle (DBI) para R– Driver re-‐implementadoe otizimado baseado no OCI– Executa comandos SQL da interface R– Permite comportamento transacional para inserts, updates e deletes.

Oracle Database

ROracle


Performance do Driver ROracle vs. ODBC vs. JDBCPerformance acessando o Oracle Database via queries SQL

18https://blogs.oracle.com/R/entry/r_to_oracle_database_connectivity

Comparação: acesso a 10 colunas e 1,000 colunas (RJDBC não suportou mais de 100k registros)


Tecnologias Preditivas da OracleR, SQL e Hadoop (MR/Spark)

19


Oracle Advanced AnalyticsAlgoritmos Preditivos in-‐Database e no Hadoop, acessíveis via R e SQL

Logistic Regression

Decision Trees

Naïve Bayes

Support Vector Machines

RegressionLinear Regression

Support Vector Machines

Classification

Multi-‐Layer Neural Networks

Anomaly Detection

One-‐Class SVM

Attribute Importance

Minimum Description Length

Principal Components Analysis

Association Rules

Apriori

Clustering

Hierarchical k-‐Means

Hierarchical O-‐Cluster

Expectation-‐MazimizationFeature Extraction

Nonnegative Matrix Fact(NMF)

Singular Value Decomposition(SVD)

Collaborative Filtering (LMF)

Disponível via Hadoop/MR no ORAAHDisponível via Spark/Hadoop no ORAAH

20


Oracle Data Miner GUIExtensão ao SQL Developer 4.1, download grátis na OTN

• Fácil de usar– GUI Oracle Data Miner para Analistas de Datos– Paradigma de “Work flow”

• Poderoso– Múltiplos algoritmose transformações de dados– Execução 100% in-‐DB– Criação, avaliaçãoe scoring de Modelos– Integração de Scripts R nos fluxos de processo

• Automatização e Scoring– Gravação e compartilhamento de workflows analíticos

– Criação de scripts SQL para scoring

21


Oracle R EnterpriseOpção Oracle Advanced Analytics para o Oracle Database

• Elimina a restrição de memória do cliente R• Minimiza ou elimina a latência de movimento de dados• Aproveita o ambiente do Oracle Database como um ambiente HPC• Executa scripts R através do Database Server para escalabilidade e performance• Toma proveito dos algoritmos de Data Mining paralelos/distribuídos do Oracle Database• Executa e gerencia scripts R via SQL• Operacionaliza scripts R em aplicações em produção, eliminando a tradução do código R

Client R EngineORE packages

Oracle Database

User tables

In-‐dbstats

Database ServerMachine

SQL InterfacesSQL*Plus,SQLDeveloper, …

22


Oracle Database Server com a opção Advanced Analytics

Oracle Advanced Analytics: Machine Learning in-‐DatabaseUtilizando algoritmos in-‐Database, o motor R Enterprise e pacotes abertos se desejado

R AnalyticsOracle R Enterprise

R Client

ORE Parallel algorithms: MLP Neural, Stepwise, LM, GLM, PCAAccess to open-‐source R packages SQL Developer

Other SQL Apps

SQL Basic Statistics and Joins

Data Mining Predictive Analytics 15 PL/SQL In-‐Database algorithms

R

23

SQL Client


Oracle Advanced Analytics no Exadata X3-‐2 ½ RackEscalabilidade de RegressãoLinear: ore.lm() de processamentodistribuído

Modelo de Regressão utilizando 30 variáveis numéricas: SPSS rodando em servidor conectado ao EXADATA na mesma rede levou 2+ horas para ETL + construção de modelo em 34mi registros

24

7200

10.825.5 34.8

315

1

10

100

1,000

10,000

SPSS-‐34mi OAA-‐34mi OAA-‐180mi OAA-‐299mi OAA-‐2.99Bi

Second

s (log scale)

Ferramenta -‐ Quantidade de registros

2+ horas vs.10.8 segundos!...

…e a performanceEscala linearly!


Tecnologias Preditivas da Oracle para Hadoop• Big Data SQL• ORAAH – Oracle R Advanced Analytics for Hadoop

25


Oracle EXATADAwith Advanced Analytics Option

Data Science com Big Data SQL: EXADATA + BDA + OAAUtilizando algoritmos in-‐Database, o motor R Enterprise e pacotes R abertos se desejado


R Client

SQL DeveloperOther SQL Apps

R

26

SQL Client

Oracle BIG DATA APPLIANCE

Big Data SQL


Utilizando o Oracle Advanced Analytics com o Big Data SQLEscalabilidade do Oracle R Enterprise distribuídoem uma execução group-‐by de funçõescustomizadas R para modelos de defeitos emmilhares de grupos de Wafers de Silício

27

69

265

1,361

69

263

2,331

57 186

1,009

57 183

1,542

39 165

850

44 111

855

-‐

500

1,000

1,500

2,000

2,500

4GB 20GB 200GB

Time to Com

plete distrib

uted R scrip

ts (in

seconds)

Data Size

DATABASE (96)HDFS via BDS (96)DATABASE (144)HDFS via BDS (144)DATABASE (288)HDFS via BDS (288)

DATA SOURCE (DOP USED)

EXADATA+Big Data SQL+OAA num ½ rack EXADATA X5-‐2 conectado via Infiniband a um cluster de 9 nós num BDA X5-‐2 Em paralelismode 288

com 200GB de dados, a performance é similar independente da fonte

dos dados, DB ouHadoop


Oracle R Advanced Analytics for HadoopParte da opção Oracle Big Data Connectors

R script{CRAN packages}

Hadoop ClusterR à HDFS HDFS

Nodes

Oracle Database

R à Hive

MapReduceNodesR à MapReduce

{CRAN packages}

R Client

ORD

ORD

Hadoop Job

Mapper

Reducer

Hadoop Abstraction Layer

R à sqoop/OLH

HCache

• Acesso transparente a dados no Cluster Hadoop • Manipulação de dados emHDFS, Hive, Oracle Database e file system• Escreve e executa jobs Map-‐Reduce com R• Suporte a pacotes R abertos (CRAN) trabalhandoemdados em HDFS• Algoritmos paralelos e distribuídos prontos para execução• Gerenciamento de Recursos via YARN

SparkWorker


Hadoop Clustercom Oracle R Advanced Analytics for Hadoop

Oracle R Advanced Analytics for Hadoop: IntegraçãoUtilizando a integração do R com Hadoop e HIVE, com módulos R e pacotes R abertos


R Client

ORRAH distributed algorithms: MLP Neural Nets*, GLM*, LMPCA, k-‐Means, NMF, LMFOpen-‐source R packages via Map-‐Reduce

* Spark-‐Caching enabledSQL DeveloperOther SQL Apps

HQL Basic Statistics, Data Prep, Joins and View creation

29

SQL Client

HQL

Oracle Database Serverwith Advanced Analytics option

R


Oracle R Advanced Analytics for Hadoop – vs. Rhadoop (RMR)A melhor plataforma para execução de jobs Hadoop-‐R, vs. Revolution Analytics RHadoopPerformance de cálculo de Covariância em uma tabela de 100 GB HDFS e 200 colunas

30

439 258 294

1,934

1,038 1,217

-‐

500

1,000

1,500

2,000

2,500

Text Binary Text-‐to-‐Binary

Second

s

Type of Data Input

ORAAH

RMR

https://blogs.oracle.com/R/entry/oraah_enabling_high_performance_r


Oracle R Advanced Analytics for HadoopUtilização eficiente do uso do Apache Spark para Cache, mesmo em níveismínimos de uso de memóriaPerformance num servidor Intel X4-‐2, 40 threads, 128GB de RAM

GLM – Modelo de Regressão Logística com 843 CoeficientesRedes Neurais – Modelo utilizando 1 camada de neurônios, função de ativação linear, 838 coeficientes

31

0

100

200

300

400

500

600

Neural Networks GLM-‐Logistic

Second

s

ORAAH Spark-‐based Algorithm

Spark Context Memory2GB 12GB 24GB


Tecnologias Preditivas da Oracle para Cloud• Database as a Service & Exadata as a Service• Big Data Cloud Service

32


Novo: Database Cloud – Exadata Service

33

Principais Características• Todas as características do Database, com suasopções e workloads

• Performance e disponibilidadedo Exadata scale-‐out• Acesso seguro e completo isolamento de clientes• Compatível 100% com on-‐premise• Infraestrutura totalmente gerenciávelBenefícios• Grandes bases OLTP e DW de missão crítica• Consolidaçãomassiva de bases de dados• Facilita Clouds híbridas

Exadata Service


Oracle Cloud Data Strategy

34

Suporte a Qualquer Dado, em Qualquer escala, On-‐Premise e no Cloud

DB Relacional• Relacional• Espacial• Gráficos• Documentos• Analíticos Real-‐time

Dados em NoSQL• Chave-‐valor• Gráficos• Documentos

Dados em Big Data• Logs• Streaming• Armazenamento• Espacial•Web Analytics

Integração de DadosCaptura mudanças e Aplica, faz ETL e gera SQL federado


Novo: Big Data Cloud Service

35

Principais características• Big Data (Hadoop, Spark) como Serviço– Cloudera Enterprise –Data Hub Edition 5.4– Oracle NoSQL Database– Oracle Big Data Connectors– Oracle Big Data Spatial and Graph– Database Cloud Service integration (via Connectors)

• Big Data SQL service add-‐on– Query unificada através do Big Data e ExadataCloud Service

• Plataforma para novos serviços Big Data– Big Data Discovery, Big Data Preparation

Benefícios• Alta performance consistente• Integração com o Oracle Database Cloud Service que permiteuma execução rápida de uma query SQL em todos os seusdatos

Big Data


Oracle Business Intelligence Server

Business Intelligence + Advanced AnalyticsIntegração transparente entre o OAA e o OBIEE

36

R Computations and Special Graphics

OBIEE Client

Predictive Models What-‐If Analysis

OBIEE ClientR

Oracle Database Servercom Advanced Analytics Option


Um Tour Global de Clientes

37


Panoramic Houston skyline

The space shuttle Challenger atop its Boeing 747 SCA, flying over Johnson Space Center, 1983

Quick Houston Facts:•Is the most populous city in Texas and its metropolitan area is the fifth-‐most populated in the U.S., with over 6 million people.• Leading in energy, manufacturing, aeronautics, transportation, health care sectors and building oilfield equipment; only New York City is home to more Fortune 500 Headquarters.

Oracle R Enterprise na Apache Oil:•Segmentação de problemasde perfuração paraentender problemaspotenciais antes queaconteçam•Manutenção Preventiva de recursosparaprevenir a espera de dias para substituição de peças que quebram, e otimização de investimentos.


Mayan City of Tikal

Guatemala City Today

Quick Guatemala Facts:•15.8 mi inhabitants•Guatemala City is the Capital•Spanish is spoken by 93% of the Population•21 Mayan and 2 Amerindian languages are also spoken•The service sector is the largest component of GDP at 63%, followed by the industry sector at 23.8% and the agriculture sector at 13.2% (2010 est.)

Oracle R Enterprise na TIGO:•Comportamentode 5.5 milhões de clientes em 1.8 Bi de transações por ano.•Gerar 5 modelos de segmentação por cliente, utilizando Latitude e Longitude da torre de celularem cada ligação para entender mobilidade.•Avaliação de 27.5 milhões de modelos em 25 minutos (mais de 1 mi de modelos /min)


Quick Cincinnati Facts:•First major American city founded after the American Revolution; First major inland city in the country (“first purely American city”).•The Cincinnati Reds have a storied history as being the first professional club, hosting the first night game, and dominating the 1970s as the "Big Red Machine".

Cincinnati Reds:Great American Ballpark

Music Hall

AmericanSign

Museum

Oracle Advanced Analytics at dunnhumby:•Longo tempo de ETL eliminado com o uso de Analytics in-‐Database•Modelando comportamentode milhões de clientes•Otimização de cupons para Retailers com bilhões de transações•Insights e exploração com todos os dados, nãosomente com amostras•Média de Projetodiminuiu para 3 dias (dos 19)


Quick Orlando Facts:•Orlando is nicknamed "The City Beautiful" and its symbol is the fountain at Lake Eola•"The Theme Park Capital of the World“•51+ million tourists a year, 3.6 million international•Walt Disney World Resort:

•Magic Kingdom, Hollywood Studios, Epcot, Animal Kingdom

•Universal Studios Orlando•SeaWorld

Oracle R Enterprise na Olive Garden:•Olive Garden, tradicionalmentegerenciando 830 restaurantes, transicionoupara um approach local com a ajuda de Analítica Preditiva.•Avaliam 115 milhões de transações em 5% do tempo requerido pela solução de BI original•Suportam as campanhas do Olive Garden, descubrindomilhões em rentabilidade otimizandopreços e menus


Quick Lima, Peru Facts:• capital and the largest city of Peru with 9mi, Lima is the most populous metropolitan area of Peru, and the fifth largest city in the Americas (as defined by "city proper").•home to one of the oldest higher learning institutions in the New World. The National University of San Marcos, founded on May 12, 1551

Oracle R Enterprise at Financiera Uno:•Reduziram o tempo para construçãode modelos de crédito e asegurarama relevância no mercado•Escalam a solução para volumes grandes•Entregammodelos de crédito rapidamenteparavários canais diferentes


Quick London Facts:• It is one of the world's leading financial centres and has the fifth-‐or sixth-‐largest metropolitan area GDP in the world depending on measurement. •London is a world cultural capital.•It is the world's most-‐visited city as measured by international arrivals•World's largest city airport systemmeasured by passenger traffic

Oracle R Enterprise em Grande Empresa Financeira:•Cálculo de ganhos reduzido de 7 horas para 4 minutos•Cálculo de prêmios emitidos reduzidos de 100 minutos para 7 minutos; Cálculo de prêmios ganhos reduzido de 25 minutos para 8 minutos com funcionalidade adicional•Tempo de carga melhorado em 15X


Quick Geneva Facts:•Most populous city of Romandy, the French-‐speaking part of Switzerland•A financial center, and worldwide center for diplomacy due to the presence of numerous international organizations, including the headquarters of many of the agencies of the United Nations and the Red Cross. Geneva is the city that hosts the highest number of international organizations in the world

Oracle R Enterprise no CERN:•Monitoramentoe avaliação de anomalias em tempo real de dezenasde milhares de eventos por segundo•Sistema de Logs Central da CERN:•Análise de Séries de Tempo Complexa in-‐Database•Esforço importante paraentender o melhor approach•Previsão de consumode energia do LHC (Large Hadron Collider) e seus experimentos


Quick Croatia Facts:•Croatia is a member of the European Union (EU), United Nations (UN)•Tourism is a significant source of revenue during the summer, with Croatia ranked the 18th most popular tourist destination in the world

Oracle R Enterprise no ZABA Bank:•Análise de ComportamentoHistórico de Clientes passou de váriosmeses para 2 semanas•Algoritmo especializadode Variable Clustering com execução em paralelo substituiu soluçãoatual de principal ferramenta do mercado•Desenvolvimentomais rápido de modelosresultou em modelosmelhores e mais rentáveis


Quick Korea Facts:•Roughly half of the country's 50 million people reside in the metropolitan area surrounding its capital, the Seoul Capital Area, which is the second largest in the worldwith over 25 million residents•Eighth largest country in international trade, a regional power with the world's 10th largest defense budget

Oracle R Enterprise na BISTEL:•Oracle ORE permite à BISTEL criar modelosanalíticos com muito mais dados e mais rápido, permitindomaior insight para modelos de causa-‐efeito•Com Oracle Exadata a BISTEL consegue fazermodelos avançados de controle de processo emMega/Giga fabsem setores de alta tecnologia.


Aprenda mais sobre Tecnologias R da Oracle

http://oracle.com/goto/R

Venha nos visitar no Demo Grounds

2015 Arancibia - A Perfect Storm - OOW LAD PT share - Oracle...Title 2015 Arancibia - A Perfect...

Documents

Transcript of 2015 Arancibia - A Perfect Storm - OOW LAD PT share - Oracle...Title 2015 Arancibia - A Perfect...