Hortonworks Connected Data...

28
Hortonworks Connected Data Platforms

Transcript of Hortonworks Connected Data...

Hortonworks Connected Data Platforms

2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

EMBRACE AN OPEN APPROACH 

MASTER THE VALUE OF DATA

EVERY BUSINESS IS A DATA BUSINESS

3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Data Drives the Connected Car

Insurance 

Premiums

Warranties

Recalls

Pricing 

Models 

Design

Innovation

Autonomous 

Driving

Connected 

City Infotainment

Sensors

Scheduled 

Maintenance

Predictive 

Maintenance

Route

Optimization

INSURANCE

COMPANIES

GOVERNMENT

AGENCIES

INFOTAINMENT

PROVIDERS

SOFTWARE

COMPANIES

AUTO

MAKERS

4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Modern Data Applications 

deliver actionable 

intelligence, only possible 

with both data in motion 

and data at rest.  

The Connected Car is a Composition of Modern Data Applications

DATA IN MOTION DATA AT REST

5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Modern Data Applications 

require architectures that 

connect the cloud with

the data center

CONNECTING THE CLOUD

WITH THE DATA CENTER

Modern Data Applications and the Data Architecture

6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks powers the 

modern data architecture 

to manage all data, in 

the cloud and in the 

data center.

The Modern Data Architecture

DATA PLANE

7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks DeliversConnected Data Platforms

DATA AT RESTDATA IN MOTION

Modern Data Applications

Hortonworks DataFlow

Hortonworks Data Platform

INTERNETOF

ANYTHING

PERISHABLE 

INSIGHTS

HISTORICAL 

INSIGHTS

ACTIONABLEINTELLIGENCE

8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Some Popular Use Cases for Modern Data Applications

Real‐Time Cyber Security

protects systems with superior threat detection

Smart Manufacturing

dramatically improves yields by managing more variables in greater detail

Connected, Autonomous Cars

drive themselves and improve road safety

Targeted Energy Exploration

processing geological images and sensor data for well discovery and optimization

Retail Recommendation Engines

match products to preferences in milliseconds

DATA AT REST

DATA IN MOTION

ACTIONABLEINTELLIGENCE

Modern Data Applications

Hortonworks DataFlow

Hortonworks Data Platform

9 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Secure

Real‐time

Streaming

Integrated

Hortonworks DataFlow for Data in MotionPowered by Apache NiFi, Kafka, and Storm

10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Real‐Time, Visual Control of Data Flows between Datacenter and the Cloud

Add and Adjust Data Sourcesto maximize the opportunity that you capture from perishable insights

Visually Trace the Data Pathto manage the what, who, where and how for each data stream

Dynamically Adjust the Pipeline

to match the dataflow withyour network’s bandwidth

HORTONWORK S  

DATA F LOW Add and adjust data sources

Visually tracethe data path

Dynamically adjust the 

pipeline

11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Integrated Processes and Control for Data Flows and Streaming Analytics

COMMON   A R C H I T E C T U R E

W I T H O U T   H O R TO NWO R K S   D ATA F L OW

W I T H   H O R TO NWO R K S   D ATA F L OW

Ingest

Scripts

Messaging

Scripts

HORTONWORKS DATAFLOW

Optimize the ArchitectureReduce the cost and complexity of your data collection pipeline

Assure Efficient OperationsVia real‐time control of data inputs, outputs and transformations

Rely on a Common Foundation

Eliminating dependence on multiple customized systems

12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Secure Flows with Chain of Custody and Provenance

HORTONWORK S  

DATA F LOW

End‐to‐End SecurityTo encrypt, decrypt, filter and replace data from the point of collection all the way to its final destination

Granular Control and SharingMove beyond role‐based access and dynamically share an entire dataflow

Real‐Time Traceability and ProvenanceRich metadata and contextual detailon the chain of custody help troubleshoot security issues and keep data flows safe

13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Streaming Data Flows with Adaptive Control

AutomatedBi‐directional communication between source and destination adapts data flows automatically, according to current priorities

On‐Demand Operational control to adapt to changing conditions and requirements

ScalableBy adding data from any new source—small machine sensors to enterprise data centers—HDF connects you to the broadest set of disparate sources to maximize the diversity and size of your flows

14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks Data Platform for Data at RestPowered by Open Enterprise Hadoop

Open

Interoperable

Ready

Central

15 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

100% Open Source Data Platform

MA X IMUM   C OMMUN I T Y   I N N O VAT I O N

T H E  

I N N O VAT I O N  

A D VA N TA G E

P RO P R I E TA R Y  

H A DOO P

T IM E

INNOVATION

O P E N   C OMMUN I T Y

Eliminates Riskof vendor lock‐in by delivering100% Apache open source technology

Maximizes Community Innovationwith hundreds of developers across dozens of companies

Integrates Seamlessly

through committed co‐engineering partnerships with other leading technologies

16 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Centralized Managementof operations, governance and security

Supports Diverse Applications

running simultaneously on a single cluster

Maximizes Data Varietyby accepting all types of data, regardless of schema, source or format

Share Big Data Assetsacross business groups, functions and users

Central Management of Data at Rest

YA RND A T A   O P E R A T I N G   S Y S T E M

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

Machine

LearningBatch

StreamingInteractive

Search

17 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Interoperable with Leading Datacenter Technologies

Partners

18 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Microsoft HDInsight is Powered by Hortonworks Data Platform

Source: Forrester Wave™: Big Data Hadoop Cloud Solutions, Q2 2016

Rated by Forrester as Industryleading cloud platform

Seamless Access to the Public Cloudfor Spark, Hive, and HBase and othermission‐critical workloads 

Unmatched Economicscombining HDInsight’s elasticity in the cloudwith HDP’s cost efficiencies at scale

Enterprise Readiness 

with robust security, governance andoperations in the cloud, powered byHortonworks Data Platform 

19 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

YA RND A T A   O P E R A T I N G   S Y S T E M

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

Machine

LearningBatch

StreamingInteractive

Search

Ready for Consistent Operations

OPERATIONS

YA RND A T A   O P E R A T I N G   S Y S T E M

Centralizedmanagement and monitoring of Hadoop clusters through a single pane of glass

Automated Provisioningeither on‐premises or in the cloud with the Cloudbreak API for clusters in minutes 

Managed Services

for high availability and consistent lifecycle controls, with dashboards and alerts

20 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

YA RND A T A   O P E R A T I N G   S Y S T E M

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

Machine

LearningBatch

StreamingInteractive

Search

Ready for Trusted Governance

GOVERNANCE

YA RND A T A   O P E R A T I N G   S Y S T E M

Data Managementalong the entire data lifecycle with integrated provenance and lineage capability

Modeling with Metadataenables comprehensive data lineage through a hybrid approach with enhanced tagging and attribute capabilities

Interoperable Solutionsacross the Hadoop ecosystem, through a common metadata store

21 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

YA RND A T A   O P E R A T I N G   S Y S T E M

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

Machine

LearningBatch

StreamingInteractive

Search

Ready for Comprehensive Security

SECURITY

YA RND A T A   O P E R A T I N G   S Y S T E M

Comprehensive Securitythrough a platform approach

Fine‐Grained, Flexible Authorization

controlling access based on rolesor data tags

Encrypt Dataat rest and in motion

Centralized Administrationof security policies and user authentication

22 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Agile Analytics with Enterprise Spark at Scale

S PA R K   ON   YA RN

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

Powering Agile Analyticsvia data science notebooks and automation for most common analytics (including Geospatial analysis and entity resolution)

Seamless Data Accessthat brings together as many data types as possible

Unmatched Economics

combining the speed of in‐memory processing with HDP’s cost efficiencies at scale

Ready for the Enterprisewith robust security, governance and operations coordinated centrally by Apache Hadoop and YARN

23 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Fast SQL with Apache Hive at Scale

H I VE  ON  YARN

Pluggable Architecturesupports Apache Hive, Pivotal HAWQ and other leading SQL engines

Familiar SQL Query Semanticsenable transactions and SQL:2011 Analyticsfor rich reporting

Unprecedented Speed at Extreme Scale

returns query results in interactive time,even as data sets grow to petabytes

OPERATIONS SECURITY

GOVERNANCE

STORAGE

STORAGE

24 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Why Hortonworks?Powering the Future of Data

25 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks Influences the Apache Community

APACHE  HADOOP   COMMIT T ERS

We Employ the Committersone third of all committers to the Apache® Hadoop™ project, and a majority in other important projects

Our Committers Innovateand expand Open Enterprise Hadoop

We Influence the Hadoop Roadmap

by communicating important requirementsto the community through our leaders

26 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

STORAGE

STORAGE

Hortonworks Provides Full Lifecycle Support

Hortonworks Expertisefrom the original architects of Apache Hadoop and Apache NiFi

Annual Subscriptionsalign your success with ours

Apache Committersadvocate for the requirements of our customers and provide them roadmapvisibility to help guide their journey

Expert Consulting and Traininghelp you and your team get the most from your Open Data Platforms

Project 2

Project 1 Project 3

Project 5

Project 6

Project 4

EXPANDDEPLOY

ARCHITECT

&

DEVELOP

OPERATE

27 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks Delivers Proactive Support

Hortonworks SmartSense™

with machine learning and predictive analytics on your cluster

Integrated Customer Portal

with knowledge base and on‐demand training

Knowledge 

Base

Integrated Customer Portal

On‐Demand 

Training

Customer Environment

Any cloud • Hybrid Environment • Multi‐tenant

Hortonworks SmartSense

28 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

Hortonworks Nourishes the Community and Ecosystem

HOR TONWOR K S  

C OMMUN I T Y   C ONN E C T I O N

HOR TONWOR K S  

PA R T N E RWOR K S

Community Q/A Resources

Articles and Code Repos!

Community of (big data) developers

Open Ecosystem of Big Data for vendors and end‐users

Advance Apache™ Hadoop®

Enable more Big Data Apps

World class partner program

Network of partners providing best‐in‐class solutions

HADOOP   &   B I G   DATA  

E C O S Y S T EM