Recovery

Encrypted Backup

VPN

Backup

Data Protection ManagerMicrosoft Azure Storage

System Center

Virtual Machine

ManagerRecovery

plan

Health Monitor

System Center

Virtual Machine

Manager

Site A Site BHyper-V

Replica

Orchestrated Recovery in case of outage

Manage

Site B

System Center

Virtual Machine

Manager

Site AReplication

Recovery

Microsoft Azure

Microsoft Azure

VPN

Remote UsersAdmin

混合云集成Azure的场景Web

Mobile

Bots

SQL Data

Warehouse

HDInsight

(Hadoop and

Spark， Storm) Power BI

生产力

数据

身份

应用平台

基础架构

商业应用

独一无二的

混合云能力

VPN + ExpressRoute混合 网络

独一无二的混合云能力StorSimple + Azure Storage

Azure Backup + Azure Site Recovery

SQL Server 2016 Stretch DB + Azure SQL DB

Azure Service Bus + BizTalk Services

Azure Active Directory

Operations Management Suite + System Center

混合 存储

混合 备份 + 容灾

混合 数据库

混合 应用整合

混合 身份

混合 云管理

Azure Stack混合 平台

为什么需要在云端运行大数据平台

云端数据存储和备份，计算集群可伸缩，并和存储数据分离。动态增长和收缩集群，对临时工作负载十分方便。

保持业务灵活性和数据可移植性，并尽量减少云锁定在任何一个运行的三大公共云提供商或私有云

降低风险提供全面的可管理性，可用性，安全性，和生产环境下大数据工作负载所需的运维管理

弹性计算 混合云/多云战略 企业级服务水准

超过千万节点的Azure全球数据中心 相对于 小规模数千节点的私有数据中心： Azure软件定义的网络和存储满足大数据平台的性能需求

获得世界顶级设计和咨询公司的认可

Forrester Wave for Big Data Hadoop Cloud

• Named industry leader by Forrester with the most comprehensive, scalable, and integrated platforms*

• Recognized for its cloud-first strategy that is paying off*

*The Forrester WaveTM: Big Data Hadoop Cloud Solutions, Q2 2016.

分析引擎

数据存储

Azure上的 Hadoop 大数据平台方案

Azure HDInsight

Machine Learning

Local (HDFS) or Cloud (Azure Blob/Azure Data Lake Store)

行动

People

Automated Systems

Apps

Web

Mobile

Bots

Intelligence

Dashboards &

Visualizations

Cortana

Bot

Framework

Cognitive

Services

Power BI

Information

Management

Event Hubs

Data Catalog

Data Factory

Machine Learning

and Analytics

HDInsight

(Hadoop and

Spark， Storm)

Stream Analytics

智能

Data Lake

Analytics

Machine

Learning

Big Data Stores

SQL Data

Warehouse

Data Lake Store

Data Sources

Apps

Sensors and devices

数据

DocumentDB

Azure Data Lake（数据湖） –存储

Azure 数据湖 分析一种全新的分布式分析服务

云原生的Hadoop 文件系统(HDFS）

规模无限制

以其原有格式存储任何数据

企业级 访问控制, 空闲时加密

为分析负载而优化的性能体验

在Apache YARN上构建的分布式分析服务

按查询弹性扩展 让用户专注于业务目标而不是系统硬件配置

集成 U-SQL—一种类SQL的语言能够结合SQL的好处与C #的表达能力

和Visual Studio集成 从而迅速的开发、调试和优化代码

跨越多种Azure数据存储的联合查询

企业级的 基于角色的安全访问控制

Azure Data Lake（数据湖） –分析服务

Azure 数据湖 分析一种全新的分布式分析服务

HDInsight 支持 R Server

• 熟悉R的用户（数据科学家最流行的语言）• Hadoop 和 Spark的可扩展性• 使用Spark引擎获得7x 性能提升• 在任何大小的数据集上训练和运行机器学习的模型• 云托管的解决方案(易于创建, 弹性, 高可用)

• 添加Hadoop 项目 到 HDInsight• 用定制化的脚本修改 HDInsight 集群• 添加Apache Hadoop生态的项目到 HDInsight

• 如何添加 R, Giraph, Solr等项目到HDInsight集群的模板和文档

HDInsight 允许您添加自己的Hadoop项目

• 在几分钟内迅速部署大数据项目

• 无需硬件安装、调整、配置或部署

• 无需基础设施管理软

• 迅速扩展集群规模，从几十节点到上万节点

• 和Visual Studio、IntelliJ深度集成

• 方便新手编写简单的示例和查询

• 为专家提供稳定的系统

• 和U-SQL, Hive, 以及 Storm完全集成

• 提供图形化的回放工具便于确定瓶颈和优化区域

• 结合 U-SQL: 为熟悉SQL/.NET 开发者提供简洁功能强大的语言并易于扩展

• 统一了 SQL语句声明式的特性和C#语言的强大表达能力

• 为数以百万计的.NET 开发人员提供了熟悉的语法

• 最受欢迎的笔记本体验, Jupyter 开箱即用

• 结合代码，统计方程和可视化

• 和 Jupyter 社区合作加强核心功能 允许通过REST API执行Spark 运算任务

HDInsight中的 R 服务• R-兼容的大规模

并行分析库

• TB数据级别的-大规模机器学习—和开源 R 相比获得1,000x 性能提升

• 使用Spark和优化的矢量/数学库获得高达100倍更快的性能

• 企业级的安全水平和服务*只在HDInsight中获得

• 大数据的BI交互能力

• 将Spark 和 Power BI, Tableau, SAP Lumira 以及 Qlik 集成

• Power BI 提供流式的和Spark Stream 连接功能

Visual Studio VS Code

ADL VS Tool

(ADLA, HDInsight)U-SQL

Eclipse IntelliJ

HDInsight HDInsight

X-Platform

世界上最大的出租汽车公司，不拥有任何车辆。

世界上最大的住宿供应商，

不拥有任何房地产

世界上最受欢迎的媒体，

不拥有任何自创建内容

“以数据为中心的应用，由Hadoop / Cloudera支撑”

我们做什么? 现代化的大数据管理和分析平台。

我们的使命 让我们的客户使用他们自己的数据来问更大的问题.

企业级服务 950+ 企业软件付费订阅客户。

合作伙伴生态 2,100+ 合作伙伴。Intel 拥有 18% 的 Cloudera 股份。

全球规模 业务遍布20 个国家, 24x7 全球支持和培训。

开源创新 拥有Hadoop 社区的领袖程序员和贡献者.

员工总数 1,500+

创始人 Doug Cutting 联合创始人

总部 Palo Alto。创建于 2008。私人公司。

金融服务

电信

健康和生命科学

媒体和技术

零售和消费产品

公共部门

是什么推动了Hadoop 走向云端?企业客户使用云计算执行大数据分析

在云端部署Hadoop 的成加速之势:● 任务执行: 最小化 on-prem 企业自建数

据中心的规模

● 易于感知的更低的总拥有成本（TCO）

● 提高灵活性: 最终使用者的自我服务

● 弹性: 提高硬件资源的使用效率

Fire

wall

On-premise / MSP / Private Cloud

Power BI

Microsoft Azure

镜像市场

Azure 镜像市场提供了• 完全远端部署; 无硬件设施依赖

• 使用Azure 模板，在40分钟内完成整个部署并运行

• 完全自动化的一键部署模式

• 非常简单的进行节点资源扩充

OPERATIONSDATA

MANAGEMENT

STRUCTURED UNSTRUCTURED

PROCESS,ANALYZE,SERVE

UNIFIEDSERVICES

RESOURCEMANAGEMENT SECURITY

FILESYSTEM RELATIONAL NoSQL

STORE

INTEGRATE

BATCH STREAM SQL SEARCH SDK

Customer 360

合规

创新

产品和服务

Cloudera 提供了：• 所有数据类型, 大数据, 混合部署

• 安全: 加密, 认证, 访问控制

• 企业级的运行速度和高性能

• 数据监管的传承和管理

Express Route

Description Production Quantity

BOX DS14 x 10 (3 master, 2 Edge, 5

data)

CORES / RAM 16 CORES / 112 GB RAM per

node

Local Disk ZZ x 1 TB Premium VHDs

Description Development Quantity

BOX DS14 x 6 (1 master, 1 edge, 4

data)

CORES /

RAM

16 CORES / 112 GB RAM per node

Local Disk YY x 1 TB Premium VHDs

Microsoft Azure / Cloudera – Reference Architecture

http://www.cloudera.com/content/www/en-us/documentation/other/reference-

architecture/PDF/cloudera_ref_arch_azure.pdf

开发环境

生产环境

推动客户洞察力 提高产品和服务效率 降低商业风险现代化架构设计

无限的数据快速、易用、安全2,100 合作伙伴Impala,Navigator

所有的用户数据可预测的分析Impala, Spark

BI 认证工具

所有数据多种方式企业部署 & 云计算SQL, Java, Scala,

Python 实时计算

安全管控 体系,

审计迅捷

SERVERS MARTS Teradata SAS STORAGE SEARCH ARCHIVE

Account/Customer/TransactionCLICKSTREAMS, System logs, Set Top box, Mobile3rd Party DATA SOURCES

客户关怀• Churn Analytics

• Discover Unknowns

• True analytic agility

4

1

2

3 4

IT 运维• System Logs, Maintenance Data

• Set Top Box Data, Mobile Data,

• Online Data, 3rd Party Datasets

• Lowest cost storage

1

发现式的数据分析/

自服务BI• Combine different workloads on

common data (i.e. SQL + Search)

• Optimize infrastructure usage

• Reduce Outages

• Reduce BI user backlog requests

2

预测分析• Pro actively respond to issues

• Predictive Maintenance

• Faster analysis

3

推动客户洞察力

360° 零售用户的行为分析• 多种不同数据源的集成(click streams,

in-store POS, online ordering, and social media)

• 针对未完成购物车行为的分析理解• 通过不同渠道收入贡献的特性优化运维投入

• 提高客户洞察力优化供应链计划• 改进解释和预测回报的能力

在线零售» 客户 360°

» 流程改进» 更好的客户服务» 预测分析

降低商业风险

第一个通过 PCI 认证的 Hadoop 平台• 优化企业数据仓库和提高欺诈检测和预防能力

• 以PCI-兼容的模式夜以继日的安全运行 10 PB 数据

• 安全信息事件管理 (SIEM) - 对敏感数据提供访问监控, 对用户使用行为提供完整的审计跟踪

金融服务» 数据安全» 防止欺诈» 降低IT成本

旅游行业» 用户体验» 物联网» 先进的分析

Preventative Maintenance

• 为了提高旅客的满意度和安全性，需要减少关键操作设备的停机时间。

• Cloudera Azure企业版，捕捉企业相关的传感器数据和交易数据，主动评估其机器的健康和提供必要的修正来避免失败。

人力资源» 提高生产力» 降低成本» 机器学习

Recruiting & Job Matching

• 在竞争激烈的市场中，Adecco公司想提高其就业匹配技术的准确性

• Cloudera Azure企业版助力其无可匹敌的搜索和匹配解决方案，更快的连接合格候选人的职位空缺

• 及时填补空缺的时间降低30%• 在开始工作的头三个月内适应工作环境的时间

减少20%

Azure 中国官网 https://www.azure.cn/ 提供最新产品与解决方案信息， 技术文档，以及SDKs下载

Azure 镜像市场： https://market.azure.cn/

申请一元试用，即刻体验 Azure 服务：https://www.azure.cn/pricing/1rmb-trial-full/

Microsoft 云科技公众号 Azure 云助手手机 App

Azure 应用程序开发说明 https://www.azure.cn/dev-notes/ 概述了海外与中国区服务开发人员需要注意的区别