Topic - itdks.su.bcebos.com
26
Transcript of Topic - itdks.su.bcebos.com
Topic:基于OpenStack的云管理平台在金融行业数据中心的实践
Name:胡玉鹏Title:云计算架构师
现状分析1
解决方案2
场景实践3
未来规划4
目录
1 规模庞大，应用系统众多，资源如何整合，提高运营质量，降低运维难度？
2 如何快速响应业务变更，快速交付资源，并保障业务的稳定、高效运行？
3 如何高效、便捷地向全公司开放资源，更好地支持业务创新?
4 业务流程、组织架构不云计算平台下的基础设施如何无缝衔接?
挑战
金融行业IT面临的挑战
保证云管理平台的高可用，服务丌存在单
点故障。
稳定性
在引入新的云管理平台后，能够对现有的vmware资源进行纳管，同时支持虚拟化资源不裸机资源统一管理。
利旧
云管理平台能够管理多种虚拟化类型，支持集中式存储、分布式存储
共存。
异构
认证授权体系不现有的组织架构体系相融合，资源申请审批不已有的OA流程无缝
结合。
组织架构融合
客户的主要诉求
现状分析1
解决方案2
场景实践3
未来规划4
目录
继Linux kernel之后最成功的开源项目
开源云计算上的事实标准
友好易用、开放的API，易于业务创新
插件式的架构设计，灵活进行产品组合，避免厂商锁定
很多OEM厂家不OS厂家都支持，生态完善
代码完全开源，用户能做到自主可控
昂贵的License费用不维护费用
封闭架构，与有平台
客户开始倾向OpenStack？
基于OpenStack开发
自劢化部署
按照需求定制化改造,满足金融行业各个场景
可不其他平台无缝集成
基于OpenStack的云管理平台
现状分析1
解决方案2
场景实践3
未来规划4
目录
NF8260M4
FC SAN
管理网/ceph public
业务网
ceph cluster network--IB
FC SAN
NF5280M4
NF5280M4
3控制节点/运维可达
计算节点/按部门分区域/按主机类型分hostA/按业
务调度存储设备/厂商提供驱劢
千兆网卡bond/admin api/ceph访
问API/存储管理网
万兆网卡bond/vlan模式，3层物理连通 /运维可达/业务
可达
Ceph的副本同步网络，IPoIB实现
HBA卡连接，多路径软件挂
载
部署规划
Controller 1 Controller 2 Controller 3
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
多主复制
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
rabbitmq
Active-Active Controller Cluster 3控制节点A/A部署
Haproxy提供VIP访问入口
数据库
Gelera多主部署
消息中间件
rabbitmq
控制节点高可用
keepalived
br-int
int-br-ex
qr qg ha_1
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
keepalived
br-int
int-br-ex
qr qg
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
keepalived
br-int
int-br-ex
qr qg
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
node01 node02 node03
ha_2 ha_3
iptableiptable
VIP VIP VIP
Physical switch
VTEP VTEP VTEP
iptable
router01 router01 router01
router02 router02 router02
L3 AGENT HA
KVMVmwareKVM增强版
虚拟化
CPU--1:2或者1:4内存--1:1存储--1:1厚置备
资源超配
分区域 主机聚合 根据业务调度
资源划分
计算资源
VMware ESXi KVM
云管理平台（OpenStack）
vlan连通
云管理平台纳管了30台vmware集群环境，并新建了2台InCloudRack机柜40个KVM节点，稳定运行12个月零宕机。
1
为客户实现了利旧的需求，同时支持了多种虚拟化共存。
2
关键业务调度在vmware集群上，一般业务调度在kvm集群上。
3
VMFS、CEPH、FC-SAN多种存储类型并存，分别对应丌同虚拟化需求，硬件资源有效利用。
4
计算异构管理
计算方面：nova-compute服务管理vcener的一个cluster。nova-scheduler调度nova-compute，nova-compute使用vmware作为Hypervisor去调度，具体的任务就交给vmware去执行
存储方面：cinder以及glance使用vmware的共享存储作为存储后端。
网络方面：Neutron使用vcenter的dvs作为后端,需要安装plugin dvs 3.1.0来支持虚拟端口的创建
VMware集成
存储资源
glance后端使用filesystem、nfs、ceph
glance使用image缓存，减少镜像传输
ceph集群使用IB网做cluster network
cinder后端使用了LVM、ceph rbd等
cinder后端使用商业存储，加载厂商驱劢，支持浪潮AS520E-
M1/AS5600/AS18000、华为、EMC
存储资源分级
高性能 高可靠
性，用于WEB服
务，数据库等
一般性能，用于
文件存储等
低性能，用于日
志、备份等冷数
据
存储资源
无驱劢存储设备
驱劢缺失
设备闲置
测试需求
作为LVM类型的块存储
作为CEPH-OSD存储设备
存储资源
云硬盘类型 QoS规格
云硬盘1
云硬盘类型1 QoS规格1
创建创建
关联
云硬盘类型1
QoS规格1
指定云硬 盘的类型
选择云硬盘类型... ...
云硬盘类型1
QoS规格1
创建云硬盘 云硬盘获得QoS规格
OpenStack云中心云主机
适配器
fio测试脚本
fio工具
前端QoS设置fio测试脚本
操作系统
云硬盘
业务组件 计算组件
挂载
存储组件
结果
结
果
验证阶段一
阶段二
阶段三
存储QOS前端限制
Neutron Core Plugins
ML2
Ven
do
r Plu
gin
s
Type Drivers Mechanism Drivers
loca
l
flat
vla
n
vxla
n
gre
Lin
ux B
ridg
e
OV
S
Ven
do
r Driv
ers
Neutron +ML2+OVS实现L2/L3层1
提供provider network不tenantnetwork
2
实现VLAN网络拓扑，也可以多种网络拓扑共存
3
网络资源
根据不同业务部门流
程规则，自动生成业
务审批流程
流程自动生成
支持单节点设置多个审批
人，只要一个人修改完成
之后，该节点即为审批通
过。弥补审批人无法及时
审批问题
支持单节点多人审批
用户可以自助修改节点
审批人，满足流程的特
殊需求场景
审批人灵活修改
1 2 3
OA系统集成
资源统一分配
根据用户申请的资源，统一管
理资源所属节点和网络IP分配
端口，实现了对物理资源的最
大化利用
角色统一管理
流程用户角色由管理员统一赋
值，普通用户没有操作权限，
实现了对流程的管控
流程统一调整
流程节点增删由管理员统一调
整，普通用户没有操作权限
资源统一监控
对用户申请资源使用情况统
一监控，对云资源使用情况
有全局把握，可以相应调整
资源分布，提高虚拟资源利
用率
1
2
3
4
OA系统集成
22
Gateway Time-out(HTTP 504):在对接存储时，连续提交挂载云硬盘命令，会有1，2个成功，其他失败，在挂载失败的虚拟机所在的计算节点上， 查看nova-compute日志，看到上述错误输出，经排查得出，nova-compute服务不cinder-api服务的会话超时，失效了。nova-compute服务是通过haproxy vip不cinder-api连接的，由haproxy保持会话，所以haproxy.cfg修改如下，把timeout改成20m.
环境调试
23
The server has either erred or is incapable of performing the requested .....连续提交从存储挂载云硬盘的命令，由于存储后端处理慢，导致很多rpc消息丢失，设置cinder.conf的rpc_response_timeout = 1200。
环境调试
现状分析1
解决方案2
场景实践3
未来规划4
目录
未来规划
Kubernets/Docker/kolla1
SDN2
监控3
