Jack Little - Bosch ConnectedWorld 2018 · 于项目的学习...

© 2018 The MathWorks, Inc.


自动驾驶和智能系统开发：来自工具供应商的洞察

林晓沧


自动驾驶的挑战

开发自动驾驶汽车的复杂度远高于传统项目

两次数字化变革

I. 嵌入式软件无处不在

II.人工智能广泛应用


第一次数字化变革

现在

没有安全气囊没有ABS

没有音乐

曾经…

第一次数字化变革

嵌入式软件无处不在

燃油经济性和排放

电气化和车辆安全

舒适性和便利性


基于模型设计的开始

1996

先知

Alex

Ohata

Toyota

Armin Müller

Daimler-

Benz

Ken Butts

Ford


基于模型设计的开始

1996

第一次 MAB

德国先知 1998

Alex

Ohata

Toyota

Armin Müller

Daimler-

Benz

Ken Butts

Ford


整个开发流程中系统地使用模型

基于模型的设计(MBD)

测试 &

验证建模 &

仿真

代码生成

统一代码生成核心

C code

C++ code

HDL code

PLC code

GPU code


模型的覆盖范围

软件

组件

物理

系统

测试 &

验证建模 &

仿真

代码生成


设计软件，而不是写程序

MATLAB Simulink Stateflow

软件组件


测试 &

验证建模 &

仿真

代码生成

多种验证和测试工具帮助建立信心

基于代码基于模型

系统级•需求跟踪

•整车级别仿真

•基于场景的测试

•数据驱动的仿真回放

组件级

•需求跟踪

•模型在环测试

•属性证明

•标准检查

•硬件在环测试

•整车级别仿真

•基于场景的测试

•需求跟踪

•测试用例生成

•软件在环测试

•处理器在环测试

• FPGA在环测试

•属性证明

•标准检查

•认证

信心


基于模型的设计

革新快速设计迭代

独有的功能

质量减少设计和编码错误

明确的沟通

持续的验证和确认

成本减少昂贵的实物原型

减少重做

减少测试

上市时间缩短上市时间

测试 &

验证建模 &

仿真

代码生成


开发沃兰达

Credit: General Motors LLC 2011

Engine Generator

Electric

Drive Unit

Li-ion

Battery

Control Strategies

“This has to be conceptualized as a

system. I don’t think you could do a

hybrid control system without model-

based design.”

特斯拉

“We couldn’t have built this car

without Model-Based Design. It

would have taken resources that

our new startup company simply

did not have.”

Dr. Chris Gadda and Dr.

Andrew Simpson

在没有实物原型的情况下完成几百种配置的动力总成测试

借助对电池影响的多域影响，大大提升电池技术


全球规模的OEM厂商洛克希德-马丁 F-35B

May 2015 – first vertical landing on a carrier

Kent Helfrich, Executive Director, Electronic Controls & Software, General Motors

MathWorks Automotive Conference, May 4, 2011, Novi, MI, USA


“All of our GN&C

flight software is

automatically coded

into C++ for

deployment onto the

vehicle.”

NASA 猎户座飞船

December 2014 – first orbital test flight

NASA 新视野号

July 2015

Pluto Flyby

Mission


思维控制的假肢

Johns Hopkins APL

教育中的项目


基于模型设计的广泛的生态圈

嵌入式硬件

嵌入式软件包

测试工具包

校准工具包

行业特定的工作流程和硬件

实验室实验

快速原型和硬件在环

机器人和无人机

第二次数字化变革

人工智能广泛应用数据驱动算法

机器学习和深度学习

自主系统


感知

定位规划

控制传感器•摄像头•雷达•激光雷达•GPS

控制指令•动作控制•执行器

互联

自主系统模块框图


自动驾驶设计工具

深度学习

感知

定位规划

控制传感器•摄像头•雷达•激光雷达•GPS

控制指令•动作控制•执行器

互联


Facebook Suggested

TagsGoogle Translate

今天，你生活中的深度学习


空前的精确

行人

已有方法:

红外光谱, 放射性测年, 气相测谱法, 或者混合使用各种测试

新方法: 深度学习

该系统能够通过查看单个笔划来识别每个作品的真伪

“A human cannot do that.”

Ahmed Elgammal, Rutgers

University

挽救生命辨别赝品

深度学习实际用例

为什么是现在? 为什么如此流行?


Google 268

NVIDIA 168

Intel 130

Amazon 93

Qualcomm 69

Facebook 69

Cisco 43

Accenture 40

MIT 33

U. of Washington 27

U. of Michigan 26

Oracle 25

USC 23

KPMG 11

Princeton 7

最常见的挑战?

人才集中在几家大公司

“Universities can’t crank out [deep

learning] graduates fast enough.”

– Wired Magazine (September

2016)

缺乏深度学习的技能

“Scarcity has driven up salaries…”

– Bloomberg News (December

2017)

深度学习的专门人才

Credit: KPMG LLP 2016


轻松进行深度学习

仅仅6行代码就可以实现深度学习


深度学习的完整流程:

从大数据到产品级代码

Files

Databases

Sensors

访问和探索数据

开发预测模型

Hardware-Accelerated

Training

Hyperparameter Tuning

Network Visualization

标记、预处理数据

Data Augmentation/

Transformation

Labeling Automation

Import Reference

Models

将模型集成到系统

Desktop Apps

Enterprise Scale

Systems

Embedded Devices and

Hardware

© 2018 The MathWorks, Inc. 26

为深度学习的GPU代码生成器

从MATLAB程序自动生成高性能的NVIDIA GPU产品级代码

统一代码生成核心

C code

C++ code

HDL code

PLC code

GPU code


深度学习模型部署到GPU上

AlexNet

~30 FPS (Tegra X1)

Lane Detection

~135 FPS

People Detection

~66 FPS (Tegra X1)

YOLO

~20 FPS


如果所有的科学家和工程师都能创建深度学习应用，世界将会怎样?

MathWorks 愿景


感知

定位规划

控制

互联


深度学习


感知

定位规划

控制

互联

真值标注


语义分割

3D 地图


语义分割


3D 地图RRT* 路径

规划

ROS

集成感知

定位规划

控制

互联



3D 地图

感知

定位规划

控制

Connectivity

ROS

集成

通过游戏引擎3D可视化

RRT* 路径规划

语义分割


参考设计 (模型)

带有传感器融合的自适应巡航控制▪ 传感器融合和多目标跟踪

▪ 雷达和视觉检测生成器

▪ 模型预测控制用于纵向控制

带有车道检测传感器的车道保持▪ 车道检测生成器

▪ 模型预测控制用于侧向控制

使用传感器融合的前向碰撞预警

雷达传感器检测模型

可视化传感器覆盖、检测和跟踪

使用激光雷达的地平面和障碍物检测

使用单目摄像头可视化感知

使用实时CAN FD和TCP/IP数据执行前向碰撞预警应用使用RRT* 路径规划自动代客泊车

利用合成雷达和视觉数据进行传感器融合

从行驶的车辆上跟踪行人

创建行人和车辆路径


今天的工程师是怎么开发无人驾驶应用的?

感知

定位规划

控制

互联

Alpine: 地平面检测Continental: 交通标识识别Caterpillar: 真实值标注

Ford: 带游戏引擎的LIDAR

传感器建模

Delphi: 雷达对准算法

Scania: 借助传感器融合的自动刹车

雷达

视觉

激光雷达

BMW: ROS 集成

Bosch: L2 控制仿真Hitachi: 用于交通拥堵辅助的

自适应巡航控制Mobileye: 带有控制的实时原型

Voyage: 纵向控制

汽车工程师将无人驾驶功能分解为组件


退休社区的自动驾驶出租车

▪ Udacity分拆出的 Voyage公司

▪ 四辆无人驾驶车部署到两个退休社区的13万居民

▪ 保守的速度限制和私人道路可以实现快速部署


Voyage – 基于模型的设计

▪ 纵向动力学控制器

▪ 使用ACC参考模型进行初始设计

▪ 模型预测控制

▪ 自动生成控制器代码部署到ROS上，并调节参数


要点

第一次数字化变革 – 嵌入式软件无处不在I. 基于模型的设计已经改变了工业上的复杂系统开发和大学里基

于项目的学习

II. MathWorks和行业领导者之间的密切合作带来了强大的工具

第二次数字化变革 – 人工智能广泛应用I. 易于使用的深度学习工具现已推出，可供机械、电气、汽车领

域专家使用

II.基于模型的设计正在迅速发展以支持自动驾驶开发工作流程


谢谢！

Jack Little - Bosch ConnectedWorld 2018 · 于项目的学习...

Documents

Transcript of Jack Little - Bosch ConnectedWorld 2018 · 于项目的学习...