Sensors and Sensing

Morpheus: What is real? How do you define real?

If you’ re talking about your senses, what you feel, taste, smell, or

see, then all you're talking about are electrical signals interpreted

by your brain.

Matrix, 1999

Sensors and Sensing

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 4

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 5

Bald eagle’s eye: specification

• human’s size

• 5 times more pixels than human’s

• can spot a rat in 4 sq.km from 2 km away

• front facing

• double eyelid

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 6

Bell Jelly

Green light = relax

Purple light = escape

Dragon fly’s eye:

29,000 lenses for each eye

5X faster response than human’s

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 8

Predator and Prey

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 9

Survivor Champion

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 10

A Study of the Survivability of the Cockroach to Novel Stress Conditions

Jason L. Maron, Department of Physics, California Institute of Technology

These experiments were performed with a minimum of scientific accuracy. There was no control, as it was impossible to use the same cockroach for all experiments. This points to the necessity of establishing a standard "reference cockroach". These ``scientific" findings have been included in the book ``The Complete Cockroach"

Freeze in Liquid NitrogenDies.

The minimum survivable temperature has not been determined.

Expose to vacuumThe cockroach agitates violently as the air is removed, and then is still. Vacuum was aplied for 10 minutes. Upon return of the air, the cockroach slowly came back to life, and appeared to be back to normal after 2 minutes.

A pressure gauge was employed to verify that the only gas present in the chamber was that which was outgassing from the cockroach.

The maximum vacuum time has not been determined.

RadiationCockroaches have been known to survive prolonged exposure to an X-ray beam produced by a 40 kW rotating anode source. By comparison, human flesh exposed to this beam is completely inviable after one second of exposure.

A cockroach exposed to a 10 keV X-ray beam produced by the Synchrotron at Brookhaven National Laboratory (the National Synchrotron Light Source) died. The synchrotron beam has about 1000 times the intensity of a rotating anode beam.

The precise radiation exposure limit has not been determined.

Dunk in 12 molar HClDies in 30 seconds.

Dunk in 18 molar NaOHDies in 30 seconds.

Dunk in waterAfter 10 minutes submersion in water, the cockroach revived.

The maximum submersion time has not been determined.

Apply air pressure of 20 atmospheresNo effect effect.

The maximum pressure has not been determined.

Place in 100 degree celcius ovenTakes a long time to die.

The thermal exposure limit has not been determined.

Crush between shoe and floorAbout 29.4 N of force are required to crush the exoskeleton. This is known as the crush point.

CentrifugeThe maximun centrifuge capacity of the cockroach has not been determined. An estimate could be made from the shoe and floor result.

Fire with slingshot at a wallThis would be a test of the sudden deceleration trauma limit of the cockroach, which is expected to be significantly higher than the crush point. The experiment has not been performed.

MicrowaveDies in 5 seconds, but no kaboom.

Spray with roachkillDies.

ExplosionA cockroach at ground zero of an M60 cherry bomb survived.

Sensors for Robots

Why?

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 13

ท��ผ่�าน้มาใน้การวิางแผ่น้การเคลื่��อน้ท�� เราต้�องม�แบบจำ!าลื่อง ของสุ��งแวิดลื่�อมเป็$น้ข�อม%ลื่เข�า จำากน้&'น้แผ่น้การเคลื่��อน้ท��ท��

ได�จำะถ%กน้!าไป็ใช้�โป็รแกรมห��น้ย์น้ต้จำร�งIntroduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 14

Introduction

แต้�หากขณะท!างาน้จำร�งเก�ดม�สุ��งก�ดขวิางท��ไม�อย์%�ใน้แบบ จำ!าลื่อง ห��น้ย์น้ต้ควิรต้�องม�ควิามสุามารถท��จำะหลื่บหลื่�กสุ��ง

ก�ดขวิางเหลื่�าน้�'ได�ด�วิย์Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 15

ย์��งไป็กวิ�าน้&'น้ หากห��น้ย์น้ต้ต้�องท!างาน้ใน้สุถาน้ท��ซึ่.�งไม�เคย์ม�ใครไป็มาก�อน้ลื่�ะ

Mars Exploration Rovers (Spirit and Opportunity) ท��ถ%กสุ�งไป็ดาวิอ&งคารเม��อ 10 ม�.ย์ . 46 แลื่ะก!าหน้ดการถ.งดาวิอ&งคารราวิต้�น้ป็/ 47Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 16

Animation of the rovers from NASA

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า17

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 19

เราร��ได้�อย่างไรว่ามี�ไก่ย่างว่างอย่�ข้�างหน้�า

• เป็0ดต้าด%สุ&กเสุ�'ย์วิวิ�น้าท�• สุ%ดกลื่��น้ด%• ลื่องช้�มด%• ลื่องคลื่!าๆ ด%• ต้ะโกน้ถามด% โช้คด�คงม�คน้บอก

ป็ระสุาทร&บร% �ท& 'งห�าท��ท!างาน้ป็ระสุาน้ก&น้ ให�ข�อม%ลื่ใช้�ใน้การป็ระมวิลื่ข�อสุร�ป็ท��น้�าเช้��อถ�อมากท��สุ�ด

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 20

สอน้ให�ห�น้ย่น้ต์�ร��จั�ก่ไก่ย่าง ทำ�าอย่างไรด้�

• ให�ห��น้ย์น้ต้เห2น้ไก�ย์�างแบบ ต้�างๆ จำากม�มท��แต้กต้�าง

จำากสุภาพแสุงท��แต้กต้�าง ก&น้ ฯลื่ฯ

• ให�ห��น้ย์น้ต้เห2น้สุ��งท��ไม�ใช้�ไก�ย์�าง

เมี��อไรห�น้ย่น้ต์�ถึ�งจัะร��จั�ก่ไก่ย่างเหมี�อน้เราล่ะ

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 21

ทำ��เราร��จั�ก่ไก่ย่างอาจัไมีใช่เก่��ย่ว่ก่�บไก่ย่าง อย่างเด้�ย่ว่ แต์เป็&น้ป็ระสบก่ารณ์�แล่ะ

คว่ามีร��ทำ��เราสะสมีมีา• เราเห2น้ไก�ย์�างเพราะสุมองสุ&�งให�เราเห2น้เป็$น้ไก�ย์�าง เช้�น้ร%ป็สุามเหลื่��ย์มท��ไม�ได�วิาด

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 22

สสด้ว่�ค�รบ ไมีอ�ต์งต์ใก่จัถึาค�ณ์�อาน้ข้�คาว่ามีน้�*าเข้�ใจั

ไม�ใช้�เร��องเซึ่น้เซึ่อรอย์�างเด�ย์วิแลื่�วิ แต้�เก��ย์วิก&บระบบป็ระมวิลื่ผ่ลื่ด�วิย์ การร&บร% �สุ��งแวิดลื่�อมไม�ใช้�เร��องง�าย์เลื่ย์

ModelIntelligence algorithmTasks (work cycle)Motion algorithmControl algorithmProgram

Control componentsActuatorsTransmissionMechanical systemSensors

Computer

Robot

Workspace

Interaction (force/motion)

Internal stateSensory feedback

Control signals

Sensors

Programming(teaching)

แผน้ผ�งแสด้งสว่น้ป็ระก่อบข้องระบบห�น้ย่น้ต์�

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 24

เซน้เซอร� (Sensor)• Internal sensors

– Status– Location

• External sensors– Environment– Quality control– Safety

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 26

Internal sensors

ให�ข�อม%ลื่เก��ย์วิก&บต้&วิห��น้ย์น้ต้เอง•Status sensors บอกสุถาน้ะของ

อ�ป็กรณใน้ต้&วิห��น้เช้�น้ต้!าแหน้�งของ joint ต้�างๆforce/torque ควิามเร2วิ ควิามเร�ง สุถาน้ะของ

ระบบควิบค�ม•Location sensors บอกต้!าแหน้�ง

ของห��น้ย์น้ต้ใน้บร�เวิณท!างาน้

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 27

Status sensors• Joint position sensor (encoder) บอกม�มของ joint วิ�าหม�น้ไป็ก��องศาแลื่�วิ

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 28

Optical encoder

Encoder plate

Revolute joint

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 29

Optical encoder

• Absolute encoder

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 30

Optical encoder

• Incremental encoder

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 31

Optical encoder

ต้&วิอย์�าง encoder ท&'งแบบท��มาแย์กแลื่ะแบบท��ต้�ดมาก&บ motor

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 32

Positional transducerใช้�บอกควิามย์าวิของ prismatic joint (ข�อต้�อแบบเลื่��อน้) วิ�าย์าวิเท�าไร คลื่�าย์สุาย์วิ&ด

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 33

Accelerometer

หลื่&กการ สุ!าหร&บเช้�อกย์าวิ 25 cm ก&บต้��มน้!'าหน้&กแลื่ะไม�โป็รฯ

ม�ม (องศา) ควิามเร�ง (g)

14

27

45

64

72

76

0.25

0.5

1.0

2.0

3.0

4.0

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 34

Accelerometer

หร�อวิ&ดควิามย์าวิของสุป็ร�งท��เป็ลื่��ย์น้ไป็

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 35

Accelerometer

ควิามเก2บป็ระจำ�แป็รผ่&น้ก&บระย์ะห�างระหวิ�าง plate

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 36

AccelerometerMEMS (Micro-ElectroMechanical Systems) sensor

Resolution:1 mg

Range: 1.7 g

Cost: 4-10$

Used in airbag

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 37

Force sensor หลื่&กการ แรงท!าให�วิ&ต้ถ�งอโค�งได� ระย์ะท��เป็ลื่��ย์น้ไป็แป็ลื่

ต้ามแรงท��กระท!า

Strain gauge

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 38

Force sensor

Strain gauge แบบต้�างๆ ใน้ท�องต้ลื่าด

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 39

Force/torque sensor

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 40

Force/torque sensor

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 41

Use of status sensors

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 42

Location sensor บอกต้!าแหน้�งของห��น้ย์น้ต้ท��เคลื่��อน้ท��ได�ใน้บร�เวิณท!างาน้ ป็7ญหาการหา

ต้!าแหน้�งม�ช้��อเฉพาะใน้วิงการห��น้ย์น้ต้วิ�า localization problem

Odometry: dead reckoning• wheel encoder• compassLandmark based• barcode• visionTriangulation• active beacon• active robot• GPSIntroduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 43

Active beacon

t3

เสุาจำะสุ�งสุ&ญญาณออกไป็พร�อมๆ ก&น้เป็$น้จำ&งหวิะ ห��น้ย์น้ต้ร&บ infared ได�เก�อบท&น้ท� จำากน้&'น้รอวิ�าจำะได�ร&บย์�น้ ultrasound จำากเสุาแต้�ลื่ะต้�น้เม��อใด เม��อทราบก2น้!ามาค!าน้วิณระย์ะห�างก&บเสุาแต้�ลื่ะต้�น้ แลื่�วิน้!าไป็ค!าน้วิณต้!าแหน้�งของห��น้จำากต้!าแหน้�งของเสุาท��ทราบอย์%�แลื่�วิ

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 44

Active robot

ห��น้ย์น้ต้เป็$น้ต้&วิสุ�งสุ&ญญาณออกไป็เป็$น้จำ&งหวิะ แลื่ะม�อย์�างน้�อย์สุามสุถาน้�ร&บท��ต้รวิจำจำ&บสุ&ญญาณเพ��อค!าน้วิณระย์ะเวิลื่าเด�น้ทางของสุ&ญญาณแลื่ะหาระย์ะทางเพ��อค!าน้วิณต้!าแหน้�ง

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 45

Environment sensor

บอกวิ�าม�อะไรอย์%�ใน้สุ��งแวิดลื่�อมบ�าง

• Collision detection• Object detection

– Near object detection– Far object detection

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 46

Collision detection

• Photo transistor

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 47

Collision detection

• Plunger switch

switch frame

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 48

Collision detection

• Pressure sensor

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 49

Collision detection• Laser and fiber optics

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 50

Sonar

Sound Navigation and Ranging

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 51

Sonar

Polaroid 6500 Sonar Ranging Module

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 52

Sonar sensing

Why is sonar sensing limited to between ~12 in.

and ~25 feet ?

“The sponge”

Polaroid sonar emitter/receivers

sonar timeline

0

a “chirp” is emitted into the environment

75s

typically when reverberations from the initial chirp have stopped

.5sthe transducer goes into “receiving” mode and awaits a signal...

after a short time, the signal will be too weak to be detected

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 53

Sonar effects

(d) Specular reflections cause walls to disappear

(e) Open corners produce a weak spherical wavefront

(f) Closed corners measure to the corner itself because of multiple reflections --> sonar ray tracing

(a) Sonar providing an accurate range measurement

(b-c) Lateral resolution is not very precise; the closest object in the beam’s cone provides the response

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 54

Sonar modelinginitial time response

spatial response

blanking time

accumulated responses

cone width

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 55

Real sensors

Real sensors are• noisy• return an incomplete description of

the environment• cannot usually be modeled

completely

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 56

Sensor characteristics

• Sensitivity: อ&ต้ราการเป็ลื่��ย์น้แป็ลื่งของ output เม��อเท�ย์บ ก&บ input

• Linearity: การเป็ลื่��ย์น้แป็ลื่งแบบคงท��ของ output เม��อ เท�ย์บก&บ input

• Measurement range: ช้�วิงค�าท�วิ&ดได�• Response time: ระย์ะเวิลื่าท��ให�ผ่ลื่ลื่&พธ์ของการวิ&ด• Accuracy: ควิามแม�น้ย์!าของค�าท��วิ&ด ขน้าดของ error • Repeatability: การให�ค�าท��เหม�อน้ก&น้ของการวิ&ดหลื่าย์คร&'งท��

เหม�อน้ก&น้• Resolution: ควิามลื่ะเอ�ย์ด ค�าเลื่2กสุ�ดท��วิ&ดได�• Type of output: ป็ระเภทของ output ท��ได�เช้�น้เป็$น้แรง

ด&น้ไฟฟ<าIntroduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 57

Sensor modeling

• เราสุามารถเข�ย์น้ควิามสุ&มพ&น้ธ์ระหวิ�างสุ��งแวิดลื่�อม ท��เราต้�องการวิ&ดค�า e ก&บค�าท��ได�จำากการอ�าน้

เซึ่น้เซึ่อร r ด�วิย์แบบจำ!าลื่อง r = f(e) โดย์หลื่&ก การแบบจำ!าลื่องน้�'ต้�องจำ!าลื่องสุ�วิน้ของ internal

noise แลื่ะ noise จำากสุ�วิน้อ��น้ๆ ด�วิย์• เราเร�ย์กป็7ญหาการค!าน้วิณ e จำากค�าท��อ�าน้ได�ค�อ

r วิ�า inverse problem

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 58

Sensor modeling

• Solutions of inverse problems are typically difficult to solve without additional assumption or information

• We call that the inverse problems are ill-posed– A solution is undefined– A solution is not unique– A solution is not stable

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 59

Sensor modeling

ต้&วิอย์�างป็7ญหาท�� ill-posed เช้�น้การหาค�าอน้�พ&น้ธ์ ของสุ&ญญาณ f0(x) ท��ถ%กรบกวิน้ด�วิย์ ksin(wx):

f(x) = f0(x) + ksin(wx)

เราจำะได�วิ�าf’(x) =f’0(x) + kwcos(wx)

น้&�น้ค�อถ�าสุ&ญญาณ noise ม�ควิามถ��สุ%ง (w ม�ค�ามาก) เราไม�สุามารถหาอน้�พ&น้ธ์ได� --> unstable

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 60

Data from sensors

• ท&�วิไป็ค�าท��ได�จำาก sensor ม&กไม�ม�ควิามแม�น้ย์!า หากเราสุามารถใช้�ผ่ลื่ท��ได�จำากการอ�าน้ค�าจำาก

sensor หลื่าย์คร&'งหร�อจำาก sensor หลื่าย์แบบ มารวิมก&น้ ก2น้�าจำะได�ข�อสุร�ป็ท��น้�าเช้��อถ�อมากข.'น้

• เราสุามารถใช้�สุถ�ต้�ใน้การช้�วิย์ให�ได�ข�อสุร�ป็ด&งกลื่�าวิ• พ�จำารณา Bayesian inference

Introduction to Robotics อรรถวิ�ทย์ สุ�ดแสุง บทท�� 3 หน้�า 61

Neo: I thought it wasn't real

Morpheus: Your mind makes it real

Neo: If you're killed in the matrix, you die here?

Morpheus: The body cannot live without the mind