Interaction technologyIntroduction 2016/2017

Lennart HerlaarCoert van GemerenRemco Veltkamp

LecturersLennart Herlaar• Computer architecture and networks • Web technology • Physical computing

LecturersCoert van Gemeren• Computer vision• Bodily interaction detection and recognition

LecturersCoert van Gemeren• Computer vision• Bodily interaction detection and recognition

• Example: automated hand shake classification and localization

LecturersCoert van Gemeren• Bodily interaction detection and recognition• Limb movement analysis

1. Sequence 2. Histogram Of Gradients 4. Histogram Of Flow

3. Optical Flow

More about OF during the CV lectures!

Lecturers

Coert van Gemeren• Introduction to Computer Vision• Shape‐based hand and gesture recognition

Lecturers

Remco Veltkamp• Media technology• Recognition

Student assistents

• Bas de Kan, Computer Science Ba student• Michiel van Heusden, Computer Science Ba student• Chaïm van Toledo, Business Informatics MSc student• Ruben Verboon, Computer Science Ba student

Students

• Nederlands/Foreign?• Computer Science/Information Science/other?• Wiskunde A/Wiskunde B/Wiskunde C/Wiskunde D? 

Course Info

Theory• Lectures• Background readings• Testing: 2 written exams

Practice• Hands on experience• Creativity• Testing: 2 assignments

Course Info 

Lectures• Monday 9.00‐10.45 in KBG‐Cosmos• Tuesday 17.15‐19.00 in KBG‐Cosmos(this week only)

• Wednesday 9.00‐10.45 in Ruppert‐040

Practicals• Monday 11.00‐12.45 in CBB‐Jobshop/BBG• Wednesday 11.00‐12.45 in BBG• Additional assistance with first assignment

Course Info

Website: • Course website: http://www.cs.uu.nl/docs/vakken/b3it/ • Check for news• Check schedule, subject to change

Course Info

Contact• Ask your questions straight away • Rather discuss them during/after the lecture than via email 

We love feedback• If you get stuck, let us know • If you miss certain topics in our course, let us know

Reading MaterialsEmbedded systems and sensors:• Slides• Website materialsEvaluation:• Chapters 2, 3, Appendix of J. Sauro and J.R. Lewis, Quantifying the User eXperience: Practical statistics for user research (2012)

• Web lectures• SlidesComputer vision based interaction:• Slides

Additional Materials

For assignment 1, additional materials are needed: • Interaction technology kit • “The missing piece” • More later

GradingFinal grade calculated as follows:• Assignments: 60% (2*30%)• Exams: 40% (2*20%)

Rules:• You need a 6 or higher to pass the course• Weighted averages below 5.5 are rounded to integers• Weighted averages from 5.5 up to 6 are rounded to 6• Weighted averages above 6 are rounded to integer or .5 • Weighted average of assignments must be at least 4• Weighted average of exams must be at least 4• All assignments need to be submitted• There is no retake for the assignments• If only 1 exam is missed, the final grade is AANV• Retake only admissible if final grade was 4, 5 or AANV

Exams• Check http://www.cs.uu.nl/education/vak.php?vak=INFOB3IT• Monday 13 March 2017, 9.00‐11.00, Edu‐Gamma• Wednesday 12 Apr 2017, 8.30‐10.30, Edu‐Alfa• Retake Tuesday 5 July 2016, 8.30‐10.30, Edu‐Beta• Retake only admissible if final grade was 4, 5 or AANV

Assignments• 60% of final grade1. Embedded systems and sensors: 30%2. Vision‐based gesture interface: 30%

• There is no retake for assignments• Deadlines are enforced by submission system

Assignments

Assignments help you to get hands‐on experience• Assignments carried out in pairs• Notify us in time when collaboration goes wrong

Practicals used for support• Use to ask questions• Also used to make sure you start on time!

Assignment 1

Embedded systems and sensors• Deadline Wednesday 8 March, 17:00• Submission through submit system

Build and evaluate a smart interactive device• Using a microcontroller and a set of sensors and actuators• Deliverables: video walkthrough, description, schematics, evaluation, code

Assignment 1

Objectives • Acquire basic soldering skills • Learn about electronic components and to build electronic circuits • Learn to program a microcontroller and about its possibilities and limitations 

• Learn to build an embedded system and to make choices in light of limited resources and stringent functional requirements … 

• Learn to evaluate a system …• … in order to finally arrive at a smart and interactive system, featuring a pleasant UX

Assignment 1

It’ll be a journey …• Acquire your Interaction technology kit• Sign up for soldering• Attend the workshop• Assemble your microcontroller board• Learn about your kit• Obtain the "missing piece"• Work on the assignment

• There is a single source of information for the assignment

Assignment 1

• What you will build: 

Inspiration

Assignment 1Recap• ASAP: Acquire your Interaction technology kit & the missing piece• ASAP: Sign up for soldering• This week: Read through the embedded systems and sensors website• This week: Attend a single workshop• This/next week: Attend the lectures

The schedule on the embedded systems and sensors website is leading during the assignment• http://herlaar.net/b3it/

Assignment 2

• Computer vision‐based interaction• Deadline Friday 7 April, 17.00• Submission through submit system• Make the toilet freshener even smarterusing visual cues from color and/or movement

• OpenCV (C++) programming libraryused as a basis

• Evaluate user experience • Deliverables: code, video, report

Academic Honesty

We value academic honesty• No copying of other groups • No copying from internet (unless otherwise stated), etc.• Violations will result in a fail for the course, and must be reported to the exam committee

Lectures• Introduction• Embedded systems and sensors (3x)• System and user evaluation (3x)• Computer vision based interaction (5x)• Multimodal interaction• Q&A