The Ultimate Display: Imagining and Inventing Computer Graphics Polygon by Polygon

Pearls of Computation ‐ Ivan Sutherland

Hannes Högni VilhjálmssonAssociate Professor of Computer Science

Ivan Sutherland

• Born May 16, 1938 in Hastings, Nebraska, United States. 

• Father was a practicing engineer with a Ph.D. in civil engineering. His mother was a teacher “who engendered in him and his brother Bert a love of learning”.

Early “Career”

As early teen programmed Simon. Modified to add division (8 feet paper tape program)At age 17, as a science fair project, he made a magnetic drum memory with 128 2‐bit words At age 19, he published “An Electro‐Mechanical Model of Simple Animals” in Computers and Automation At age 21 he published “Stability in Steering Control” in Electrical Engineering

1950 ‐ Simon – World’s smallest Mechanical BrainBy Edmund Berkeley

Academic Degrees

• BS 1955‐1959Carnegie Institute of Technology (CMU)

• MS 1960California Institute of Technology

• PhD 1963Massachusetts Institute of Technology

• Honorary MA 1966Harvard

Academic Degrees

• BS 1955‐1959Carnegie Institute of Technology (CMU)

• MS 1960California Institute of Technology

• PhD 1963Massachusetts Institute of Technology“Sketchpad: A Man‐Machine Graphical Communication System”

• Honorary MA 1966Harvard

SketchpadA Man‐Machine Graphical Communication System

“The Sketchpad system makes it possible for a man and a computer to converse rapidly through the medium of line drawings….…in the past, we have been writing letters to rather than conferring with our computers.”

Sketchpad – The Demo

David Coons Explains the Idea Timothy Johnson Demonstrates

Important CapabilitiesSubpicture

An instance of an entire group can be called up on another sheet of paper

ConstraintComputer knows about basic relationships. These can be exploited and extended

Definition CopyingComposite operations can by applied to shapes 

The first GUI?

Telstar SatelliteSputnik 1

1957 1960 1962 1963 1964 1965 1966 1967 1968 1969 19701958 1959

TV Protests Iceland

Telstar SatelliteSputnik 1

SAGE

1957 1960 1962 1963 1964 1965 1966 1967 1968 1969 19701958 1959

TV Protests Iceland

Telstar SatelliteSputnik 1

SAGE

LISP SpaceWar on PDP‐1

1957 1960 1962 1963 1964 1965 1966 1967 1968 1969 19701958 1959

TV Protests Iceland

Engelbarts Mouse DemoBASIC

Telstar SatelliteSputnik 1

SAGE

LISP SpaceWar on PDP‐1 Engelbarts Mouse Demo

1957 1960 1962 1963 1964 1965 1966 1967 1968 1969 19701958 1959

TV Protests Iceland

BASIC

Sketchpad 3D HMD

Origins of CAD

• In 1959, Douglas Ross, Steven Coons, and John Ward, along with their colleagues, started the MIT Computer‐Aided Design Project, and planted the seeds that grew to define modern CAD

• In December, 1959, The Mechanical Engineering Department and Electronic Systems Laboratory of the Electrical Engineering Department of MIT entered into a joint project, sponsored by the US Air Force, to explore the possibilities for something they called “Computer‐Aided Design”

MIT Lincoln Labs’ TX‐2 HCI research computer (1958)

306 kilobytes of core memory, programmable buttons for entering commands, an oscilloscope/video display screen (addressable to 1024×1024 pixels), a light pen for input, and a pen plotter for output

Claude Shannon

David Coons

Marvin Minsky

SketchpadA Man‐Machine Graphical Communication System

+

Work Career

• 1963 Electrical EngineerNSA

• 1964 DARPA’s head of IPTOSponsoring computer research (Timesharing + AI)Promotes “The Ultimate Display”

• 1965 – 1968 Associate ProfessorHarvard

• Cohen‐Sutherland Clipping Algorithm (1967)• With Robert Sproull the first HMD (1968)

A display connected to a digital computer gives us a chance to gain familiarity with concepts not realizable in the physical world. It is a looking glass into a mathematical wonderland.

The ultimate display would, of course, be a room within which the computer can control the existence of matter.

Ivan Sutherland, 1965

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

1000, 00000000, 00001010, 01100001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

1000, 00000000, 0000    OR == 01010, 01100001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

1000, 00001010, 01100001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

1000, 00001010, 0110   AND != 00001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

1000, 00000001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

0000, 0000    OR == 00001, 0110

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

0001, 0100

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

0001, 0000

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

0000, 0000   OR == 0

Cohen‐Sutherland Algorithm (1967)

0000 0010

0100 01100101

0001

1001 1000 1010

Work Career

• 1963 Electrical EngineerNSA

• 1964 DARPA’s head of IPTOSponsoring computer research (Timesharing + AI)Promotes “The Ultimate Display”

• 1965 – 1968 Associate ProfessorHarvard

• Cohen‐Sutherland Clipping Algorithm (1967)• With Robert Sproull the first HMD (1968)

A head‐mounted three dimensional display (1968)

Although stereo presentation is important to the three‐dimensional illusion, it is less important than the change that takes place in the image when the observer moves his head.

Ivan Sutherland, 1968

Although stereo presentation is important to the three‐dimensional illusion, it is less important than the change that takes place in the image when the observer moves his head.

Ivan Sutherland, 1968

Work Career (cont.)

• 1968‐ 1974 ProfessorUniversity of Utah

• Jim Clark (Silicon Graphics, Netscape)• Henri Gouraud (Shading)• Committee member for Alan Kay (inventor of SmallTalk) and Edwin Catmull (co‐founder of Pixar, president of Disney and Pixar)

Gouraud Shading (1971)

NL

Intensity = L ∙ N

Intensity based on Ns of polygons

Gouraud Shading (1971)

Averaging polygon Nsat vertices

Interpolating intensitiesacross polygon surfaces

• 1968 Co‐Founder, Vice President, Chief ScientistEvans and Sutherland (with David Evans)

• Real‐time hardware accelerated 3D + printer languages• Flight Simulators (80% pilots)• full dome planetarium systems

Work Career (cont.)

Evans & Sutherland CT5 (1981)

• 1974‐1978 Professor – Founding head of SCCalifornia Institute of Technology

• 1980 Founder, Vice President, Technical DirectorSutherland, Sproull and Associates Sun Labs

• 1990 Vice PresidentSun Microsystems

• 2005 – 2008 Visiting ScholarUC Berkely

Current:Focused on making a great leap forward in circuit design

Work Career (cont.)

Honors and Awards

George Westinghouse Scholar (1955‐1959); American Institute ofElectrical Engineers Student Prize Paper Contest for District 2Winner (1958, 1959); National Science Foundation Fellowship (1959– 1962); National Academy of Engineering First Zworykin Award(1972); Member, National Academy of Engineering (1973); Member,National Academy of Sciences (1978); IEEE Emanuel R. Piore Award(1986); Computerworld Honors Program, Leadership Award (1987);ACM Turing Award (1988); ACM Software System Award (1993);Electronic Frontier Foundation EFF Pioneer Award (1994);Association for Computing Machinery Fellow (1994); PriceWaterhouse Information Technology Leadership Award for LifetimeAchievement (1996); Computerworld Smithsonian Award (1996);the Franklin Institute's Certificate of Merit (1996); IEEE John vonNeumann Medal (1998); R&D 100 Award (team) (2004); ComputerHistory Museum Fellow (2005).

“The Six Legged Hydraulic Walker”

Scientific American, 1983(Raibert and Sutherland)

First man‐carrying computer controlled walking machine

"Without the fun, none of us would go on!”Ivan Sutherland, 1996 

Bibliography• Sutherland, I. E. (1964). “Sketch pad a man‐machine graphical communication 

system”. In Proceedings of the SHARE design automation workshop (DAC '64). ACM, New York, NY, USA, 6.329‐6.346

• Sutherland, I. E. (1968). "A HEAD‐MOUNTED THREE‐DIMENSIONAL DISPLAY". Proceedings of AFIPS 68, pp. 757‐764

• Sutherland, I. E. (1965). "The Ultimate Display". Proceedings of IFIP 65, vol 2, pp. 506‐508

• The roots of CAD, Posted by Evan Yares on Friday, January 25, 2013, http://www.3dcadworld.com/the‐roots‐of‐cad‐part‐1/

• 50 Years of CAD, February 13, 2013 Evan Yares, http://www.designworldonline.com/50‐years‐of‐cad/

• Robert Burton, Ivan Sutherland, http://amturing.acm.org/award_winners/sutherland_3467412.cfm

• Evans & Sutherland, http://www.es.com/About/History.html

• Harry McCracken, April 12, 2013, A Talk with Computer Graphics Pioneer Ivan Sutherland | TIME.com http://techland.time.com/2013/04/12/a‐talk‐with‐computer‐graphics‐pioneer‐ivan‐sutherland/#ixzz2vuBeoI4F

• Oral history interview with Ivan Sutherland, http://conservancy.umn.edu/handle/11299/107642