The SPIN & DSPIN networks on chip - lip6.fr file13 Mai 2005 / Journée Informatique Embarquée : Du...

35
13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel The SPIN & DSPIN networks on chip Alain Greiner

Transcript of The SPIN & DSPIN networks on chip - lip6.fr file13 Mai 2005 / Journée Informatique Embarquée : Du...

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

The SPIN & DSPIN networks on chip

Alain Greiner

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Outline

Introduction

The SPIN micro-network architecture

The SPIN32 evaluation chip

The DSPIN micro-network architecture

DSPIN performances

Conclusion

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Multiprocessors architectures

I0 I1 I2

T0 T1 T2 T3

Interconnect

VCI

VCI

Targets

Initiators

Request

Response

I3

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Shared bus

I0 I1 I2

T0 T1 T2 T3

I3

Complexity : O( M + T)

Bandwidth : O(1)

=> non scalable

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Cross-bar

I1 I2

T0 T1 T2 T3

I3

Complexity : O( M * T)

Bandwidth : O(max (M,T))

=> non scalable

I0

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Multi-stage network

M0 M1 M2

T0 T1 T2 T3

M2

Complexity : O(log( M + T))

Bandwidth : O(max (M,T))

=> scalable

Router Router

Router Router

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Outline

Introduction

The SPIN micro-network architecture

The SPIN32 evaluation chip

The DSPIN micro-network architecture

DSPIN performances

Conclusion

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

SPIN micro-network architecture

SPIN network

• multi-level Fat-Tree topology

• packet switching network

• wormhole routing

• point to point bidirectional links

• credit-based flow control

• adaptative routing

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Packet Switching :

ν No circuit reservation

ν Atomic transaction = packet

Wormhole routing:

ν routers forward packets ASAP

ν packets span several routers

Multistage Packet Switched Networks

target

source

router

router

router

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Adaptive routing

SPIN network

• Upward routing is adaptive

• Downward routing is deterministic

A

B

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Performance evaluation

© Simulation of multi-master / multi-target architectures

running a synthetic workload.

© All components are described in the SoCLib environment as

cycle-true bit-true models for SystemC,.

target

vci

target1

nativevci

target

vci

target0

nativevci

init

vci

init1

nativevci

init

vci

init0

nativevci

Communication Architecture

wrappers

cores

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Latency / Load

ν The variable parameter is the offered load

ν 32 cores : 16 initiators and 16 targets.

ν Random traffic : The 16 initiators send randomly

read request (8 words = a cache line) to the 16

targets (for both architectures).

ν Measure the average latency for a transaction.

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

SPIN / PI-BUS comparison

- saturation threshold = 30%

-Minimal latency = 30 cycles

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Outline

Introduction

The SPIN micro-network architecture

The SPIN32 evaluation chip

The DSPIN micro-network architecture

DSPIN performances

Conclusion

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Evaluation chip : SPIN32

main goals :

Provide a silicon proof of the SPIN concept in 0.13µ CMOS

Confirm the simulation results : latency & throughput

Measure the maximum clock frequency

Measure the reliability under several stress environments

Measure the power consumption

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

A 32 ports SPIN network

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Evaluation chip architecture

The 32 ports SPIN micro-network (spin32 macrocell) issurrounded by a dedicated instrumentation logic.

This evaluation chip has been fabricated by ST Microelectronicsin 0.13 micron CMOS process.

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

RSPIN router layout

© Symbolic layout for

process portability

© Area is 0.24 mm2 in

CMOS 0.13µ

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

SPIN32 macrocell layout

© Symbolic layout for process portability

© Inter-routers wires are routed over cells in metal 4, 5 and 6

© 1 390 464 transistors

© 4.6 mm2 in STMicroelectronics 0.13 µ with 6 metal layers

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Outline

Introduction

The SPIN micro-network architecture

The SPIN32 evaluation chip

The DSPIN micro-network architecture

DSPIN performances

Conclusion

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

SPIN strengths

© For shared memory architectures, the SPIN micro-network with

VCI / SPIN wrappers provides the same service as a classical

“system bus” (making possible IP reuse).

© SPIN demonstrated a truly scalable bandwidth.

© A 32 ports SPIN can be physically implemented in 4.6 mm2 for a0.13 µ CMOS process, with all wires routed on top of the routers.

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

SPIN weaknesses

Adaptive routing improve the saturation theshold…,

but destroys the « in order delivery » property.

The fat-tree topology has a minimal diameter…,

but is not very flexible.

The SPIN32 « hard macrocell » is highly opimized…,

but it is not synthesisable.

The centralized approach for the SPIN network is

not compatible with the GALS (Globally Asynchronous,Locally synchronous) approach.

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

DSPIN / SPIN

What is conserved

© Packet switching

© Wormhole routing

© Full duplex physical links

© VCI interface

© Shared address space

What is different

© Mesh topology

© Distributed

© Asynchronous

© Deterministic routing

© Synthesisable

© Clustering

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

DSPIN : Mesh Topology

R R

R

R

R

R

R

R

R

Sub

System

CK7 CK8 CK9

CK3CK2CK1

CK6CK5CK4

Sub

System

Sub

System

Sub

System

Sub

System

Sub

System

Sub

System

Sub

System

Sub

System

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Deterministic Routing

DSPIN uses the X-first routing algorithm, that gives themicro-network the « in-order delivery » property.

0,3

0,2

0,1

0,0

1,3

1,2

1,1

1,0

2,3

2,2

2,1

2,0

3,3

3,2

3,1

3,0

if X > Xloc -> EAST

If X < Xloc -> WEST

If X = Xloc

if Y > Yloc -> NORTH

if Y < Yloc -> SOUTH

if Y = Yloc -> LOCAL

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

DSPIN : Clock Boundaries

Subsystem iSubsystem i+1

CK CK ’

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Distributed DSPIN Router

CK CK’CK’’

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Separated Requests & Responses

VCI INITIATOR VCI TARGET

Request

Router

Response

Router

VCI / DSPIN

INITIATOR WRAPPER

VCI / DSPIN

TARGET WRAPPER

REQ

REQREQ

REQ

RSPRSP

RSPRSPVCI

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Interleaved Request & Response networks

R R

R

R

R

R

R

R

R

R R

R

R

R

R

R

R

R

In order to prevent

dead-locks, DSPIN uses

two fully independant

networks for requests

and responses

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Two level hierarchical routing

I0.0

VCI / VCI

Local Interconnect

VCI

DSPIN network

VCI / VCI

Local Interconnect

I0.1 T0.0 T0.1 In.0 In.1 Tn.0 Tn.1

VCI

Sub-system 0 Sub-system n

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Outline

Introduction

The SPIN micro-network architecture

The SPIN32 evaluation chip

The DSPIN micro-network architecture

DSPIN performances

Conclusion

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

DSPIN status

© SystemC Cycle-Accurate and Bit-Accurate simulation modelshave been written for the 3 DSPIN components :

ν DSPIN router

ν DSPIN/VCI initiator wrapper

ν DSPIN/VCI target wrapper

Those SystemC models have been validated in a 16 processorsintegrated network.

© VHDL synthesizable models have been designed andsynthesized, using SYNOPSYS and the Alliance standard cellslibrary. The footprint of the DSPIN router is two times smaller thanthe footprint of the SPIN router.

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

The simulation plat-form

R R

R

R

R

R

R

R

R

R

R

R

RR R R

R R

R

R

R

R

R

R

R

R

R

R

RR R R

• 16 nodes architecture

• Each node contains

1 processor and 1 RAM

• Each processor sends

randomly distributed

read request to all RAMS

• Each request is 8 words

(a cache line)

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Saturation threshold & minimal latency

13 Mai 2005 / Journée Informatique Embarquée : Du matériel au Logiciel

Conclusions

© The DSPIN architecture, as the SPIN architecture, providesthe system designer a truly scalable bandwidth.

© The DSPIN architecture is suited to the GALS (GloballySynchronous / Locally Synchronous) approach.

© The DSPIN architecture solves the problem of timingclosure due to long wires, that is critical in DSM processes.

© The DSPIN performances (bandwidth and latency) areequivalent to the SPIN performances, with a smaller footprint.

© The DSPIN components (routers and wrappers) aresynthesizable, which is mandatory for an industrial product.

© All SystemC SPIN &DSPIN simulation models will beintegrated in the SOCLIB modeling and simulation platform.

© A physical implementation of the DSPIN architecture isplanned in 2005 at CROLLES (90 nanometer process), incooperation with the group of J.P Schoelkopf.