Switches and indirect networks

   

Switch based network

Single stage Crossbar

Multi­stage Symmetric: Multistage Interconnection Network Asymmetric: Fat­tree, base­m n­cube   Direct 

interconnection network

   

Crossbar switch

ｎ

ｍ

Cross point: smallswitching element

The number ofcross points:ｎｘｍ

Extension of the buses

   

Non­blocking property

ｎ

ｍ

For differentdestination,conflict free

   

Head Of Line (HOL) conflict

ｎ

ｍ

X

Arbiter is required for each bus

The buffer is required

The number of crosspoint is not dominant.

   

Input buffer switch

Crossbar

Input buffer

One of conflicting packets is selected.Others are stored Into the input buffer

   

Merit/demerit of Crossbars

Non­blocking property Simple structure/Control The hardware for cross­points  usually do not 

limit the system (Fallacy of crossbars)  Extension is difficult by the pin­limitation of 

LSIs If pins can be used, a large crossbar can be 

constructed   Earth simulator

   

MIN（Multistage　Interconnection　 Network)

Multistage connected switching elements form a large switch. 

Symmetric Smaller number of cross­points, high 

degree of expandability Bandwidth is often degraded Latency is stretched

   

Classification of MIN

Blocking network： Conflict may occur for destination is different  ：ＮｌｏｇＮ type standard MIN, network,π

Re­arrangeable： Conflict free scheduling is possible： Benes network、 Clos network（ rearrangeable configuration）

Non­blocking： Conflict free without scheduling： Clos network (non­blocking configuration)、 Batcher­Banyan network

   

Properties of MIN

Throughput for random communication Permutation capability Partition capability Fault tolerance Routing 

   

Blocking Networks

Standard NlogN networks Omega network Generalized　 Cube Baseline

Pass through ratio (throughput) is the same.  networkΠ

   

Omega network

The number of switching element （２ｘ２ , in this case  ） is １／２ Nｘ LogN

000001

010011

100101

110111

000001

010011

100101

110111

   

Perfect　 Shuffle

Rotate to left

０００００１０１００１１１００１０１１１０１１１

００００１０１００１１０００１０１１１０１１１１

Inverse　 ShuffleRotate to right

   

Destination　 Routing

000001

010011

100101

110111

000001

010011

100101

110111

Check the destination tag from MSBIf 0 use upper link, else use lower link.

1 ３

０

１

１

５→６

１

１ ０

   

Blocking Property

For different destination, multiple paths conflict

000001

010011

100101

110111

000001

010011

100101

110111

X

０→０４→２

   

For using large switching elements（ Delta network）

In the current art of technology, 8x8 (4x4) crossbars are advantageous.

０００１１０１１

２０２１３０３１

０００１１０１１

２０２１３０３１

０１２３

０１２３

１

２

Shuffle connection is also used.

   

Omega network

The same connection is used for all stages. Destination routing A lot of useful permutations are available. Problems on partitioning and expandability.

   

Generalized Cube

000001

010011

100101

110111

000001

010011

100101

110111

000100

100

110100101

Links labeled with 1bit distance are connectedto the same switching element.

000

010

000001

   

Routing in Generalized Cube

000001

010011

100101

110111

000001

010011

100101

110111

The source label and destination label is compared (Ex­Or）：Same(0)： Straight　 Different (1)： Exchange

001 011010

01 0

   

Partitioning

000001

010011

100101

110111

000001

010011

100101

110111

The communication in the upper half  never disturbs the lower half.  

   

Expandability

A size of network can be used as an element of larger size networks

   

Generalized　 Cube

Destination routing cannot be applied. The routing tag is generated by exclusive or 

of source label and destination label. Partitioning  Expandability

   

Baseline Network

000001

010011

100101

110111

000001

010011

100101

110111

The area of shuffling is changed.

001

100

010

001

3bit shuffle 2bit shuffle

   

Destination　 Routing in Baseline network

000001

010011

100101

110111

000001

010011

100101

110111

Just like Omega network

1

1

0

   

Partitioning in Baseline

000001

010011

100101

110111

000001

010011

100101

110111

   

 Ｂｅｎｅｓ Network

Note that the center of stage is shared. The rearrangeable network with the 

smallest hardware requirement.

000001

010011

100101

110111

000001

010011

100101

110111

   

Non­blocking network

 Ｃｌｏｓ network ｍ＞ｎ１＋ｎ２－１ : Non­blocking ｍ＞＝ｎ２ : Rearrangeable Else: Blocking

   

Clos network

... ...

ｎ１ｘｍ ｒ１ｘｒ２ ｍｘｎ２

ｒ１ ｍ ｒ２

m=n1+n2­1  ： Non­blockingm=n2： Rearrangeablem<n2： Blocking

The number of intermediatestage dominates the permutationcapability.

3­stage

   

Batcher network

５７０４

２１３６

５７４０

１２６３

０４５７

６３２１

０１２３

４５６７

Bitonic sorting network

   

Batcher­Banyan

５７０４

２１３６

５７４０

１２６３

０４５７

６３２１

０１２３

４５６７

Sorted input is conflict free in the banyan network

OmegaBaseline

   

Banyan networks

Only a path is provided between source and destination. The number of intermediate stages is flexible. Approach from graph theory SW­Banyan， CC­Banyan， Barrel　 Shifter

Irregular structure is allowed.

   

Batcher­banyan

If there are multiple packets to the same destination, the conflict free condition is broken

 The other packets may conflict. The extension of banyan network is required.

The number of stages is large. Large pass through time

The structure of sorting network is simple.

   

Classification of MINs

Omega

Baseline

Generalized　 Cube

π

Benes

Clos

BatcherBanyan

Banyan

Ｂｌｏｃｋｉｎｇ

Ｒｅａｒｒａｇｅｂｌｅ

Ｎｏｎｂｌｏｃｋｉｎｇ

   

Fault tolerant MINs

Multiple paths Redundant structure is required. On­the­fly fault recovery is difficult. Improving chip yield.

   

Extra　 Stage　 Cube　(ESC)

An extra stage＋ Bypass mechanism

000001

010011

100101

110111

000001

010011

100101

110111

Ｘ

If there is a fault on stages or links, another path is used.

   

The buffer in switching element

Conflicting packets are stored into buffers.

000001

010011

100101

110111

000001

010011

100101

110111

   

Hot spot contention

Buffer is saturated in the figure of tｒｅｅ   (Ｔｒｅｅ　Ｓａｔｕｒａｔｉｏｎ）

000001

010011

100101

110111

Hot spot

   

Relaxing the hot spot contention

Wormhole routing with Virtual channels   Direct network

Message　 Combining Multiple packets are combining to a packet inside 

a switching element (IBM RP3) Implementation is difficult (Implemented in SNAIL)

   

Other issues in MINs

MIN with cache control mechanism Directory on MIN Cache Controller on MIN

MINs with U­turn path   Fat tree

   

Exercise

Every path between source and destination is determined with the destination routing in Omega network. Prove (or explain) the above theory in Omega network with 8­input/output.