Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in...

36
Blind Audio Source Separation A review of state-of-the-art techniques Emmanuel Vincent Centre for Digital Music Electronic Engineering Department Queen Mary, University of London Emmanuel Vincent (QMUL) Blind Audio Source Separation 1 / 36

Transcript of Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in...

Page 1: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Blind Audio Source SeparationA review of state-of-the-art techniques

Emmanuel Vincent

Centre for Digital MusicElectronic Engineering DepartmentQueen Mary, University of London

Emmanuel Vincent (QMUL) Blind Audio Source Separation 1 / 36

Page 2: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

The problem and its applications

Most audio signals are mixtures of several audio sources (speech, music,noises). Blind Audio Source Separation (BASS) consists in recovering oneor several source signals from a given mixture signal.

Direct applications include

real-time speaker separation for simultaneous translation,

sampling of musical sounds for electronic music composition.

Many derived applications aim to modify the mixture signal, for example

speech enhancement within hearing aids,

voice cancellation for karaoke,

rendering of stereo CDs on multichannel devices.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 2 / 36

Page 3: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Scope of the review

BASS methods have been proposed independently by researchers fromdifferent communities (statistical signal processing, audio signalprocessing, cognitive psychology) since the early 90’s.

The goal of this review is to

make clear the modeling assumptions and performance limitations ofeach approach,

emphasize the importance of audio-specific issues in the design ofBASS algorithms.

Implementation details are not discussed.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 3 / 36

Page 4: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Overview

1 Background and problem definition

2 Filtering techniques

3 Multi-channel identification based on sparsity

4 Single-channel identification based on advanced models

5 Hybrid identification techniques

6 Conclusion and promising approaches

Emmanuel Vincent (QMUL) Blind Audio Source Separation 4 / 36

Page 5: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Typical audio mixtures

Audio mixtures are categorized as

music or speech,

live recordings or synthetic mixtures.

Each category exhibits different properties that can be exploited for aspecific processing.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 5 / 36

Page 6: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Music vs. speech sources

Both music and speech sources produce a superposition of

nearly periodic signals (harmonic sinusoidal partials),

wideband noise signals,

transient signals.

Differences lie in

the underlying discrete structure (chords vs. phonemes),

the amount of dependence between different sources,

the fundamental frequency and spectral envelope range.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 6 / 36

Page 7: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Live recordings

Live sources can be recorded separately (pop music, movie dialogues) ortogether (classical music, meeting). The setup and the microphones typesdetermine the amount of interferences and reverberation on each channel.

�� �� ����

�� �� ����

� �� �� �� � �� �� �� ��

� �� �

����

�� �� ��

�� �������

Far−fieldnear−coincidentmicrophone pair

Concert room or conference room Studio

� �� �� �� �

soundDirect

Mixingsoftware

Multitrackrecording

Stereomixture

Spot microphones(point sources)

Spot microphones(extended source)

Far−field coincidentmicrophone pair

recordingNear−anechoic

Emmanuel Vincent (QMUL) Blind Audio Source Separation 7 / 36

Page 8: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Synthetic mixtures

If necessary, live recordings can be mixed down to a stereo (two-channel)mixture.

Typical synthetic mixing effects include

panning,

synthetic reverb,

autopanning.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 8 / 36

Page 9: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Classification of mixtures types

The signal processing literature classifies mixtures as

under-determined vs. over-determined,

instantaneous vs. convolutive,

time-varying vs. time-invariant.

Live recordings are over-determined time-varying convolutive mixtures(many microphones, reverberation, moving sources).

Synthetic mixtures are most often under-determined time-invariantconvolutive mixtures (two channels, synthetic reverb).

Emmanuel Vincent (QMUL) Blind Audio Source Separation 9 / 36

Page 10: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

The separation problem

Under the point source assumption, the mixture channels (xi ) equal

xi (t) =

J∑

j=1

+∞∑

τ=−∞

aij(t − τ, τ)sj(t − τ),

where (sj) are the original source signals and (aij) the mixing filters.

More generally, the mixing process writes

xi (t) =

J∑

j=1

simg ij(t),

where (simg ij) are the source images on the mixture channels.

The BASS problem consists in retrieving the source image signals (simg ij)given the mixture signals (xi ).

Emmanuel Vincent (QMUL) Blind Audio Source Separation 10 / 36

Page 11: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Performance evaluation

Various distortions are distinguished when evaluating the separationquality.

Mixture � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �

Perfect separation � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !

" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "

Pipe-noise artifacts # # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # #$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $

% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %

& & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & &

' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '

( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (

) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )

* * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * *

Interferences + + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + +, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,, ,

- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -

. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .

/ / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / /

0 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0

1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1

2 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 22 2 2 2

Timbre distortion 3 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 34 44 44 44 44 44 44 44 44 44 44 44 44 44 44 4

5 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 5

6 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 6

7 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 7

8 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 8

9 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 9

: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :: : : :

These distortions should be measured by listening tests.They can also be approximated by energy ratio criteria.

BSS EVAL toolbox: http://www.irisa.fr/metiss/bss eval/.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 11 / 36

Page 12: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Background and problem definition

Identification and filtering

BASS is often addressed as a two-part problem:

identify the number of sources and a set of sufficient parameters foreach source,

filter the mixture based on these parameters to obtain the sourceimage signals.

A good separation may be obtained under two conditions:

the filtering technique is actually able to separate the sources usingoptimal filters,

the sufficient parameters contain enough information to derivenear-optimal filters.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 12 / 36

Page 13: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Filtering techniques

Common filtering techniques include

beamforming,

time-frequency masking.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 13 / 36

Page 14: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Beamforming (1)

Beamforming relies on spatial diversity and exploits all the mixturechannels simultaneously.

It involves filtering the mixture channels by stationary filters and summingthem together. In the time-frequency domain, this translates as

Uj(n, f ) =I

k=1

wjk(f )Xk(n, f ),

Simg ij(n, f ) = bij(f )Uj(n, f ),

where (Simg ij) and (Xi ) denote the short time Fourier transforms of thesource images and the mixture channels, (wjk(f )) are the demixing filtersand (bij(f )) is the pseudo-inverse matrix of (wjk(f )).

Emmanuel Vincent (QMUL) Blind Audio Source Separation 14 / 36

Page 15: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Beamforming (2)

0 1 2 3 4

−0.5

0

0.5

Mixing filters a11

and a21

t (ms)0 1 2 3 4

−0.5

0

0.5

Mixing filters a12

and a22

t (ms)

−30 −20 −10 0 10 20 30

−1

0

1

Optimal demixing filters w11

and w12

t (ms)−30 −20 −10 0 10 20 30

−1

0

1

Optimal demixing filters w21

and w22

t (ms)

Emmanuel Vincent (QMUL) Blind Audio Source Separation 15 / 36

Page 16: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Time-frequency masking (1)

Time-frequency masking relies on time-frequency diversity and processeseach mixture channel separately.

It involves computing the STFTs of the mixture channels, multiplyingthem by time-frequency masks containing gains between 0 and 1 andinverting the resulting STFTs.

The most popular masking rules are adaptive Wiener filtering

Simg ij(n, f ) =|Simg ij(n, f )|2

∑Jk=1 |Simg ik(n, f )|2

Xi (n, f )

and binary masking

Simg ij(n, f ) =

{

Xi (n, f ) if |Simg ij(n, f )| = maxk |Simg ik(n, f )|,

0 otherwise.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 16 / 36

Page 17: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Time-frequency masking (2)

Female speech spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB20

40

60

80

Male speech spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB

20

40

60

80

Mixture spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB

20

40

60

80

Mask for female speech

t (s)

f (K

Hz)

0 1 20

2

4

0

0.5

1Mask for male speech

t (s)

f (K

Hz)

0 1 20

2

4

0

0.5

1

Emmanuel Vincent (QMUL) Blind Audio Source Separation 17 / 36

Page 18: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Filtering techniques

Comparison of beamforming vs. time-frequency masking

The computation of optimal demixing filters/time-frequency masks showsthat

beamforming does not generate pipe noise artifacts but is limited todetermined instantaneous or slightly convolutive mixtures,

time-frequency masking works potentially better for under-determinedor strongly convolutive mixtures but generates artifacts due totime-frequency overlap of the sources.

BSS ORACLE toolbox: http://www.irisa.fr/metiss/bss oracle/.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 18 / 36

Page 19: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

Multi-channel identification based on sparsity

Sparsity forms the core of separation methods for simple multichannelmixtures.

Time-frequency sparsity allows to separate sources in each subband basedon spatial diversity. Complementary assumptions are needed to linktogether subband signals belonging to the same source.

Common methods include

ICA,

DUET-like methods.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 19 / 36

Page 20: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

Independent Component Analysis (1)

ICA for over-determined instantaneous mixtures models the source samples(sj(t)) as independent draws from a known distribution.

Audio signals are often modelled by sparse distributions such as thegeneralized exponential

P(sj(t)) ∝ e−β|sj (t)|R

with 0 ≤ R < 2.

The sources are estimated up to a permutation using beamforming. Thedemixing gains (wjk) are estimated using a maximum a posteriori criterionor equivalently a minimum mutual information criterion.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 20 / 36

Page 21: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

Independent Component Analysis (2)

; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;< << << << << << << << << << << << << << << << <

= = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = =

> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >

? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?

@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @

A A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A A

B B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B B

0 1 2−5

0

5

Speech waveform

t (s)−5 0 5

0

0.5

1

1.5

Density of the sample values

Bandwise normalized spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

0 5 100

2

4

Density of the magnitude values

Emmanuel Vincent (QMUL) Blind Audio Source Separation 21 / 36

Page 22: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

Independent Component Analysis (3)

ICA is extended to over-determined convolutive mixtures by modeling theSTFT values (Sj(n, f )) as independent draws from a sparse distribution

and applying standard ICA in each subband f to recover (Simg ij(n, f )).

Subbands are grouped after solving the permutation ambiguity using

source directions defined from interchannel phase difference byIPDj(n, f ) = ∠Simg 2j(n, f ) − ∠Simg 1j(n, f ) ≈ 2πf d

csin θj mod 2π,

correlation of the source subband magnitudes.

Reverb Mixture ICA

6 ms C C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CC C CD DD DD DD DD DD DD DD DD DD DD DD DD DD DD D

E E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E EE E E E E E E E E E E

F F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F FF F F F F F F F F F F

G G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G GG G G

H H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H HH H H

I I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I II I I I I

J J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J JJ J J J

K K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KK K KL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L LL L L

M M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M MM M M M M M M M M M M

N N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N NN N N N N N N N N N N

O O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O OO O O

P P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P PP P P

Q Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q QQ Q Q Q Q

R R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R RR R R R R

S S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S SS S ST T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T TT T T

U U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U UU U U U U U U U U U U

V V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V VV V V V V V V V V V V

W W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W WW W W

X X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X XX X X

Y Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y YY Y Y Y Y

Z Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z ZZ Z Z Z

20 ms [ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [[ [ [\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \

] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]] ] ] ] ] ] ] ] ] ] ]

^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^

_ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ __ _ _

` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `` ` `

a a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a aa a a a a

b b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b bb b b b

c c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cc c cd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d dd d d

e e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e ee e e e e e e e e e e

f f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f ff f f f f f f f f f f

g g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g gg g g

h h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h hh h h

i i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i ii i i i i

j j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j jj j j j j

k k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kk k kl l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l ll l l

m m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m mm m m m m m m m m m m

n n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n nn n n n n n n n n n n

o o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o oo o o

p p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p pp p p

q q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q qq q q q q

r r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r rr r r r

90 ms s s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s ss s st tt tt tt tt tt tt tt tt tt tt tt tt tt tt t

u u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u uu u u u u u u u u u u

v v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v vv v v v v v v v v v v

w w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w ww w w

x x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x xx x x

y y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y yy y y y y

z z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z zz z z z

{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {{ { {| | || | || | || | || | || | || | || | || | || | || | || | || | || | || | |

} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }} } } } } } } } } } }

~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �

370 ms � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

                                                                                                                                  

¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡¡ ¡ ¡ ¡ ¡

¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢¢ ¢ ¢ ¢

Davies 02, Parra 02, Sawada 03

Emmanuel Vincent (QMUL) Blind Audio Source Separation 22 / 36

Page 23: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

DUET-like methods (1)

In instantaneous mixtures, if source j is predominant in (n, f ) then theinterchannel intensity difference IID(n, f ) = 20 log10(|X2(n, f )|/|X1(n, f )|)is close to the relative mixing gain 20 log10(a2j/a1j).

DUET-like methods separate under-determined mixtures as follows:

compute IID (or similar quantities),

find the relative mixing gains from the IID histogram,

associate each time-frequency point with the closest source andperform binary masking.

The interchannel phase difference is used for convolutive mixtures instead.

Jourjine 00, Viste 03, Roman 03

Emmanuel Vincent (QMUL) Blind Audio Source Separation 23 / 36

Page 24: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Multi-channel identification based on sparsity

DUET-like methods (2)

Interchannel intensity difference

t (s)

f (K

Hz)

0 2 40

5

10

dB

−5

0

5

−10 0 100

2

4

Histogrammed values

Mask for bass drum

t (s)

f (K

Hz)

0 2 40

5

10

0

1Mask for vocals

t (s)

f (K

Hz)

0 2 40

5

10

0

1Mask for bass guitar

t (s)

f (K

Hz)

0 2 40

5

10

0

1

Mixture £ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ ££ £ £¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤¤ ¤ ¤

¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥ ¥

¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦

§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §§ § §

¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨¨ ¨ ¨

© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©© © © © ©

ª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ªª ª ª ª

Spatial masking « « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «« « «¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬¬ ¬

­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­­ ­ ­ ­ ­ ­ ­ ­ ­ ­ ­

® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®® ® ® ® ® ® ® ® ® ® ®

¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯¯ ¯ ¯

° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °° ° °

± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±± ± ± ± ±

² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²² ² ² ²

³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³³ ³ ³´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´´ ´

µ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µµ µ µ µ µ µ µ µ µ µ µ

¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶

· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·· · ·

¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸¸ ¸ ¸

¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹¹ ¹ ¹ ¹ ¹

º º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º ºº º º º º

» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »» » »¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼¼ ¼ ¼

½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½

¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾

¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿¿ ¿ ¿

À À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À ÀÀ À À

Á Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á ÁÁ Á Á Á Á

    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â    Â

Emmanuel Vincent (QMUL) Blind Audio Source Separation 24 / 36

Page 25: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Single-channel identification based on advanced models

The time-frequency sparsity assumption is insufficient for the separation ofsingle-channel mixtures.

Advanced signal models represent the short term magnitude spectrum ofthe mixture and take into account the discrete structure of the sourcesalong with periodicity, spectral envelope and temporal continuitycharacteristics.

Common methods include

factorial HMMs,

spectral decomposition,

CASA.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 25 / 36

Page 26: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Factorial hidden Markov models (1)

Each source is modelled by a HMM

log |Sj(n, f )|2 = Ψhj (n)(f ) + εj(n, f ),

where (hj(n)) is a series of hidden states following a Markov prior, Ψhj (n)

is the expected spectrum and εj is a Gaussian noise.

The mixture is represented by a factorial HMM whose states are(h1(n), . . . , hJ(n)).

Under particular assumptions,

log |X (n, f )|2 ' maxj=1...J

Ψhj (n)(f ) + ε(n, f ).

Emmanuel Vincent (QMUL) Blind Audio Source Separation 26 / 36

Page 27: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Factorial hidden Markov models (2)

Single-channel speech separation with factorial HMMs comprises 3 steps:

train one HMM per source on solo excerpts beforehand,

decode the MAP mixture states,

set log |Sj(n, f )|2 = Ψhj (n)(f ) and perform time-frequency masking.

Mixture à Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà Ãà ÃÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ ÄÄ Ä

Å Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å ÅÅ Å Å Å Å Å Å Å Å Å Å

Æ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ ÆÆ Æ Æ Æ Æ Æ Æ Æ Æ Æ Æ

Ç Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç ÇÇ Ç Ç

È È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È ÈÈ È È

É É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É ÉÉ É É É É

Ê Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê ÊÊ Ê Ê Ê

Vocals Ë Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËË Ë ËÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ ÌÌ Ì

Í Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í ÍÍ Í Í Í Í Í Í Í Í Í Í

Î Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î ÎÎ Î Î Î Î Î Î Î Î Î Î

Ï Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï ÏÏ Ï Ï

Ð Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð ÐÐ Ð Ð

Ñ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ ÑÑ Ñ Ñ Ñ Ñ

Ò Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò ÒÒ Ò Ò Ò

Music Ó Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÓ Ó ÓÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô ÔÔ Ô Ô

Õ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ ÕÕ Õ Õ Õ Õ Õ Õ Õ Õ Õ Õ

Ö Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö ÖÖ Ö Ö Ö Ö Ö Ö Ö Ö Ö Ö

× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×× × ×

Ø Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø ØØ Ø Ø

Ù Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù ÙÙ Ù Ù Ù Ù

Ú Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú ÚÚ Ú Ú Ú Ú

(from A. Ozerov)

Roweis 00, Ozerov 05, Reyes-Gomez 03

Emmanuel Vincent (QMUL) Blind Audio Source Separation 27 / 36

Page 28: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Spectral decomposition models (1)

The state space for music sources is large. This raises overlearning issues.

Music sources are better represented as a superposition of severalcomponents

|X (n, f )|2 =J

j=1

Kj∑

k=1

ejk(n)Φjk(f ) + ε(n, f ),

where (Φjk) and (ejk(n)) are the basis spectra and time-varying weightsfor source j and ε is the total residual.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 28 / 36

Page 29: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Spectral decomposition models (2)

Spectral decomposition is often used in a data-driven fashion. Spectra andweights are derived from the mixture STFT using

sparsity,

non-negativity,

various residual models.

Then the components are clustered into sources exploiting

residual dependencies between weight series,

instrument-specific features.

Finally source STFTs are recovered as |Sj(n, f )|2 =∑Kj

k=1 ejk(n)Φjk(f )and time-frequency masking is performed.

Casey 00, Virtanen 03, Smaragdis 03, Abdallah 04, Benaroya 03

Emmanuel Vincent (QMUL) Blind Audio Source Separation 29 / 36

Page 30: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Spectral decomposition models (3)

Mixture spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB

20

40

60

80

0 2 40

0.2

0.4

Basis spectra

f (KHz)

norm

aliz

ed p

ower

0 1 20

1

2

Time−varying weights

t (s)

pow

er fa

ctor

(× 1

09 )

Estimated bass drum spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB

20

40

60

80

Estimated hi hat spectrogram

t (s)

f (K

Hz)

0 1 20

2

4

dB20

40

60

80

MIDI percussionexample

Mixture Û Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÛ Û ÛÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ ÜÜ Ü

Ý Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý ÝÝ Ý Ý Ý Ý Ý Ý Ý Ý Ý Ý

Þ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ ÞÞ Þ Þ Þ Þ Þ Þ Þ Þ Þ Þ

ß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ßß ß ß

à à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à àà à à

á á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á áá á á á á

â â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â ââ â â â

NMF ã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãã ã ãä ää ää ää ää ää ää ää ää ää ää ää ää ää ää ää ä

å å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å åå å å å å å å å å å å

æ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ ææ æ æ æ æ æ æ æ æ æ æ

ç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç çç ç ç

è è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è èè è è

é é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é éé é é é é

ê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê êê ê ê ê

ë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëë ë ëì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ìì ì

í í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í íí í í í í í í í í í í

î î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î îî î î î î î î î î î î

ï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ïï ï ï

ð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ðð ð ð

ñ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ññ ñ ñ ñ ñ

ò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò òò ò ò ò ò

Music example with32 components andmanual clustering(from B. Wang)

Mixture ó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óó ó óô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ôô ô

õ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õõ õ õ õ õ õ õ õ õ õ õ

ö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö öö ö ö ö ö ö ö ö ö ö ö

÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷÷ ÷ ÷

ø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø øø ø ø

ù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ùù ù ù ù ù

ú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú úú ú ú ú

NMF û û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûû û ûü üü üü üü üü üü üü üü üü üü üü üü üü üü üü ü

ý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ýý ý ý ý ý ý ý ý ý ý ý

þ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þþ þ þ þ þ þ þ þ þ þ þ

ÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿÿ ÿ ÿ

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �� � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

Emmanuel Vincent (QMUL) Blind Audio Source Separation 30 / 36

Page 31: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Single-channel identification based on advanced models

Computational auditory scene analysis

CASA groups time-frequency zones into objects and streams these objectsinto sources using experimental rules:

proximity,

similarity,

continuity,

closure,

common fate.

Blackboard CASA methods resemble spectral decomposition except that

components are constrained (“wefts”, “transients”, “noise clouds”),

advanced timbre features (onset duration, vibrato) are exploited.

Ellis 96, Kashino 95, Kinoshita 99

Emmanuel Vincent (QMUL) Blind Audio Source Separation 31 / 36

Page 32: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Hybrid identification techniques

Hybrid identification techniques

The previous methods suffer some limitations:

algorithms exploiting spatial diversity only cannot deal withreverberation or sources with close directions,

algorithms based on fundamental frequency and spectral envelopedissimilarity cannot separate instruments from the same class.

Performance can be improved using advanced models to represent spatialand spectro-temporal cues jointly.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 32 / 36

Page 33: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Hybrid identification techniques

An example of hybrid model

CASA algorithms deal with stereo by adding a spatial proximity rule.A recent approach combines spectral decomposition, factorial HMMs andIPD models into a single probabilistic generative model for music.

Mixture power spectrum and IPDSummation of source power spectra and

IPD model using source locations

Source power spectraPower-weighted summation of note spectra

learnt on a training database

Note log-powersIndependent Gaussians

Note statesFactorial Markov chain

1

Mixture � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

ICA � � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �� � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �� � � � � � � � � � �

� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �� � �

! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !! ! ! ! !

" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "" " " " "

Spatial TF masking # # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # ## # #

$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $$ $ $

% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %% % % % % % % % % % %

& & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & && & & & & & & & & & &

' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '' ' '

( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (( ( (

) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )) ) ) ) )

* * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * ** * * * *

+ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + ++ + +

, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,, , ,

- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -- - - - - - - - - - -

. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .

/ / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / // / /

0 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0

1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1

2 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 22 2 2 2 2

Hybrid method 3 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 33 3 3

4 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 44 4 4

5 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 55 5 5 5 5 5 5 5 5 5 5

6 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 66 6 6 6 6 6 6 6 6 6 6

7 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 77 7 7

8 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 88 8 8

9 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 99 9 9 9 9

: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :: : : : :

; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;; ; ;

< < << < << < << < << < << < << < << < << < << < << < << < << < << < << < << < <

= = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = == = = = = = = = = = =

> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >> > > > > > > > > > >

? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?? ? ?

@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @@ @ @

A A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A AA A A A A

B B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B BB B B B B

Nakatani 02, Sakuraba 03, Vincent 05

Emmanuel Vincent (QMUL) Blind Audio Source Separation 33 / 36

Page 34: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Conclusion and promising approaches

Conclusion

The BASS problem remains far from being solved.

Realistic audio mixtures are better separated by DUET-like methods orhybrid models. However the quality remains insufficient for demandingapplications (hearing aids, karaoke).

Several issues account for this:

reverberation,

time-frequency overlap of the sources,

possibly source movements, similarities between source characteristicsor proximity of source directions.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 34 / 36

Page 35: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Conclusion and promising approaches

Promising approaches

Promising approaches include

special recording techniques reducing reverberation and interferences,

hybrid filtering techniques coupled with advanced source models,

advanced models of the source waveforms.

Sanchis 04, Katayama 04, Viste 02, Virtanen 03, Every 05, Blumensath 04

Emmanuel Vincent (QMUL) Blind Audio Source Separation 35 / 36

Page 36: Blind Audio Source Separation - IRISA · noises). Blind Audio Source Separation (BASS) consists in recovering one or several source signals from a given mixture signal. Direct applications

Conclusion and promising approaches

The Blind Audio Source Separation evaluation database

The database can be used to create realistic mixtures from

multitrack music recordings (acoustic pop, metal, electro. . . ),

realistic mixing filters (Ardour plugins, HRTFs, room impulseresponses, ”shoebox” room acoustics toolbox).

Insert your algorithm and its results!

BASS-dB: http://www.irisa.fr/metiss/BASS-dB/.

Emmanuel Vincent (QMUL) Blind Audio Source Separation 36 / 36