Linear Systems

Ho Kyung Kimhokyung@pusan.ac.kr

Pusan National University

Medical Imaging Detectors

2

0.16 μR (45 photons/mm2)

16 μR (4500 photons/mm2) 24 μR (6720 photons/mm2)

1.6 μR (450 photons/mm2)

Dirac  function

Quantum image as the sample distribution

• 𝑞 𝐫 ∑ 𝛿 𝐫 𝐫

Dirac 𝜹 function

• Generalized function, not a "well‐behaved" function

• 𝛿 𝑥 𝑥0 for 𝑥 𝑥undefined for 𝑥 𝑥

• 𝛿 𝑥 𝑥 d𝑥 1 w/ a dimension of the inverse of the argument [𝑥 ]

• Shifting property 𝑓 𝑥 𝛿 𝑥 𝑥 d𝑥 𝑓 𝑥 if 𝑎 𝑥 𝑏0 otherwise

‒ 𝑓 𝑥 𝛿 𝑥 𝑥 d𝑥 𝑓 𝑥 𝛿 𝑥 𝑥 d𝑥 𝑓 𝑥 𝑓 𝑥 |

‒ Sampling or evaluating a function at a specified position 𝑥 𝑥

• 𝑓 𝑥 𝛿 𝑥 𝑥 𝑓 𝑥 𝛿 𝑥 𝑥 𝑓 𝑥‒ Multiplication w/ the 𝛿 function does not result in the sample value alone

‒ But, it results in a 𝛿 function scaled by the sample value 𝑓 𝑥

3

4

0.16 μR (45 photons/mm2)

16 μR (4500 photons/mm2) 24 μR (6720 photons/mm2)

1.6 μR (450 photons/mm2)

Distribution theory

Quantum image (image consisting of a distribution of quanta) must be interpreted using distribution theory

• Measured only thru the use of a sampling function 𝜙 𝑥‒ Describe the measurement process

• Sometimes called an aperture function

‒ Describe the sensitivity profile of a detector

• e.g. Consider a signal 𝑑 (proportional to the number of interacting quanta) when measuring 1‐D quantum image 𝑞 𝑥) w/ a detector of width 𝑎

• 𝑑 𝑘 𝑞 𝑥 d𝑥/

/ 𝑘 𝑞 𝑥 ∏ d𝑥

‒ 𝑘 = a constant relating the number of interacting quanta to the detector output signal

‒ Sampling function 𝜙 𝑥 ∏

5

Signal transfer

Contrast

• Relative brightness difference b/w two locations

• 𝐶𝐫 𝐫

𝐫 𝐫where 𝑗 in, out

• Large‐area contrast‐transfer factor T

• Contrast transfer is related to the spatial resolution of a system

‒ A blurring system transfers the small‐area contrast poorly!

6

Noise transfer

Contrast transfer says nothing about the transfer of image noise

Noise transfer affects the output image quality severely

Define a noise‐transfer factor?

• T ???

‒ 𝜎 E ∆𝑑 E 𝑑 E 𝑑

• Ergodic when ensemble average = spatial average

7

8

The same unity noise varianceCorrelation over only a very short distance Correlation over only a greater distance

Linear systems

Linearity

• System transfer characteristic 𝑆• Superposition 𝑆 ℎ 𝑥 ℎ 𝑥 𝑆 ℎ 𝑥 𝑆 ℎ 𝑥• Proportionality 𝑆 𝑎ℎ 𝑥 𝑎𝑆 ℎ 𝑥

Impulse‐response function, IRF

• irf 𝑥, 𝑥 𝑆 𝛿 𝑥 𝑥• 𝑆 𝛿 𝑥 𝑥 𝛿 𝑥 𝑥 irf 𝑥, 𝑥 irf 𝑥, 𝑥• IRF = PSF (point‐spread function) for a 2‐D imaging system

9

Linear & shift‐invariant (LSI) systems

• irf 𝑥, 𝑥 irf 𝑥 𝑥• Application of the Fourier transform to describe the spatial correlations b/w image locations

Limitations of LSI systems

• Non‐linear response

‒ H&D (Hurter‐Driffield) curve of x‐ray film

‒ Linearization

• Shift‐variant response

‒ Distortion of the periphery of images from x‐ray image intensifier

‒ Restricted analysis to central regions

• Spectral effects

‒ Usually negligible

• Noise non‐stationarity

‒ Non‐uniform noise through an image

10

Convolution

• If ∆𝑥 is small (relative to the width of the IRF), each rectangle can be represented as a 𝛿 fnt. positioned at 𝑥 𝑗∆𝑥 & scaled by ℎ 𝑗∆𝑥 ∆𝑥

• 𝑆 ℎ 𝑥 ∑ ℎ 𝑗∆𝑥 irf 𝑥, 𝑗∆𝑥 ∆𝑥

• If ∆𝑥 → 0, 𝑆 ℎ 𝑥 ℎ 𝑥 irf 𝑥, 𝑥 d𝑥′‒ Called a "superposition integral"

11

Area of a rectangle = ℎ 𝑗∆𝑥 ∆𝑥

Convolution integral for a shift‐invariant IRF

• 𝑆 ℎ 𝑥 ℎ 𝑥 irf 𝑥 𝑥 d𝑥′

• 𝑆 ℎ 𝑥 ℎ 𝑥 ∗ irf 𝑥• Describe the output signal when the input ℎ 𝑥 is passed thru an LSI system

• Describe a deterministic system only

• Describe only the expectation value of a stochastic system response

System characteristic function

Response to a sinusoidal input ℎ 𝑥 𝑒

• 𝑑 𝑥 𝑆 𝑒 irf 𝑥 𝑒 d𝑥′ 𝑒 irf 𝑥 𝑒 d𝑥′ 𝑒 T 𝑢

‒ Sinusoidal input produces a sinusoidal output at the same frequency, scaled by T 𝑢‒ Characteristic function T 𝑢 ℱ irf 𝑥 (Fourier pairs)

12

Eigenfunctions

Eigenvalues

Express the output for ℎ 𝑥 having the FT 𝐻 𝑢

• 𝑑 𝑥 𝑆 ℎ 𝑥 𝑆 𝐻 𝑢 𝑒 d𝑥

• 𝑑 𝑥 𝐻 𝑢 T 𝑢 𝑒 d𝑢

Express 𝑑 𝑥 as the IFT of 𝐷 𝑢

• 𝑑 𝑥 𝐷 𝑢 𝑒 d𝑢

Then we have

• 𝐷 𝑢 𝐻 𝑢 T 𝑢

13

MTF

Consider the transfer of sinusoidal signals

• ℎ 𝑥 𝑎 𝑏𝑒

• Input modulation 𝑀

• Output signal 𝑑 𝑥 𝑆 𝑎 𝑏𝑒 𝑎𝑆 𝑒 𝑏𝑆 𝑒 𝑎T 0 𝑏T 𝑢 𝑒

• Output modulation 𝑀 𝑀

14

Modulation transfer function

• MTF 𝑢

‒ T 0 = area under the IRF (Fourier DC theorem)

Optical transfer function (OTF)

• OTF 𝑢

• Retain phase‐transfer information

LSF

Line‐spread function

• Response to a "line" delta function normalized to unity area

• One‐directional system response

• lsf 𝑥 𝑥,

,

,

,

For shift‐invariant systems

• lsf 𝑥,

,

Fourier pairs

• OTF 𝑢 ℱ lsf 𝑥

1‐D MTF evaluation

• MTF 𝑢 MTF 𝑢, 𝑣 |

15

Correlation integral

• 𝑑 𝑥 , 𝑥 𝑥 𝑓 𝑥 ℎ 𝑥 𝑥 d𝑥′

• Stationary 𝑓 𝑥 & ℎ 𝑥 in 𝑥: 𝑑 𝑥 𝑓 𝑥 ℎ 𝑥 𝑥 d𝑥′

• 𝑑 𝑥 𝑓 𝑥 ⋆ ℎ 𝑥

• 𝑓 𝑥 ⋆ ℎ 𝑥 ℎ 𝑥 ⋆ 𝑓 𝑥

• 𝑓 𝑥 ⋆ ℎ 𝑥 𝑓 𝑥 ∗ ℎ∗ 𝑥 ℎ 𝑥 ∗ 𝑓∗ 𝑥

16

Complex conjugate

Fourier Transform

Forward

• 1‐D 𝐷 𝑢 𝑑 𝑥 𝑒 d𝑥

• 2‐D 𝐷 𝑢, 𝑣 𝑑 𝑥, 𝑦 𝑒 d𝑥d𝑦

• Vector 𝐷 𝐤 𝑑 𝐫 𝑒 𝐤·𝐫d 𝐫

Inverse

• 1‐D 𝑑 𝑥 𝐷 𝑢 𝑒 d𝑢

• 2‐D 𝑑 𝑥, 𝑦 𝐷 𝑥, 𝑦 𝑒 d𝑢d𝑣

• Vector 𝑑 𝐫 𝐷 𝐤 𝑒 𝐤·𝐫d 𝐤

17

Discrete Fourier Transform

Forward for a sequence of 𝑁 values 𝑑 for 0 𝑛 𝑁 1• 𝐷 DFT 𝑑 ∑ 𝑑 𝑒 /

• Result in a sequence of 𝑁 complex values 𝐷 for 0 𝑚 𝑁 1

• Central position 𝑥 0 corresponds to 𝑛 1

Inverse

• 𝑑 DFT 𝐷 ∑ 𝐷 𝑒 /

• Central frequency 𝑢 0 corresponds to 𝑚 0

Problems

• Aliasing

• Spectral leakage & side lobes

• Truncation & windowing

• Zero‐position & phase errors

• Frequency wrap‐around

• Scaling factors & units

18

Sampling

Sampling

• Evaluation of 𝑑 𝑥 at 𝑥 𝑛𝑥 : 𝑑 𝑑 𝑛𝑥 𝑑 𝑥 | for 0 𝑛 𝑁 1

Use of the shifting property of 𝛿 functions

• 𝑑 𝑥 | 𝑑 𝑥 𝛿 𝑥 𝑥 d𝑥 𝑑 𝑥 𝛿 𝑥 𝑥 d𝑥 𝑑 𝑥

• 𝑑 𝑥 𝑑 𝑥 ∑ 𝛿 𝑥 𝑥 ∑ 𝑑 𝑛𝑥 𝛿 𝑥 𝑥 ∑ 𝑑 𝛿 𝑥 𝑥‒ 𝑑 𝑥 = a sequence of scaled 𝛿 functions; units [𝑑 𝑥 𝑥 ]

‒ 𝑑 𝑥 = "presampling" signal

• ℱ 𝑑 𝑥 𝐷 𝑢 ∗ ∑ 𝛿 𝑢

‒ Sampling frequency = 1/𝑥‒ Cutoff frequency = 1/2𝑥

19

20

AliasesAliasing

Sampling theorem

Any band‐limited function having infinite extent and no component frequencies at frequencies greater than 𝑢 𝑢 can be fully determined from an infinite set of discrete samples if sampled at a frequency greater than 𝑢 2𝑢 where 𝑢 is called the 

Nyquist sampling frequency

A rule of thumb

• 𝑢 𝑓 𝑢 𝑓 2𝑢

• 𝑓 1.2, the "Kell" factor

21

How to recover 𝑑 𝑥 from 𝑑 ; or recover 𝐷 𝑢 from ℱ 𝑑 𝑥 ?

• (No aliasing) Isolate the primary spectral component from its aliases by multiplying the rectangular function 𝑥 ∏ 𝑥 𝑢 having a value 𝑥 over  1/2𝑥 𝑢 1/2𝑥

• Recovered signal 𝑑 𝑥 𝑑 𝑥 ∗ sinc ∑ 𝑑 𝛿 𝑥′ 𝑛𝑥 sinc 𝜋 d𝑥′

• 𝑑 𝑥 ∑ 𝑑 𝛿 𝑥′ 𝑛𝑥 sinc 𝜋 d𝑥′ ∑ 𝑑 sinc 𝜋

‒ Called the "sinc interpolation" (convolution of the sample values w/ the sinc function)

22

2AL

A 2AL

k

k = 1/2L

k = 1/L

23

Stochastic Process

A random (stochastic) process gives rise to random fluctuations in a signal, represented as a random variable

Not possible to predict the future values of a RV, but possible to determine its statistical properties

Expected value

• E 𝑎 𝛼𝜆 𝛼 d𝛼‒ 𝜆 𝛼 = the probability of the RV 𝑎 having the value 𝛼

Variance

• 𝜎 E Δ𝑎 E 𝑎 E 𝑎 E 𝑎 E 𝑎

Autocorrelation

• R 𝑥 , 𝑥 𝑥 E 𝑎 𝑥 𝑎∗ 𝑥 𝑥• Correlation of 𝑎 𝑥 w/ itself at a location displaced by 𝑥

Autocovariance

• K 𝑥 , 𝑥 𝑥 E Δ𝑎 𝑥 Δ𝑎∗ 𝑥 𝑥 R 𝑥 , 𝑥 𝑥 E 𝑎 𝑥 E 𝑎∗ 𝑥 𝑥• Correlation of 𝑎 𝑥 w/ itself at a location displaced by 𝑥 about the expected values

24

WSS random process

Stationary expected value & variance (i.e. fixed values)

• E 𝑎 lim→

∑ 𝑎

• 𝜎 lim→

∑ 𝑎 E 𝑎 lim→

∑ 𝑎 ∑ 𝑎

Random processes

• Strict‐sense stationary (SSS): all statistical properties are stationary w/ 𝑥• Wide‐sense stationary (WSS): (at least) E 𝑎 & R 𝑥 , 𝑥 𝑥 are stationary

‒ R 𝑥 , 𝑥 𝑥 R 𝑥‒ K 𝑥 , 𝑥 𝑥 K 𝑥

• Fourier pairs: NPS 𝑢 ℱ K 𝑥 for WSS random process

25

ErgodicWSS random process

• Being "ergodic" means that expected values can be determined equivalently from ensembleaverages or spatial averages

• An estimate of the autocovariance is then given by the sample autocovariance:

‒ K , 𝑥 ∆𝑎 𝑥 ∆𝑎∗ 𝑥 𝑥 d𝑥′

‒ K 𝑥 lim→

K , 𝑥 ∆𝑎 𝑥 ⋆ ∆𝑎∗ 𝑥

NPS of an ergodic WSS random process

• NPS 𝑢 lim→

E ∆𝑎 𝑥 𝑒 d𝑥 lim→

E ℱ ∆𝑎 𝑥

‒ ℱ ∆𝑎 𝑥 = FT of the zero‐mean function ∆𝑎 𝑥 truncated to the region  𝑋/2 𝑥 𝑋/2

• 𝜎 E 𝑎 𝑥 𝑎∗ 𝑥 E 𝑎 𝑥 E 𝑎∗ 𝑥 E ∆𝑎 𝑥 ∆𝑎∗ 𝑥 K 𝑥 |

• 𝜎 NPS 𝑢 d𝑢

26

Ergodic WSCS random process

Strict‐sense cyclostationary (SSCS)

• Periodic stochastic processes

• Invariant statistical properties to a shift of any multiple of a period

Wide‐sense cyclostationary (WSCS)

• Only the mean & correlation are invariant in a given period

• E 𝑎 𝑥 𝑛𝑥 E 𝑎 𝑥• R 𝑥 𝑛𝑥 , 𝑥 𝑥 𝑛𝑥 R 𝑥 , 𝑥 𝑥

Sensing function

• 𝑎 𝑥 ∑ 𝑎 𝑠 𝑥 𝑛𝑥• E 𝑎 𝑥 E 𝑎 ∑ 𝑠 𝑥 𝑛𝑥

• R 𝑥 ∑ R 𝑛𝑥 𝜏 𝑥

‒ 𝜏 𝑥 𝑠 𝑥 𝑠 𝑥 𝑥 d𝑥′ 𝑠 𝑥 ⋆ 𝑠 𝑥

27

In digital imaging systems w/ a sensing function 𝑠 𝑥 ∑ 𝛿 𝑥 𝑛𝑥• Digital sampling 𝑎 𝑥 ∑ 𝑎 𝛿 𝑥 𝑛𝑥

• E 𝑎 𝑥 E 𝑎 ∑ 𝛿 𝑥 𝑛𝑥

• R 𝑥 ∑ R 𝑛𝑥 𝛿 𝑥 𝑛𝑥 R 𝑥 ∑ 𝛿 𝑥 𝑛𝑥

• K 𝑥 ∑ K 𝑛𝑥 𝛿 𝑥 𝑛𝑥 K 𝑥 ∑ 𝛿 𝑥 𝑛𝑥

‒ Units [𝑎 𝑥 𝑥 ]

NPS of an ergodic WSCS random process

• NPS 𝑢 ℱ K 𝑥 NPS 𝑢 ∗ ∑ 𝛿 𝑢

‒ Units [𝑎 𝑥 𝑥 ]

‒ Units of NPS 𝑢 [𝑎 𝑥 𝑥]

28

Rose Model

SNR for the detection of a uniform object (𝑞 , 𝐴) in a uniform background (𝑞 ) for uncorrelated Poisson‐distributed noise

• Contrast 𝐶

• Rose signal ∆𝑆 𝑞 𝑞 𝐴

• Rose SNR ∆SNR∆

𝐶 𝐴𝑞

‒ Lesion detectability ∝ object contrast 𝐶 and the square root of object area & radiation dose  𝐴𝑞

• ∆SNR ≳ 5 for reliable detection of a uniform object

Limitations

• Restricted to "signal known exactly" (SKE) & "background known exactly" (BKE) detection task

• Valid only for uncorrelated Poisson‐distributed noise

• Image noise is generally not uncorrelated noise Poisson distributed

‒ Additive system noise & statistical correlations due to x‐ray or secondary quanta scatter

29

30

NPS

2‐D NPS for ergodic WSS random process 𝑑 𝑥, 𝑦

• NPS 𝑢, 𝑣 lim, →

E ∆𝑑 𝑥, 𝑦 𝑒 d𝑥d𝑦

• NPS 𝑢, 𝑣 lim, →

E ℱ , ∆𝑑 𝑥, 𝑦 lim, →

E 𝑆∆ , , 𝑢, 𝑣

• Units [𝑑 𝑥, 𝑦 𝑥 ]

1‐D NPS

• 𝑑 𝑥 𝑑 𝑥, 𝑦 d𝑦

• NPS 𝑢 lim, →

E ∆𝑑 𝑥 𝑒 d𝑥

• NPS 𝑢 lim, →

E ∆𝑑 𝑥, 𝑦 𝑒 d𝑦 d𝑥

• NPS 𝑢 NPS 𝑢, 𝑣 |

• Units [𝑑 𝑥, 𝑦 𝑥 ]

• Autocovariance K 𝑥 lim→

K 𝑥, 𝑦 d𝑦 (central‐slice theorem)

31

Sample spectrum of ∆𝑑 𝑥, 𝑦

Zero‐frequency NPS

Fourier DC theorem

• NPS 𝑢 | K 𝑥 d𝑥 E ∆𝑎 𝑥 ∆𝑎 𝑥 𝑥 d𝑥

• NPS 0 depends on the extent to which ∆𝑎 𝑥 may be correlated

Average correlation length 𝑋

• K 𝑥 d𝑥 𝑋 K 0 𝑋 𝜎

• NPS 𝑢 | 𝑋 𝜎

• NPS 𝑢, 𝑣 | , ∬ 𝜎 d𝑥d𝑦 𝐴 𝜎

32

2‐D avg. correlation area

NPS measurements w/ an aperture (the sampling function) that is large relative to any correlation distance

• 𝑑 𝑥, 𝑦 𝑎 𝑥, 𝑦 d𝑥′d𝑦′/

//

/ 𝑎 𝑥, 𝑦 ∗ ∏ ,

• NPS 𝑢, 𝑣 NPS 𝑢, 𝑣 sinc 𝜋𝑋𝑢 sinc 𝜋𝑌𝑣• Zero‐frequency value NPS 0,0 NPS 0,0

• NPS 𝑢, 𝑣 constant NPS 0,0 for all frequencies if 𝐴 is large w.r.t. any correlation distance

• 𝜎 NPS 𝑢, 𝑣 d𝑢d𝑣

• 𝜎 NPS 0,0 sinc 𝜋𝑋𝑢 sinc 𝜋𝑌𝑢 d𝑢d𝑣 NPS 0,0

• NPS 0,0 𝐴𝜎

33

NPS of uncorrelated quanta

NPS

• NPS 𝑢, 𝑣 E 𝑞 𝑥, 𝑦 E 𝑞

Autocovariance

• K 𝑥, 𝑦 E ∆𝑞 𝑥 , 𝑦′ ∆𝑞 𝑥 𝑥, 𝑦 𝑦E ∆𝑞 𝑥, 𝑦 for 𝑥 0, 𝑦 00 for 𝑥 0, 𝑦 0

• K 𝑥, 𝑦 E 𝑞 𝛿 𝑥, 𝑦‒ No statistical correlation at any position 𝑥, 𝑦 w/ any other position 𝑥′, 𝑦′

Zero‐frequency values

• NPS 𝑢, 𝑣 | , K 𝑥, 𝑦 d𝑥d𝑦 E 𝑞 𝛿 𝑥, 𝑦 d𝑥d𝑦 E 𝑞

• 𝜎 NPS 𝑢, 𝑣 d𝑢d𝑣 E 𝑞 d𝑢d𝑣 undefined!

34

NEQ

NPS is arbitrary or specific to a particular system

Noise‐equivalent number of quanta

• To obtain an absolute scale of noise, express image noise in terms of the number of Poisson‐distributed input photons per unit area 𝑞 at each spatial frequency

• NEQ 𝑞, 𝑢

‒ Units [𝑞]‒ T 𝑢 = system characteristic function describing signal transfer from input to output

‒ T 𝑢 𝐺 MTF 𝑢

‒ 𝐺 �̅�/𝑞 = system large‐area gain factor

• NEQ 𝑞, 𝑢̅

/

Systems having a non‐linear response & exhibiting only small‐signal linearity

• NEQ 𝑞, 𝑢

35

(Squared) expected output signal

Output noise power

Physical meaning of NEQ

• Image quality on an absolute scale, independent of specific system parameters

• Number of Poisson‐distributed quanta that would produce the same SNR given an ideal detector

• Greater NEQ lower image noise

• Ideal system: NEQ 𝑞, 𝑢 𝑞

‒ No frequency dependence & the best possible NEQ for an input 𝑞

System aperture

• Fundamental measure of resolution in a noise‐limited imaging system

• 𝑎𝐤

𝟎d 𝐤

Ideal observer SNR

• Performance of the observer in detection tasks

• SNR ∆𝑆 𝑢 NEQ 𝑢 d𝑢

36

Frequency contents of an object ∆𝑠 𝑥 to be detected  

DQE

Detective quantum efficiency

• Measure of the effective fraction of incident Poisson‐distributed quanta contributing to image SNR

• Measure of system performance (while NEQ is a measure of image quality)

• DQE 𝑞, 𝑢,

Descriptive (practical) DQE

• Expressed in terms of parameters determined from measured image data

• Only applicable to a system for the Poisson‐distributed & uncorrelated input quanta

‒ e.g. x‐ray quanta in a "flat‐field" image

‒ SNR 𝑢 𝑞

• DQE 𝑞, 𝑢̅

=̅

• DQE 𝑞, 𝑢 DQE 𝑢‒ In the absence of additive system noise (e.g. electronic noise) or multiplicative noise (e.g. fixed‐pattern 

noise)

37

𝑞 𝑋 [R  (fluence per R)]

• Φ 𝐸 𝐸 d𝐸

‒ Φ 𝐸 = normalized incident x‐ray spectrum

‒ 𝐸 = fluence per unit exposure for mono‐energetic beam w/ 𝐸

‒ Mass energy absorption coefficient for air   [cm2/g]

‒ X‐ray energy 𝐸 [keV]

‒ Electronic charge 𝑒 = 1.602210‐19 C‒ W‐value of air 𝑊 = 33.97 eV

‒ Charge liberated in air by 1 R 𝑄 = 2.58010‐4 C/kg/R

38

39

Mono‐energetic beam

Spectral beam

Conceptual DQE

• SNR ‐transfer form of DQE

• DQE 𝑢

Stochastic DQE

• DQE 𝑢̅ ̅

‒ Measure of the NPS produced by a deterministic system relative to the actual NPS

‒ Stochastic nature of the imaging system causes degradation of the DQE

Predictive DQE

• DQE formalism in terms of the design parameters

• e.g. DQE 𝑢⋯

⋯ ⋯

40

Expected NPS when passed thru a deterministic system

Expected NPS when passed thru a real (stochastic) system