Developing a Rationale for Tolerance Values and Action Levels for the Performance of External Beam Planning and Delivery Systems

Jatinder R Palta PhDUniversity of FloridaGainesville, Florida

Concepts based on research in collaboration with:Hosang Jin PhDUniversity of Oklahoma Health science CenterSiyong Kim PhDMayo Clinic Jacksonville

Disclosure

• Co‐ Director of the 2011 AAPM summer school–Which gave me the prerogative of selecting the topic of talk

• I have a strong bias towards the belief that “WYSINWYG®”, in the era of conformal radiotherapy (IMRT, IGRT, ART, etc…)

® Modified from the acronym WYSIWYG, used by R Mohan during 2007 AAPM Annual Meeting

Objectives

The objective of this and the presentation to follow is to suggest simple strategies that may potentially change “WYSINWYG” to “WYSWYG”

AAPM REPORT No. 142

QUALITY ASSURANCE OF MEDICAL ACCELERATORS

Klein et. al., Med. Phys.,(36) 2009

What is a “Baseline”?

BASELINE(As defined by TG 142 Report)

“Values of equipment parameters acquired at the time of acceptance testing and commissioning.”– Periodic test Tables (Daily, Monthly, and Annual) recommend these as tolerance values for each parameter.

– Tolerance values are technique dependent (e.g. Non‐IMRT, IMRT, SRS/SBRT)

Limitations of this approach:•It does not say anything about the precision and accuracy of treatment planning and delivery

•Because precision and accuracy  is highly correlated to the complexity of planning and delivery

Criteria of acceptability: 3%; 3mm DTA

Lower pass rate highly correlated to the complexity of the treatment plan

Lung (68)Prostate (155)Brain (55)Spine (65)H&N (437)Pelvis(24)

Data from University of Florida

Patient‐Specific IMRT QA

Eleven patients are outside 4σ………..

0

100

200

300

400

500

600

0,87

0,89

0,91

0,93

0,95

0,97

0,99

1,01

1,03

1,05

1,07

1,09

1,11

1,13

Dm/Dc

Fréq

uenc

e

Number of meas. = 2679Mean = 0,995SD = 0,025

12 Centres‐ 118 patients

M. Tomsej et al. Cancer/Radiothérapie, 8, 2004

QA Outliers

RPC Credentialing:  IMRT

Target

Cord

RPC criteria  of acceptability:7% for Planning Target Volume4 mm DTA for the Organ‐at‐Risk

250 irradiations of H&N phantom28% had failed …

TLD

Anterior Posterior Profile

0

2

4

6

8

-4 -3 -2 -1 0 1 2 3 4

Distance (cm)

Dos

e (G

y)

RPC Film Institution Values

Organat Risk

AnteriorPosterior

Primary PTV

What could be the reason???

It could be delivery errorMechanical Errors?

MLC Leaf PositioningFluence and Timing?

Orchestration of MLC and Fluence

It could be dosimetry artifactsSome measurement Problem?

It could be algorithmic errorsSource Model, Penumbra, MLC Modeling

More than likely a conspiracy of effects, each with it own uncertainty…….

SMLC IMRT Fields in the static MLC IMRT consists of a number of sub‐fields 

or beam segments. The overall uncertainty in an intensity‐modulated (IM) field 

arises from a complex interplay of uncertainties associated with each sub‐field.

AAPM REPORT No. 13

PHSICAL ASPECTS OF QUALITY ASSURANCE IN RADIATION THERAPY“QA documents specify acceptable tolerance levels for individual parameters WITHOUTconsidering the cumulative effect on the uncertainty in the dose delivered to a specified volume in a patient.”– The reason is that uncertainty propagation is difficult and considered by some to be scientifically unsound because we are dealing with the combined effect of systematic (non‐random) and random uncertainties

AAPM Publication, 1984

Dosimetric Uncertainties(95% confidence level)

Combined incertainty in dose to a patient (5%)

Cumulative uncertainty in dose delivered to a tissue‐phantom

(2.5%)

Uncertainty in the treatment planning compuation of dose a 

to a patient (4.2%)

Effect on dose computation of tumor 

localization and contour delineation (2%; 5 mm accuracy) 

Computation of relative dose dose 

distribution (without heterogeneity)

(3%)

Central axis factors for beam modifiers (2%)

AAPM Report #13

Spatial Uncertainties(95% confidence level)

Spatial uncertainty from machine and patient motion (10 mm)

Displacement due to mechanical inaccuracies

(5 mm)

Positional errors due to patient or organ motion 

(8 mm)

AAPM Report #13

Isocentric accuracy (2mm)

Radiation field(2mm)

Jaw accuracy(2mm)

Radiation Isocenter(2mm)

Setup error(6mm)

Breathing motion(4mm)

Organ motion(4mm)

“Calculation of the uncertainty in the dose delivered during radiation therapy”Michael Goitein, Med. Phys. 12(5), 608‐12, 1985 

“Calculation of the uncertainty in the dose delivered during radiation therapy”Michael Goitein, Med. Phys. 12(5), 608‐12, 1985 

“There are inevitable uncertainties in the process of planning and delivering radiation therapy. They may stem from a variety of causes including patient motion, inexact placement of treatment fields: discrepancies between therapeutic situations and that in which treatment was planned;.....

However it is essential to identify their sources and assess their magnitude in order to estimate the overall accuracy of therapy and ensure that it achieves the clinically appropriate level”

Uncertainty sources in radiotherapy

IU for planning accounts for dose uncertainty inherently existing in RTP system. It is mainly due to: grid size, dose calculation algorithm, and off‐axis behavior.

SOU for delivery is caused by all spatial displacements such as the mechanical variation of treatment machine, inaccuracy of patient setup, and external/internal motion of patient.

NOU for delivery is caused by quantum statistics of any irradiator through the beam line, mainly monitor chamber. A relative SD of NOU is simply assumed to be inversely proportional to monitor unit (MU). 

Delivery stageDelivery stagePlanning stagePlanning stage

IU SOU NOU

Overall dose uncertainty

Inherent uncertainty (I(r)) Statistical uncertainty (total(r))Planning Delivery

Grid size effect (Igrid(r))

Algorithm effect (Ialgo(r))

Off‐axis effect (moa(r))

Space‐oriented Uncertainty (SOU; SOU)

Non‐space‐oriented Uncertainty (NOU; NOU)

Dose uncertainty model

)()()()( rZrIrDrD totalcalactual )()( rZrI total

Inherent dose uncertainty1. A significant dose difference exists in high‐dose gradient 

regions. This phenomenon is assumed to be mainly caused by the finite size of the calculation grid, the finite size of the detector system during treatment planning commissioning, and a possible mismatch of reference field sizes between actual measurements and mathematical calculations. 

2. A fair amount of dose discrepancy is observed near the field edge and it decreases along with the distance from the edge. This may be due mainly to an imperfection of the dose calculation algorithm itself and partly a typical normalization method used in relative dosimetry (i.e., normalization at the center). 

3. A greater dose difference is observed at the off‐axis compared to the central axis. This is assumed to be mainly attributed to inaccurate modeling of off‐axis fluence (or spectrum) and a possible variation of beam symmetry (i.e., while a field from most radiation TPSs is symmetric, an actual beam is not). 

moa

Ialgo

Igrid

Planning

Inherent dose uncertainty (IU)

Igrid + Ialgo × moa = Itotal

IU illustration for a 5 X 5 cm2 open field

rrDrI pcalpgrid )()(

Ialgo(rp) =(0.03·d(rp) + 1.9) × Dcen(rp)

moa(rp)=0.015·|rp-rpo| + 1

Planning

Planning Delivery

GantryCollimatorCouch(x, y, z, x, y, z, b)

Patient SetupInternal Organ Motion(x, y, z, x, y, z)

Machine Patient

Dcal

)(rSOU

Convolutionⓧ

SOU prediction (convolution) Delivery

PDFs

For fractions (N)

Lujan et al, Med Phys 26, 2397‐2402 1999

Delivery

Gantry [Rotation] (g)

Beam limiting devices[Translation, Rotation] (x, y, z, b)

Couch [Rotation] (c)

(Systematic , Random )

External Patient Setup[Translation & Rotation](x, y, z, x, y, z)(Systematic , Random ) 

Machine Patient

Internal Organ Motion[Translation, Rotation](x, y, z, x, y, z)(Systematic , Random )

Degrees of freedom for sources of delivery uncertainties

2

2

221

DOF

DOF

DOFDOF

rrN

)(exp)( 3 DOF’s for translation: x, y, z

4 DOF’s for rotation: x, y, z, collimator

PDF (Gaussian) for convolution (7 Degrees Of Freedom (DOF’s))

Quantified by(1) Measurements (collimator 

angle)(2) Annual QA data (collimator (x 

and y), SSD(z)) (3) Peer‐reviewed publication 

(MLC)

Quantified by(1) Measurement using Brainlab 

Exactrac (IR markers)(2) Cone‐beam CT

NOU PredictionRelative SD is inversely proportional to the dose level

)()( , rDMUMUr cal

cal

oorelNOU

SD for 15 meas. w/ ion chamber

Delivery

Meas.

Theory

Dose uncertainty of IMRT delivery(Dose accumulation history)

2NOU

2SOUtotal rrr )()()(

Itotal(r)= Igrid(r) + Ialgo(r) × moa(r)

For a subfield, s

S

sstotaloverall rIrI )()( ,

S

sstotaloverall rr 2

, )()(

For all subfields, S

Uncertainty Model Validation

All dose difference points in the test patterns were contained within the overall dose uncertainty distribution of 95.4% confidence level. 

))()(( rrI overalloverall 2

Dose difference distribution between calculation and measurement

(a) pyramid, (b) valley, (c) wedge, (d) checkerboard

Overall dose uncertainty of 95.4% confidence level 

Jin et. al.Med. Phys. 35, 2008

Verification(Dose Difference vs. Predicted Uncertainty)

Dose Differen

ce

Uncertainty

Verification(Dose Difference vs. Predicted Uncertainty)

Jin et al. Med Phys., 35(3), pp 982‐996, 2008

For 32 IM fields

Uncertainty Map

Verification(QA Failure Points versus Predicted Uncertainty)

+ QA Failure Point

+

+

++

+

+

+

+

+++

+

+

++

+

++ +

+

+

LOW UNCERTAINTY REGION

Correlating uncertainty maps to failed regions in IMRT verification

MapCHECK™ (455 diode array) Measurement setup for IMRT QA

3% (ΔD) 3 mm (Δd)

MapCHECK™Measurement

Calculation

Failedpoints

Verification(Failure Points vs. Predicted Uncertainty)

Correlating uncertainty maps to failed regions in IMRT verification

There is a strong correlation between high dose uncertainty regions and regions of high failure rate. 

Uncertainty mapDose distribution

Failed points

Verification(Failure Points vs. Predicted Uncertainty)

1% & 1mm 2% & 2mm 3% & 3mm

Tolerance Values  and Sensitivity Analysis

General assumptions:• The sensitivity analysis represents the worst case scenario for a single field, which was also the upper‐bound of overall uncertainty for an IMRT field.

• Tolerance values were set to achieve an overall dosimetric accuracy within ±5% and an overall spatial accuracy within ±5 mm. These values were applied to prescription dose level.

• Tolerance values given in the TG reports have 95% confidence level (~2σ).

• Spatial and dosimetric uncertainties involved in patient motion were excluded.

Overall Treatment Planning Uncertainty(Percentage of the prescription dose)

Computed Uncertainties (NOU and SOU)(For tolerance values given in TG142)

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100

Pla

nned

dos

e (%

)

0 10 20 30 40 50 60 70 80 90 1000

0.5

1

1.5

2

2.5

Unc

erta

inty

(%; 1

SD

)

Field size (mm)

Computed Spatial Uncertainty(computed with σ = 2.3 mm)

Overall Uncertainties(Based on tolerance values given in AAPM TG Report # 62 and 142)

SummaryEach step of the radiation therapy process has spatial and dosimetric uncertainties,  which can be quantified for each treatment protocol and possibly for each patient.Uncertainties arise in 4 stages: 1) treatment planning, 2) patient setup (including inter‐fractional motion), 3) treatment delivery system, and 4) patient intra‐fractional motion (including deformation).uncertainties from patient intrafractional motion and deformation are temporally variant and are both patient and disease‐site specific.

Summary The inability of almost one‐third of institutions to pass the IMRT benchmark experiment designed and distributed by the RPC clearly shows the need to have a complete understanding of the potential sources of dosimetric uncertainty in every step of the IMRT process and improve the accuracy of dose delivered to patients. 

A priori knowledge of potential uncertainties in the form of an uncertainty map in conjunction with the conventional dose distributions provide an opportunity to evaluate comparative plans and select one that satisfies all planning goals with the most accurate dose delivery to patients 

“Medicine is a science of uncertainty and an art of probability”. 

“He who studies medicine without books sails an uncharted sea, but he who studies medicine without patients does not go to sea at all”.“The best preparation for tomorrow is to do today's work superbly well”. 

Sir William Osler (1849‐1919)A Canadian Physician,

The Father of Modern Medicine