Testing for Differential Expression with Small Sample Size

Lianbo Yu

Oct. 22nd, 2015

Outline

• Three filtering methods

• False positive control

• Three moderated t‐tests

• Sample size calculation

Background: Issues with Small Sample Size

• Poor variance estimates with small sample sizes if each gene considered independently.Figure 1: Real data variance estimates

3

Background: Issues with Small Sample SizeTable 1: Real data set (22215 probe sets) gene variance distributionQuantiles of complete data (N = 187) along with average quantiles and standard deviations of data subsets (N = 6) are 

listed. Third column values are average of 10 randomly sampled subsets.

4

Cumulative number of probe sets (Quantiles)

Complete data variance estimate(N = 187)

Average small sample quantiles  (S.D.)

1 (0) 0.009448 0.00072 (0.0002)

222 (1)  0.022636 0.00667 (0.001) 

1110 (5)  0.034296 0.01530 (0.001)

2221 (10)  0.041880 0.02337 (0.002)

5554 (25)) 0.058598 0.04539(0.004)

11107 (50)  0.086134 0.09145(0.01)

16661 (75)  0.151766 0.18733(0.02)

19993 (90)  0.335921 0.40422(0.05)

21104 (95)  0.517571 0.65732(0.1)

22215 (100)  5.059393 7.19453 (0.5)

Filtering

• Three filtering methods   – Mean filtering – Variance filtering– Threshold filtering

• All three filtering methods reduce the number of hypothesis tests to be performed.

5

Mean Filtering

• Removes the genes with low mean gene signal  values

• The genes with mean signal less than a fixed cut‐off value C are filtered out.

• The cut‐off C is chosen based on background noise level.

• Removes non‐expressed genes or genes with low signal values at background noise level.

6

Mean Filtering

• Issue– Ignores the treatment effect by comparing single mean expression value to a cut‐off value.

– Differentially expressed genes with moderate expression in one group and low expression in the other group filtered out.

7

Variance Filtering

• Removes the genes with low variances across samples

• Genes are sorted in ascending order based on their sample variance estimates and the first X percent of genes are filtered out.

• The cut‐off percentage X is arbitrarily determined by the investigator.

• Removes genes at different expression levels

8

Variance Filtering• Issue 1:

– Gene‐specific variance estimates are unreliable in small sample size studies

– Non‐expressed genes with higher variances being retained for the analysis and consequently higher number of false  positives. 

– Differentially expressed genes with low variances estimates being filtered out and a lower number of true positives.

9

Variance Filtering• Issue 2:

This method use total gene variance rather than within group variance. The total variance can be divided into between group and within group variances.

where      ,  are average gene expression for group A and B, respectively and    is the pooled within group variance.

A gene with low variance implies the difference in group means was low and hence the numerator of the t‐statistic was low. By filtering out such genes we are anticipating the t‐statistic. This leads to liberal adjustments for multiple  tests.

10

+

Threshold Filtering

• Threshold Filtering Method aims to filter out only non‐expressed genes.

• For sample size up to 5 per group, genes are filtered out only if one or no samples (across groups) have a signal greater than the background cut‐off value.

• For sample size greater than 5 per group, genes are filtered out only if 20% or less samples in each group have signal values greater than the background cut‐off value. 

11

Filtering Methods Comparison Simulation Model

• Expression of 20,000 genes were simulated using Smyth’s moderated t‐test model.

• Out of 20,000 genes, 8000 were simulated as “non‐expressed” and remaining 12,000 were simulated as “expressed”. 

• A total of 300 genes were simulated as differentially expressed with absolute log difference equal to 1.5.

• Two group data (treatment and control) was simulated at three different sample sizes (3,5, and 10 samples per group)

• The simulation parameters were chosen to represent a real Affymetrix microarray data.

• Threshold, Variance and Mean Signal filtering were performed on the simulated data.

12

Filtering Methods Comparison Results

Table 2: Number of genes retained

13

Sample Size

Filtering by Variance Filtering by Mean Signal

Filtering by Threshold

6  Total number (%)  12000.00(60)

11768± 2.14(59)

11478 ± 2.08(57)

Number of DE genes out of 300 (%)

298 ± 0.13(99)

296 ± 0.19(98.5)

298 ± 0.12(99)

Number of non‐expressed genes (%)

1898 ± 3.01(24)

197 ± 1.20(2.5)

45 ± 0.62(0.56)

10  Total number (%)  12000.00(60)

11815 ± 1.78(59.1)

12017± 1.31(60.1)

Number of DE genes out of 300 (%)

299 ± 0.10(100)

297 ± 0.15(99)

299 ±0.08(100)

Number of non‐expressed genes (%)

1533 ± 2.53(19)

155 ± 1.04(1.9)

28 ± 0.52(0.35)

20   Total number (%)  12000.00(60)

11874 ± 1.48(59)

11873± 1.07(59)

Number of DE genes out of 300 (%)

299 ± 0.07(100)

298 ± 0.14(99)

299.7 ±0.05(100)

Number of non‐expressed genes (%)

1225 ± 2.42(15)

111.2 ± .82(1.4)

50.2 ± 0.69(0.62)

Filtering Methods ComparisonFalse Positives

• PFER control performance of three filtering methods

14

Filtering Methods ComparisonConclusions and Discussion

• The Threshold method performs better than other two methods on correctly filtering out non‐expressed genes

• The Threshold method and the Mean Signal method are equally good at controlling PFER while the Variance method does not control for PFER.

• Overall Threshold method performs similarly or better than other two methods in small sample size experiments

15

Detecting Differentially Expressed Genes

• Possible outcomes of testing:

• Control false positives• Maximize true positive rate (minimize false negative rate)

Accept(non‐significant)

Reject (significant)

Negative  True negative False positivePositive False negative True positive

False Positive Control

• Family‐wise error rate P(V>0): probability of having any falsepositive 

Bonferroni’s method 

• False discovery rate E(V/R): expected proportion of false positivesamong all rejected hypotheses

Storey’s method

• Per family error rate E(V): expected number of false positives among all hypotheses

Gordon’s method 

LIMMA Method

• Generalized the hierarchical model of Lonnstedt and Speed (2002) into a practical approach for general microarray experiments.

• The model borrows information across genes to smooth out variances and uses posterior variances in a classical t‐test setting.

• Completely data‐dependent and uses empirical Bayes approach to estimate hyper parameters.

18

LIMMA Method

• The sample variance for each gene, given σg2 is assumed to follow a scaled Chi‐square distribution with dg  degrees of freedom.

| ~ χ

• The unknown residual variances σg2 are allowed to vary across genes by assuming scaled inverse Chi‐square prior distribution 

1~

1χ

where d0 and s02  are the hyper parameters for the degrees of freedom and variance, respectively.

19

LIMMA Method• Under the above hierarchical model, the posterior mean of σg2 given sg

2 is

• The posterior value shrinks the observed variances towards the prior values with the degrees of shrinkage depending on the relative sizes of the observed and prior degrees of freedom.

• Degrees of freedom df = dg + d0• Moderated t‐statistic defined by

follows a t‐distribution with augmented degrees of freedom df.

20

= 

Extensions of LIMMA Method: Example  

21

Extensions of LIMMA Method: Comparison• SMT: Smyth et al. 

1~

1χ

where d0 and s02  are the hyper parameters for the degrees of freedom and variance, respectively.

• IBMT: Sartor et al. 1~

1χ

where d0 and s0g2 are the hyper parameters for the degrees of freedom and variance, respectively.

• FMT: Yu et al.1~

1χ

where d0g and s0g2  are the hyper parameters for the degrees of freedom and variance, respectively.

22

Extensions of LIMMA Method: Comparison 

• SMT: Smyth et al. – Assumes Constant mean of variance across all the genes (Ignored 

functional relationship between gene expression and variance).

• IBMT: sartor et al.– Functionally relates variance and gene expression.– Assumes constant prior degrees of freedom across all the genes.

• FMT: Yu et al.– Functionally relates variance and gene expression.– Functionally relates prior degrees of freedom and gene expression.

23

Simulation: Model Parameters

Total 20,000 genes12,000 expressed300 differentially expressed

Simulation: Power

Simulation: Estimates

Simulation: True Positives

Simulation: False Positives

Example Data: Design

• Thyroid genetic models: R1a wild type mice and R1a KO mice.

• N=4 mice per group

• Methods: t‐test, SMT, IBMT, FMT

• Per family error rate: set at 10

Example Data: Model Estimates

Example Data: Model Estimates

Example Data: Results

Example Data: Results

• Number of significant genes: FMT: 536              SMT: 533IBMT: 524             Ordinary t: 244

• Gene expression difference– FMT unique genes: 17 of 18 with moderate/high expression

– IBMT unique genes: all 6 with low expression

Example Data: IPA Results

• Function network differences– FMT unique genes’ networks are consistent with FMT 536 significant genes’ networks

– IBMT unique genes’ networks are not consistent with IBMT 524 significant genes’ networks

Sample Size and Power Calculation

Sample Size Calculation

36

References• Gordon, A., Glazko, G., Qiu, X. and Yakovlev, A. (2007). Control of the mean number 

of false discoveries, Bonferroni and stability of multiple testing. The Annals of Applied Statistics 1:179‐190.

• Smyth, G.K. (2004). Linear models and empirical Bayes methods for assessing differentially expression in microarray experiments. Statistical Applications in Genetics and Molecular Biology 3: Article 3.

• Sartor AM, Tomlinson RC, Wesselkamper CS, Sivaganesan S, Leikauf DG, MedvedovicM: Intensity‐based hierarchical Bayes method improves testing for differentially expressed genes in microarray experiments. BMC Bioinformatics 2006, 7:358 

• Yu, L., Gulati, P., Fernandez, S., Pennell, M., Kirschner, L. and Jarjoura, D. (2011) Fully moderated t‐statistic for small sample size gene expression arrays. Statistical Applications in Genetics and Molecular Biology 10:article42.