LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise...
Transcript of LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise...
![Page 1: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/1.jpg)
LECTURE 16:
BEYOND LINEARITY PT. 2November 8, 2017SDS 293: Machine Learning
![Page 2: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/2.jpg)
Outline
• Moving beyond linearityüPolynomial regressionüStep functions- Splines- Local regression-Generalized additive models (GAMs)
• Lab
![Page 3: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/3.jpg)
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Degree−4 Polynomial
20 30 40 50 60 70 80
0.0
00
.05
0.1
00
.15
0.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Degree−4 PolynomialRecap: polynomial regression
Big idea:extend the linear model by adding
extra predictors that are powers of X
![Page 4: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/4.jpg)
20 30 40 50 60 70 80
50
100
150
200
250
300
Age
Wage
Degree−4 Polynomial
20 30 40 50 60 70 80
0.0
00.0
50.1
00.1
50.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
20 30 40 50 60 70 80
50
100
150
200
250
300
Age
Wage
Piecewise Constant
Recap: step functions
Big idea:break X into pieces, fit a separate model on each piece, and glue them together
![Page 5: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/5.jpg)
Discussion
• Question: what do these approaches have in common?
• Answer: they both apply some set of transformations to the predictors. These transformations are known more generally as basis functions:
- Polynomial regression: 𝑏" 𝑥$ = 𝑥$"
- Step functions: 𝑏" 𝑥$ = 𝐼 𝑐" ≤ 𝑥$ < 𝑐"*+Lots of other functions we
could try as well!
![Page 6: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/6.jpg)
may take different valuesin different parts of X
Piecewise polynomials
• What if we combine polynomials and step functions?
• Ex:
Points wherecoefficients change
= “knots”
𝑦$ = 𝛽. + 𝛽+𝑥$ + 𝛽0𝑥$0 + 𝛽1𝑥$1 + 𝜀$
𝑦$ = 3𝛽.+ + 𝛽++𝑥$ + 𝛽0+𝑥$0 + 𝛽1+𝑥$1 + 𝜀$if𝑥$ < 𝑐𝛽.0 + 𝛽+0𝑥$ + 𝛽00𝑥$0 + 𝛽10𝑥$1 + 𝜀$if𝑥$ ≥ 𝑐
![Page 7: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/7.jpg)
Discontinuous at knots
Ex: Wage data subset
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Continuous Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Cubic Spline
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Linear Spline
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Piecewise Cubic
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Continuous Piecewise Cubic
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Cubic Spline
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Linear Spline
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Piecewise Cubic
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Continuous Piecewise Cubic
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Cubic Spline
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
Linear Spline
Problem?
![Page 8: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/8.jpg)
Still looks a bitunnatural
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Continuous Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Cubic Spline
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Linear Spline
One way to fix it: require continuity
![Page 9: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/9.jpg)
Degrees of freedom vs. constraints
• In our piecewise cubic function with one knot, we had 8 degrees of freedom:
• We can add constraints to remove degrees of freedom:1. Function must be continuous2. Function must have continuous 1st derivative (slope)3. Function must have continuous 2nd derivative (curvature)
𝑦$ = 3𝛽.+ + 𝛽++𝑥$ + 𝛽0+𝑥$0 + 𝛽1+𝑥$1 + 𝜀$if𝑥$ < 𝑐𝛽.0 + 𝛽+0𝑥$ + 𝛽00𝑥$0 + 𝛽10𝑥$1 + 𝜀$if𝑥$ ≥ 𝑐
![Page 10: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/10.jpg)
Nice andsmooth
Better way: constrain function & derivatives
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Continuous Piecewise Cubic
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Cubic Spline
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
Linear Spline
“Spline”
![Page 11: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/11.jpg)
Regression splines
• Question: how do we we fit a piecewise degree-dpolynomial while requiring that it (and possibly its first d−1derivatives) be continuous?
• Answer: use the basis model we talked about previously
![Page 12: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/12.jpg)
just need to choose appropriate basis functions
Fitting regression splines
• Let’s say we want a cubic spline* with K knots:
• One common approach is to start with a standard basis for a cubic polynomial (x, x2, x3) and then add one truncated power basis function per knot ξ:
*Cubic splines are popular because most human eyes cannot detect the discontinuity at the knots
𝑦$ = 𝛽. + 𝛽+𝑏+ 𝑥$ + 𝛽0𝑏0 𝑥$ + ⋯+ 𝛽9*1𝑏9*1 𝑥$ + 𝜀$
ℎ 𝑥, 𝜉 = = 𝑥 − 𝜉1if𝑥 > 𝜉
0otherwise
![Page 13: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/13.jpg)
Ex: Wage data, 3 knots
20 30 40 50 60 70
50
100
150
200
250
Age
Wage
![Page 14: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/14.jpg)
High variancein the outer range
Ex: Wage data, 3 knots, cubic spline
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
![Page 15: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/15.jpg)
“Boundary constraint” =function must be linear
in the outer range
Ex: Wage data, 3 knots, natural spline
20 30 40 50 60 70
50
10
01
50
20
02
50
Age
Wa
ge
![Page 16: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/16.jpg)
Regression splines• Question: how do we figure out how many knots to use,
and where to put them?
• Answer: the methods we used to determine the best number of predictors can help us figure out how many knots to use. For placement, we have several options:- Place them uniformly across the domain- Put more knots in places where the data varies a lot- Place them at percentiles of interest (e.g. 25th, 50th, and 75th)
![Page 17: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/17.jpg)
Ex: Wage data, 3 knots at 25th, 50th, & 75th
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Natural Cubic Spline
20 30 40 50 60 70 80
0.0
00
.05
0.1
00
.15
0.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
![Page 18: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/18.jpg)
Comparison with polynomial regression
• Question: how would you expect this to compare to polynomial regression?
• Answer: regression splines often give better results than polynomial regression because they can add flexibility in places where it is needed by adding more knots, without having to add more predictors
![Page 19: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/19.jpg)
Ex: Wage data, polynomial vs. spline
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Natural Cubic SplinePolynomial
![Page 20: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/20.jpg)
Discussion
• Regression splines: specify knots, find good basis functions, and use least squares to estimate coefficients
• Goal: find a function g(x) that fits the data well, i.e.
𝑅𝑆𝑆 =J 𝑦$ − 𝑔 𝑥$0
L
$M+
is small• Question: what’s a trivial way to minimize RSS?
• Answer: interpolate over all the data (overfit to the max!)
![Page 21: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/21.jpg)
“make sure you fit the data”
“make sure you’re smooth”
Smoothing splines
• Goal: find a g that makes RSS small but that is also smooth• Dust off your calculus* and we can find g that minimizes:
𝑅𝑆𝑆 =J 𝑦$ − 𝑔 𝑥$0 + 𝜆O𝑔PP 𝑡 0𝑑𝑡
�
�
L
$M+
• Fun fact: this is minimized by a shrunken version of the natural cubic spline with knots at each training observation
*The second derivative of a function is a measure of its roughness: it is large in absolute value if g(t) is very wiggly near t, and close to zero otherwise
![Page 22: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/22.jpg)
Whoa… knots at every training point?
• Question: shouldn’t this give us way too much flexibility?
• Answer: the key is in the shrinkage parameter λ, which influences our effective degrees of freedom
![Page 23: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/23.jpg)
Ex: Wage data, smoothing splines w/ different λ
20 30 40 50 60 70 80
05
01
00
20
03
00
Age
Wa
ge
Smoothing Spline
16 Degrees of Freedom6.8 Degrees of Freedom (LOOCV)
![Page 24: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/24.jpg)
Recap
• So far: flexibly predict Y on the basis of one predictor X
= extensions of simple linear regression
• Question: what seems like the next logical step?
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Degree−4 Polynomial
20 30 40 50 60 70 80
0.0
00
.05
0.1
00
.15
0.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Degree−4 Polynomial
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Degree−4 Polynomial
20 30 40 50 60 70 80
0.0
00
.05
0.1
00
.15
0.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
20 30 40 50 60 70 80
50
100
150
200
250
300
Age
Wage
Piecewise Constant
20 30 40 50 60 70 80
50
10
01
50
20
02
50
30
0
Age
Wa
ge
Natural Cubic Spline
20 30 40 50 60 70 80
0.0
00
.05
0.1
00
.15
0.2
0
Age
| | || | ||| | ||| | | ||| | || | | |||
|
|| || ||| | | | || || || | || |
|
|| | | |
|
| || || || | | || | ||| || ||| | | |
|
| || | ||| || | || |||| || || ||| || || ||| |||| || | | | ||
|
|| || ||| ||| || || ||| || ||| | || ||| |||| ||| || | | | ||| || |||| |||| || || | ||||| | || || || | ||| | || ||| || | || ||
|
||| | || | || || | || | ||| || || | || ||| |
|
| | |||| ||| | || | |||| ||| || || ||| | | || || |||||| || | || || | || || | | || || || | || ||| || | || || ||||| ||||| || || || || | |||| || || ||| | || || || |
|
| |||| ||| || || || ||| | | ||
|
|| |
|
| || || || ||| || || | || || || | || ||| || | ||| || | || || || | |||| || | |||| | |||| || | | | ||||
|
| || || || || || |
|
| |||| || || |||| | || || || ||| | || |||| || |
|
| | |||| || || || |
|
|| |||| ||| ||
|
||| || |||| | || || | | |||
|
||| || | || | || | || || ||||| | | ||| |
|
| | || || ||| ||| | || |
|
|| | || || | |||| || | || || | ||| || || || || |||| || | ||||| | | |||| | || ||| || ||| |
|
| ||| | || || | | || |
|
| | | ||| |||| || || | | || || | |||| | | | ||| | || | |||| ||| | |
|
|| ||||| ||| | | || || || || || || || |
|
| || || || | ||| || || | || || |||| |||| |
|
| || || ||| || | | ||| || || | ||| ||| || || |
|
||| || || || || || | | ||| | || ||| || || | |||| || | |
|
|| || ||||| || | || || ||| | ||| | || ||| ||||| || ||||| ||| | ||| ||| | || || || ||| || || | | || |
|
| || |||| ||| | |||
|
| | | | || | ||| | | || | |||| || ||| || | ||| || | ||| ||
|
|| || |||| | ||| | || | | ||| |||| || ||| || || || | | || | || | || || || || | | || || | |
|
|| ||| ||||| ||| ||| || ||||| || || | ||| || | | || | ||| | | ||| || || || || | ||| ||| || || |||
|
| || || ||| | | ||| | |||| | || || ||||
|
| | || | || | || | |||
|
| || || ||| | | ||| ||| | || ||| || || ||| | |||| | ||| | ||| | || | || | || | | || || || || || |||| || | | || | | | |||| || | ||| | || ||| || || ||| ||
|
||| ||| | || || || | | || | || || || || || || | || || | || || |
|
| || ||| || |
| |
| ||| | || || |
|
| |||| ||| | |||| ||
|
| ||| ||| ||| |||| |
|
| || || || || ||| | | | || || | ||| || | || | || | |||| | ||| ||| ||
|
| | ||||| ||| | | || || | | |||| | |||| ||| ||| | || | || || || | || | || || ||| | || ||| | || || ||| | | | |||| | || | | ||| ||| |||| | | ||| | |||| | || | || || | ||
|
| || ||||| || ||| ||| || | | ||||| || |||| || | | ||| | || || || ||| |||| |||| | | || || || | ||| | || || || | | || || || |||| || ||| || ||| || |
|
| || || |||| || | ||| | ||| || | || |||| |||| ||| | | | || ||| | || | | ||
|
|| |||| ||| ||| || | | |||| ||| |||| || |||| || || ||| |||| | ||| | |
|
|| | || || || | ||| | || ||| || ||| | || || ||| | || || || | || ||| | || || |||| || || | || ||| ||
|
|| || | || || || | || | ||| | ||| || | || || ||| || ||| ||| || | || || | | || || || ||| || || || | ||| || | |||
|
|| | |
|
||| | | | || ||| || | ||||| | | || || || | | || || || | | || ||| | |||| |
|
||||| | | | || || | | ||| || | | || | || | ||| || |||| | ||| | || || ||||| | || ||| ||| | || || || || || ||| | ||||| || || ||| ||| || | | || || || ||
|
| || | | || | || || | || || || | |||| | | | ||| | | ||
|
| | || ||
|
|| | | ||| || ||| || || | || || || || | | || ||| || ||| || || || ||| | ||| || ||| || ||| | ||| | | | || || | ||| ||| || | ||
|
|||| |
|
|| | |||| ||| | || || ||| || ||| | |||| || |
|
|| ||| ||| | ||| | || | | | ||| || | || || ||| | | | ||| || || ||| || | ||| | || |||| | |||| | ||| || || || || || | ||| || || | | ||| || || |||| ||| || | || ||| || | ||| |
|
| || | |||
|
| | || || | ||| || |
|
| | ||| || || || | | || | ||| | | ||| || | | || | | || ||||| || || |||| | ||| | | || || | | || | | |
|
|| || |||| | || |||| |
||
| | | ||||| |||
|
|| |||| | |||| || |
|
| | || ||||| ||||| | || || || | || ||| ||| | || ||| || ||| || | || || ||| || | | | || || ||| | || || | || || |
|
| || ||
|
|| || ||| || | | | || |||| || |||| ||| || |||| || || | ||| | |||
|
|| ||| | |
| |
|| || | ||| || ||| | | |||| | ||| | |||| || ||| || || | ||| | ||| | |||| || | || |||| | ||||| ||| | | ||| | ||| || ||| || | ||| || ||| | ||| || | ||| | | || || || || | ||| || || || |||| ||| | ||| || || |||| || |||
|
| |||
|
| ||
|
| |
|
|
|
| | | || || |||
|
|||| ||
|
|| || || || || || | | ||||| | ||| || | ||| ||| || ||| || | | || || | || | || ||| |||| || || ||| |||| ||| ||| ||| | | || |
|
| ||| || || || ||| ||| | ||| | || || ||| || || ||| ||
|
| ||| | || | || || |||| || ||| || | | ||| || | || ||| || || | || ||
|
| | ||| || | | | ||
|
| | || | | ||| | || | || | ||| || || ||| | | || |
|
|| ||| || || | || || |||| || || || | || || | || ||| | || ||| | || ||| || || | | || || ||| || || || ||| |||| |
Pr(Wage>
250|Age)
![Page 25: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/25.jpg)
Generalized additive models (GAMs)
• Big idea: extend these methods to multiple predictors and non-linear functions of those predictors just like we did in with linear models before
• Multiple linear regression:𝑦 = 𝛽. + 𝛽+𝑥+ + 𝛽0𝑥0 + ⋯+ 𝛽T𝑥T + 𝜀
• GAM:𝑦 = 𝛽. + 𝑓+ 𝑥+ + 𝑓0 𝑥0 + ⋯+ 𝑓T 𝑥T + 𝜀
polynomials, step functions, splines…
![Page 26: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/26.jpg)
Ex: Wage data, GAM with splines
2003 2005 2007 2009
−30
−20
−10
010
20
30
20 30 40 50 60 70 80
−50
−40
−30
−20
−10
010
20
−30
−20
−10
010
20
30
40
<HS HS <Coll Coll >Coll
f1(year)
f2(age)
f3(education)
year ageeducation
![Page 27: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/27.jpg)
Pros and Cons of GAMs
Good stuff
• Non-linear functions are potentially more accurate
• Adds local flexibility w/o incurring a global penalty
• Because model is still additive, can still see the effect of each Xj on Y
Bad stuff
• Just like in multiple regression, have to add interaction terms manually*
*In the next chapter, we’ll talk about fully general models that can (finally!) deal with this
![Page 28: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/28.jpg)
Lab: Splines and GAMs
• To do today’s lab in R: spline, gam• To do (the first half of) today’s lab in python: patsy
• Instructions and code:[course website]/labs/lab13-r.html
[course website]/labs/lab13-py.html
• Full version can be found beginning on p. 293 of ISLR
![Page 29: LECTURE 16: BEYOND LINEARITY PT. 2jcrouser/SDS293/lectures/17-beyond-linearity-pt2.pdfPiecewise Cubic 20 30 40 50 60 70 50 100 150 200 250 Age Wage Continuous Piecewise Cubic 20 30](https://reader033.fdocuments.in/reader033/viewer/2022050212/5f5eafce8024a1354938a814/html5/thumbnails/29.jpg)
Up Next
• FP1 due tonight by 11:59pm
• A7 out tonight, due Thursday by 11:59pm
• Next week: tree-based methods