応用数学III...応用数学 III：(4)多次元確率分布 11 正規分布...

1応用数学 III：(4)多次元確率分布

応用数学III (4)多次元確率分布

木村真一


講義のスケジュール

(1) 確率の基礎(2) 確率変数と確率分布(3) いろいろな確率分布(4) 多次元確率分布(5) 大数の法則と中心極限定理

(6) 確率過程の基礎１(7) 確率過程の基礎２

(8) フーリエ解析(9) フーリエ変換の性質(10) 相関解析(11) 群・環・体の定義(12) 準同型写像(13) Nを法とする合同式(14) 線形代数


参考書１


参考書２


参考書３


前回の復習：確率分布

• 一様分布

• 二項分布

• ポアソン分布

• 指数分布

f x( ) = P X = x( ) =n!

n ! x( )!x!"x1!"( )

n! x,X ! B n;"( )

f x( ) = P X = x( ) =!x

x!e"!,X ! Po !( )

f x( ) =1

b ! a,X !U a,b( )

f x( ) = ! " e

#!x,X ! Ex !( )


xf x( )! =n!

n " x( )!x!x #

x=0

n

! $x1"$( )

n" x

=n!

n " x( )! x "1( )!x=1

n

! $x1"$( )

n" x

= $n!

n " x( )! x "1( )!x=1

n

! $x"1( )

1"$( )n" x

訂正：二項分布の平均

x-1=kで変数変換

= !n!

n " k "1( )!k!k=0

n"1

# !k1"!( )

n" k"1

m=n-1で変数変換

= !m +1( )!

m " k( )!k!k=0

m

# !k1"!( )

m" k

= ! m +1( )m!

m " k( )!k!k=0

m

# !k1"!( )

m" k

= n! ! + 1"!( ){ }m

= n!


訂正：二項分布の分散１

x2f x( )!

=n!

n " x( )!x!x2#

x=0

n

! $x1"$( )

n" x

= $n!

n " x( )! x "1( )!x #

x=1

n

! $x"11"$( )

n" x

x-1=k、 m=n-1で変数変換

= ! m +1( )m!

m " k( )!k!k "1( ) #

k=0

m

$ ! k1"!( )

m" k

= n!m!

m " k( )!k!k "1( ) #

k=0

m

$ ! k1"!( )

m" k

= n!m!

m " k( )!k!k #

k=1

n

$ ! k1"!( )

m" k+

m!

m " k( )!k!#

k=1

n

$ ! k1"!( )

m" k%&'

()*


訂正：二項分布の分散２

= n!m!

m " k( )!k!k #

k=1

m

$ !k1"!( )

m" k+ n!

= n! #m!m "1( )!

m " k( )! k "1( )!#

k=1

m

$ !k"11"!( )

m" k+ n!

x ! x( )2

f x( )" = n# n !1( )# + n# ! x2

= n2#2! n#

2+ n# ! n

2#2

= n# 1!#( )

= n!m! + n!

= n! n "1( )! + n! = n2!2" n!

2+ n!

再びk-1=i、 j=m-1で変数変換

= n! "m!j!

j # i( )!i!i=0

j

$ !i1#!( )

j# i+ n!

= n! "m! " ! +1#!( )j+ n!


指数分布の平均と分散

• 指数関数の平均と分散を計算してみてください。

• 平均

• 分散

• 応用例としては、災害が起こる時間間隔、機械が突発的な理由で故障する時間間隔などがあります。

1

!

1

!2


正規分布

• 小生の主義に大変反するのですが、ここから先は説明が天下りになります。（理由があります。）

• 次のような関数を考えます。

• 特徴としては‒ -∞から∞まで広がっているけど、ほとんどは平均値付近に集まっている（3σ内に99.73%）

‒ 平均値に対して左右対称など観測を行ったときのデータのばらつきによく似た性質を持っています。

• この分布を正規分布といいます。

f x( ) =1

2!"2e#x#µ( )2

2"2

,X ! N µ," 2( )


正規分布（つづき）

• 平均と分散はどのようになるでしょう。

• 平均はμになります。

• 分散はσ2になります。

• 実はこの正規分布、ある範囲を設定したときの確率も解析的には計算できません！！！

• ですので、数表か計算機による計算で代用します。


正規分布


多次元確率変数

• これまでは確率変数は1次元でした。• 複数の変数を同時に取り扱いたい事がよくあります。‒ 例えば身長と体重の分布、先の袋から玉を取り出すくじで玉の色と玉に描かれた数字等々

• そこで確率変数を組み合わせてベクトルとして扱います。

• これを同時確率分布といます。• 分布関数は次のように表されます。

X = X1,X

2,....X

n( )t

P X ! x( ) = P X1! x

1,....X

n! x

n( )

= .....

!"

xn

# f x1,..., xn( )dx1....dxn

!"

x1

#


同時確率分布と同時確率密度分布

• 分かりやすい例として2次元を考えましょう。• 下の図のようにXとY二つの確率変数があるとすると、同時確率分布関数と同時確率密度分布関数は次のように定義されます。

• 同時確率密度関数

• 同時確率分布関数

P x ! X ! x + "x, y ! Y ! y + "y( )

= f #x , #y( )y

y+"y

$x

x+"x

$ d #y d #x

F x, y( ) = P X ! x,Y ! y( )

= f "x , "y( )#$

y

%#$

x

% d "y d "x


同時確率分布


周辺分布関数

• これに対し、多次元確率分布変数の１つの分布だけに着目した分布関数のことを、周辺分布関数といいます。

• 次のように定義されます。

f1x( ) = ..... f x

1,....., xn( )

!"

"

#!"

"

# dx2....dxn


演習問題１

• 2次元確率密度関数f(x,y)が、ある矩形領域(x1≦X ≦x2,y1 ≦Y ≦y2)で一定値をとるとき、この分布は2次元一様分布といわれる。このときの一定値を求めよ。


演習問題２

• ある地点での気温と湿度を時刻を変えて同時に計測する場合、2次元同時確率分布、及びその周辺分布はどのようにしたら計測できるか。


多次元確率変数の期待値

• 多次元確率変数においても期待値は同様に定義されます。但し結果はベクトルです。

• 平均値も平均ベクトルとして定義されます。

• 以下のように、各要素は周辺確率分布の平均値と同じになります。

E g X( )!" #$ = g x( ) f x( )dx%E g X( )!" #$ = E g

1x( )!" #$,.....,E gn x( )!" #$( )

!µ = µ

1,.....,µ

n( ) = E X[ ] = E X1[ ],.....,E X

n[ ]( )

E X1[ ] = x

1f x( )dx! = x

1! .....! f x( )dxn ....dx1!

= x1! f x

1( )dx1


共分散

• 次に多次元確率変数の分散を求めてみましょう。理屈は１次元と同じです。

• ただ、ここで単に偏差の自乗だけでなく、偏差を他の要素と組み合わせると、変数の間の関係がわかってきて便利です。

• そこで次のような量を共分散として定義します。

• このような共分散をまとめて共分散行列として取り扱います。半正定値対角行列

!i

2 = V Xi[ ] = E X

i" µ

i( )2#

$%&

! ij = Cov Xi ,Xj"# $% = E Xi & µi( ) Xj & µ j( )"

#$%

! = V X[ ] =

"11! "

1n

" # "

"n1! "

nn

#

$

%%

&

'

((


相関係数

• 共分散の他に確率変数の間の関係を表す指標として相関係数があります。

• 標準化した変数の共分散です。• 相関係数が0の時、二つの確率変数の間に相関はありません。• 相関係数が1の時、二つの変数の間に線形性が成り立ちます。

!ij = Corr Xi ,Xj"# $% =

Cov Xi ,Xj"# $%

V Xi[ ]V Xj"# $%


演習問題３

• 1,1,2,3と書かれた4枚のカードから2枚抜き出して並べるとき、はじめのカードの数をX、2番目のカードの数をYとする。‒ X,Yの同時分布を求め、その周辺分布を求めよ。‒ X,Yそれぞれの平均、及び分散を求めよ。‒ X,Yの共分散を求めよ。


確率変数の独立性

• 複数の事象が独立であるとき、ある事象の組み合わせの確率は、それぞれの事象の積になりました。

• 事象をもとにした確率では独立性を以下の様に表しました。

• これを連続型の確率変数に応用します。確率変数が以下の条件を満たすとき、独立であるといいます。

P A ! B( ) = P A( )P B( )

P X1,....,X

n( ) = x1...., x

n( )( ) = P X1= x

1( ) ! ..... !P Xn= x

n( )

f x1,...., xn( ) = f

1x1( ) ! ..... ! fn xn( )

F x1,...., x

n( ) = F1 x1( ) ! ..... !Fn xn( )


確率変数の独立性

• 表現を変えれば、同時確率分布が周辺確率分布の積で表されるとき、各確率変数は独立であるといえます。

• 特に独立が確率変数X1,....Xnが同一の確率分布F(x)に従っているとき確率変数X1,....Xnは、独立同一分布に従うといいます。


確率変数の独立性と期待値

• 確率変数が独立であるならば次の関係が成り立ちます。

• 例としてn=2の時を示します。

• また、独立であるならば二つの確率変数は無相関です。

E X1! .... ! X

n[ ] = E X1[ ] ! ..... !E X

n[ ]

E X1! X

2[ ] = x1x2f x

1, x

2( )dx1dx2!! = x1x2f1x1( ) f2 x

2( )dx1dx2!!

= x1f1x1( )dx1! " x

2f2x2( )dx2! = E X

1[ ] !E X2[ ]

Cov X,Y[ ] = E X ! µX( ) " Y ! µ

Y( )#$ %& = E X ! µX( )"# $% &E Y ! µ

Y( )"# $%

= 0


確率変数の和の平均（例題）

• 確率変数の和の平均はどのようになりますか。• 今までの例を参考に考えてみてください。

• おっとこれは簡単、各平均の和です。

= x1+ x

2( ) f x( )dx1dx

2!!E X1+ X

2[ ]

= x1f x( )dx

1dx

2!! + x2f x( )dx

1dx

2!!

= E X1[ ] + E X

2[ ]


確率変数の和の分散（例題）

• それでは分散は？

• 単純に各分散の和にはならず共分散が入り込みます。• ですから、それぞれ独立ならば、各分散の和になります。

V X1+ X

2[ ] = E X1+ X

2( ) ! µ1+ µ

2( )( )2"

#$%

= E X1! µ

1( ) + X2! µ

2( )( )2"

#$%

= E X1! µ

1( )2

+ 2 X1! µ

1( ) " X2 ! µ2( ) + X

2! µ

2( )2#

$%&

= E X1! µ

1( )2"

#$%+ E X

2! µ

2( )2"

#$%+ 2E X

1! µ

1( ) & X2 ! µ2( )"# $%

= V X1[ ] +V X

2[ ] + 2Cov X1,X

2[ ]


条件付き確率変数

• 周辺確率分布を用いると、事象をもとにした確率で議論した条件付き確率を、確率変数に拡張できます。

• 事象をもとにした確率では条件付き確率は次のように表されました。

• 確率変数では以下のように表します。

P B A( ) =P A ! B( )

P A( )

fY X

y x( ) =f x, y( )

fX x( )


チェビシェフの不等式

• 確率変数Xの平均値がμ、分散がσであるとき、任意のε>0について、次の不等式が成り立ちます

• 分散σが小さいほど平均付近に集中している

P X ! µ " #( ) $%2

#2


コーシー・シュバルツの不等式

• 確率変数XとYがあるとき、分散と共分散の間には次の不等式が成り立ちます。

• 相関係数は　　　　　　　でしたから、絶対値は必ず1以下です。

Cov X,Y[ ]2!V X[ ] "V Y[ ]

! =Cov X,Y[ ]

V X[ ]V Y[ ]


まとめ

• 正規分布

• 同時確率分布• 周辺分布関数• 共分散• 相関係数• 確率変数の独立性• 条件付確率変数• チェビシェフの不等式• コーシー・シュバルツの不等式

応用数学III...応用数学 III：(4)多次元確率分布 11 正規分布...

Documents

Transcript of 応用数学III...応用数学 III：(4)多次元確率分布 11 正規分布...