アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble...
Transcript of アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble...
![Page 1: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/1.jpg)
アンサンブル・カルマンフィルタ
三好 建正
(気象庁 数値予報課)
2005/11/19 THORPEX研究集会 神戸大学にて
![Page 2: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/2.jpg)
アウトライン
• 数値天気予報のしくみ• アンサンブル予報• データ同化• アンサンブル・カルマンフィルタ(EnKF)
![Page 3: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/3.jpg)
数値天気予報のしくみ
time
予報
観測
解析
観測
真の状態(未知)
解析
予報
解析
モデルシミュレーション
予報解析サイクル:過去の観測の情報を時間方向に積み重ねる。
![Page 4: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/4.jpg)
成長する誤差
真の状態(未知)
観測
観測誤差
予報
解析
解析誤差
予報誤差
予報
カオス力学系では、初期値の誤差が成長する。
→ 決定論的な予測の限界
![Page 5: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/5.jpg)
確率論的な表現
T=t0誤差を含む初期値 誤差を含む予報
P
誤差を含む観測誤差を含む解析
T=t1
問題点:
モデル自由度:~O(106)以上
誤差の形状の自由度:Gaussianを仮定しても、共分散行列はモデル自由度の2乗の自由度を持つ。
大きすぎて、陽に確率論的な表現を扱うことは不可能
![Page 6: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/6.jpg)
アンサンブルによる確率論的表現Obs.
Analysis Ens. mean
T=t0 T=t1 T=t2誤差を含む初期値 FCST Ens. mean
P
![Page 7: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/7.jpg)
アンサンブル予報の利点(1)
• 予報の(不)確実性が予測できる– 予報誤差を予測する→明日の予報はいつもより当たりやすい, etc.
T=t0 T=t1
P
T=t0 T=t1
P
当たりにくい日 当たりやすい日
![Page 8: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/8.jpg)
アンサンブル予報の利点(2)
• 決定論的予報では外れてしまう予報も、どれかのアンサンブルメンバーが表現しうる
– 決定論的予測(単一の予測)では、一つの予測しか出せない。
– 解析誤差が発展する範囲で複数の予測が可能
T=t0
決定論的予報
アンサンブル平均
現実
T=t1
![Page 9: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/9.jpg)
アンサンブルによる確率論的表現Obs.
Analysis Ens. mean
T=t0 T=t1誤差を含む初期値 FCST Ens. mean
P
解析(データ同化)のプロセス
![Page 10: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/10.jpg)
解析(データ同化)のプロセス
真の状態について、独立な情報を提供する。
二つの情報を組み合わせることで、より確からしい解析値を得る。
背景場を観測で修正する
背景場も観測も、真の状態(未知)のまわりに分布
![Page 11: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/11.jpg)
情報の組み合わせ(1次元の例)
15 20 [C]
p
この部屋の気温
A BBest estimation
22
22
22
22
BA
BAAB
BA
BBAA TTTTTσσσσ
σσσσ
++
=++
= −−
−−
二つの独立した情報から、より確からしい(誤差の小さい)推定値が得られる。
−−∝ 2
2
2)(exp)(
A
AA
TTTpσ
−−∝ 2
2
2)(exp)(
B
BB
TTTpσ
++
−−∝
−−
−−∝
•=
−−
−− 2
22
22
2
2
2
2
&
exp
2)(
2)(exp
)()()(
BA
BBAA
B
B
A
A
BABA
TTT
TTTT
TpTpTp
σσσσ
σσ
![Page 12: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/12.jpg)
多次元変数への拡張
)]()(exp[)( 121 fTffp xxBxxx −−−∝ −
)]()(exp[)( 121 oToo HHp yxRyxx −−−∝ −
)}]()()(){(exp[)()()(
1121
&
oTofTf
ofof
HHppp
yxRyxxxBxxxxx
−−+−−−∝
•=−−
変数を多次元に一般化する。
背景場の確率密度関数(PDF)
観測のPDF
合成確率
これを最大にするようなxが解析値を与える。
背景誤差共分散行列
観測誤差共分散行列
![Page 13: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/13.jpg)
誤差共分散とは?
College Park, MDで観測したとすると、その地点での背景場の値と観測値を組み合わせて、College Parkでの解析値は得られるでしょう。
その近隣では観測はありませんが、どうなるのでしょう?
誤差共分散は、College Parkでの観測情報を広げる働きをする
![Page 14: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/14.jpg)
流れに依存した誤差共分散
これでは不適切
流れに依存して、形状が歪むべき
寒冷前線がありますね。。
この場合はどうなるでしょう?
流れに依存した誤差共分散を使うことで、適切なデータ同化(解析)ができる。
![Page 15: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/15.jpg)
EnKFの原理
データ同化(解析)
アンサンブル予報
解析誤差 予報誤差
このサイクルプロセス = EnKF
流れに依存した予報誤差を使って解析し、その解析誤差を反映したアンサンブル摂動を生成する。
アンサンブル予報と解析の相補的関係
![Page 16: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/16.jpg)
EnKFの利点(1)
R
oy fx
超低次元に広がるアトラクタax
“Errors of the day”
アトラクタを考慮しない場合の解析値
アトラクタ上で解析されるので、自然とバランスの取れた解析値が得られる。
![Page 17: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/17.jpg)
EnKFの利点(2)mメンバーのアンサンブルが原則的に(m-1)次元空間を張る。
決定論的予報
+
- 輪郭を捉えようとする
解析誤差を必ずしも反映しない+,-ペア
従来の力学的束縛によるアンサンブル摂動生成(BreedingやSV法)では、+,-ペアによりアンサンブル摂動の平均がゼロとなるようにしていた。→mメンバーはm/2次元空間を張る。
解析誤差を適切に反映したアンサンブルメンバー
![Page 18: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/18.jpg)
EnKFの機動観測への応用• EnKFのアンサンブルは、そのサイクルプロセスにより、予報誤差、解析誤差を良く反映するため、機動観測への応用にも期待される。
• Liu et al. (2005)は、EnKFを使った理想的な数値実験を行い、予報アンサンブル・スプレッドにより見積もられた予報誤差標準偏差の大きい場所が、機動観測に適した地点であることを確かめた。
無人飛行機
自動ゾンデ©Vaisala
ドロップゾンデ©Vaisala
![Page 19: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/19.jpg)
サンプリングエラーの問題
限られたメンバー数 ~O(100)モデル自由度~O(106)、共分散行列の自由度~O(1012)
サンプリングエラー
(局所低次元性, Patil et al. 2000)
局所化 アトラクタの低次元性
解決法
![Page 20: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/20.jpg)
局所化による解決法
図:Lorenc (2003)より抜粋
局所化
裾でサンプリングエラーが抑えられる。
![Page 21: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/21.jpg)
いろいろなEnKFの手法
We implement and compare Serial EnSRF and LEKF
EnKF
Serial EnSRF (Whitaker and Hamill 2002)ETKF (Bishop et al. 2001)EAKF (Anderson 2001)
LEKF (Ott et al. 2002; 2004)
Effective in serial treatment of observations
Simultaneous treatment of observations
Perturbed observation (PO) method
Square root filtering (SRF) method
We do not investigate this
Serial EnSRF localizes covariance P around observation locations.
LEKF treats local patches independently.N local patches cover the entire globe.
Weighting function
Local patch
![Page 22: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/22.jpg)
LEKF with obs. localization
0.33
Lorenzの40変数モデルへの適用
Serial EnSRF
40変数のうち20を観測(観測誤差:1.0)従来の時間依存しない誤差を使った場合の解析RMSE: 1.15
0.34
Lorenz-96 model (Lorenz 1996; Lorenz and Emanuel 1998)
Cov
aria
nce
infla
tion
fact
or
Localization length scale Localization length scale
![Page 23: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/23.jpg)
T30L7の全球モデルでの適用例• Perfect model scenario• The SPEEDY model
(Molteni 2003)– Primitive-Equation
dynamical core– Simplified physics
100.0Ps [Pa]0.0001q [kg/kg]
1.0T [K]1.0v [m/s]1.0u [m/s]
Obs. Err. Stdev.Variables
![Page 24: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/24.jpg)
500Z 解析RMSE
3DVAR (31m)
LEKF (8m)
Serial EnSRF(5m)
30 ensemble members
![Page 25: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/25.jpg)
解析インクリメントと真の誤差
3DVAR EnKF
Lattice-like pattern in the 3DVAR background error field.EnSRF analysis increment is better capturing error structures.
Shades: background error, Contour: analysis increment
![Page 26: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/26.jpg)
5日予報の成績
SPREAD
RMSE
3DVAR
![Page 27: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/27.jpg)
問題点
• モデル誤差の存在– 現実を再現する完全なモデルはない。– モデルの不完全性に起因する誤差が、サイクルプロセスで引き継がれてしまう。
– EnKFだと、時間依存する誤差共分散でも引き継がれるという危険性がある。
モデル誤差バイアス推定法(Dee and da Silva 1998)などによって、バイアスについては対応できる可能性
モデル誤差の共分散については、その大きさや影響も含め、未解明
![Page 28: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/28.jpg)
今後の課題• 高解像度全球モデルへの適用
– 必要なアンサンブルメンバー数?
• 実際の観測データの使用– Houtekamer et al. (2005), Whitaker et al. (2005)
• 4次元変分法(4D-Var)との比較– 4D-VarもEnKFも時間依存する予報誤差を考慮しているが
• モデル誤差推定法の適用可能性– Dee and da Silva (1998), Danforth et al. (2005)
• メソ領域モデルへの適用• ターゲット観測への有用性
– 現実に誤差の大きい場所がわかる→解析場の改善へ
![Page 29: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/29.jpg)
まとめ
• 数値天気予報– 予報解析サイクル– データ同化(解析)– 決定論的表現の限界→確率論的表現へ– アンサンブルによる確率論的表現
• アンサンブル・カルマンフィルタ(EnKF)– アンサンブル予報→予報誤差– 解析誤差→アンサンブル摂動生成– すばらしいパフォーマンスの実例– 今後、実用化に向けて…
サイクルプロセス
![Page 30: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/30.jpg)
![Page 31: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/31.jpg)
Kalman filtering (KF)Kalman filtering (KF) is an optimal weighted mean between forecast and observation.
)( fi
oii
fi
ai HxyKxx −+=
Here, the optimal weight (Kalman gain) is given as1][ −+= RHHPHPK Tf
iTf
ii
KF (estimation of P) is optimal when the model is linear and perfect.
Error covariance is estimated by the forecast:Pi
f = MPiaMT + Q
Error covariance forecast is usually underestimated partly because of model nonlinearity. Thus, covariance inflation is required.
Pif = (1+ δ)MPi
aMT
Inflation parameter
![Page 32: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/32.jpg)
Ensemble Kalman filtering (EnKF)Ensemble formulation
PE TE× ≅N
100~m
N
000,000,10~N
Assumption: Limited number of ensembles can estimate PTo avoid sampling errors, we localize covariance.
Eif = 1+ δME i
aPif = (1+ δ)MPi
aMT
By the ensemble formulation, we can forecast error covariance from ensemble forecasting:
![Page 33: アンサンブル・カルマンフィルタ...Ensemble Kalman filtering (EnKF) Ensemble formulation N E × ET ≅ P m ~100 N N ~10,000,000 Assumption: Limited number of ensembles](https://reader034.fdocuments.in/reader034/viewer/2022042111/5e8c292abd54a872ec25de3b/html5/thumbnails/33.jpg)
The SPEEDY model (Molteni 2003)
Primitive-equation dynamic coreSimplified physicsConvection (a simplified mass-flux scheme)
Vertical diffusionSurface fluxes of momentum and energy (bulk aerodynamic formula)Long wave radiation (four spectral bands)Short-wave radiation (two spectral bands)Large-scale condensation, Clouds
No diurnal forcing
Prognostic variablesu, v, T, q, Ps
ResolutionT30L7 ( 96 x 48 x 7 )
1000.08072000.20063000.34055000.51047000.68538500.83529250.9501
Pressure(hPa)
Sigma(p/ps)
Level
Computational time2 seconds for 6-hour forecast on a 2.7GHz Celeron PC