Methods for Stable Reproduction in Holographic Memory報告03...

14
報告 03 03 報告 ホログラムメモリーの 安定再生技術 木下延博  片野祐太郎  室井哲彦  石井紀彦 Methods for Stable Reproduction in Holographic Memory Nobuhiro KINOSHITA, Yutaro KATANO, Tetsuhiko MUROI and Norihiko ISHII 所では,8Kスーパーハイビジョン(以下,8K)用の長期保存ストレージの実現を目指 してホログラムメモリーの研究を進めている。ホログラムメモリーの高密度化・高転送 速度化が可能な新しい手法を提案するとともに,実用的な観点からデータの安定再生技術の 開発にも取り組んできた。これまでに,媒体が収縮,膨張した場合でも安定的にデータを再 生するための波面補償技術や,画像処理を応用した再生信号処理技術,誤り訂正技術などを 独自に開発した。本稿では,波面を基底関数の和で表現したときの低次成分が支配的である ことに着目した波面補償技術と,再生信号処理技術を用いた8K圧縮映像のリアルタイム再生 の実験結果について報告する。 A holographic memory has attracted attention as a candidate for a long- term video archival storage system. We have not only proposed new techniques that improve the recording density and data transfer rate of the holographic memory, but also studied methods for stable reproduction from the viewpoint of practical use. We have developed a wavefront compensation method for reproducing data appropriately even when the recording medium shrinks or expands, a reproduced data processing algorithm based on image processing, and an error correction code. In this report, we describe the wavefront compensation method and data processing methods and show the results of real-time reproduction of compressed 8K video data from holographic memory equipment using the developed methods. ABSTRACT 39 NHK技研 R&D No.160 2016.11

Transcript of Methods for Stable Reproduction in Holographic Memory報告03...

  • 報告 0303報 告ホログラムメモリーの 安定再生技術木下延博  片野祐太郎  室井哲彦  石井紀彦

    Methods for Stable Reproduction in Holographic MemoryNobuhiro KINOSHITA, Yutaro KATANO, Tetsuhiko MUROI and Norihiko ISHII

    当 所では,8Kスーパーハイビジョン(以下,8K)用の長期保存ストレージの実現を目指してホログラムメモリーの研究を進めている。ホログラムメモリーの高密度化・高転送速度化が可能な新しい手法を提案するとともに,実用的な観点からデータの安定再生技術の開発にも取り組んできた。これまでに,媒体が収縮,膨張した場合でも安定的にデータを再生するための波面補償技術や,画像処理を応用した再生信号処理技術,誤り訂正技術などを独自に開発した。本稿では,波面を基底関数の和で表現したときの低次成分が支配的であることに着目した波面補償技術と,再生信号処理技術を用いた8K圧縮映像のリアルタイム再生の実験結果について報告する。

    要 約

    A holographic memory has attracted attention as a candidate for a long-term video archival storage system. We have not only proposed new techniques that improve the recording density and data transfer rate of the holographic memory, but also studied methods for stable reproduction from the viewpoint of practical use. We have developed a wavefront compensation method for reproducing data appropriately even when the recording medium shrinks or expands, a reproduced data processing algorithm based on image processing, and an error correction code. In this report, we describe the wavefront compensation method and data processing methods and show the results of real-time reproduction of compressed 8K video data from holographic memory equipment using the developed methods.

    ABSTRACT

    39NHK技研 R&D ■ No.160 2016.11

  • 1.はじめに

    NHKは2003年に大規模なアーカイブス施設を埼玉県川口市に建設し,膨大かつ貴重な資産である映像コンテンツを管理,保存するとともに,番組制作などに有効活用してきた1)。この施設を含め,全国の放送局に保管されている映像コンテンツの数は年々増加し続けており,2014年度末の時点でニュース636万2,000項目,番組89万1,000本に達している(1図)2)。さらに,2016年8月には8Kの試験放送が開始され,今後も加速度的に増加し続ける映像コンテンツを,長期にわたり管理,保存していくストレージ技術の開発は,喫緊の課題となっている。中でも,高記録密度で大容量,高転送速度,優れた長期保存性,などの条件を満たすアーカイブ媒体およびストレージの開発は特に重要である。

    現状では,番組制作のワークフローが変化し,カメラ収録された映像がパソコンで再生可能なファイル形式に移行するなど,状況が変化する中で,長期保存用の映像アーカイブストレージとして主に磁気テープが用いられている3)。磁気テープは,媒体単価が安く,長期保存性も優れているが,大容量化のためにテープの厚さを薄くしているため切れやすく,またランダムアクセスのための巻き戻し・早送りに時間を要するなどの短所がある。

    一方,データセンターや国立国会図書館など放送以外の分野では,DVD(Digital Versatile Disc)やBlu-ray Discなどの光ディスク技術を用いたアーカイブストレージが採用され始めている4)5)。これは,必ずしも磁気テープを置き換えるためだけではなく,長期保存すべきデータを異種の複数媒体に保存することで信頼性を高める目的もある6)。

    光メモリーは,ランダムアクセスが可能で,媒体の長期保存性や単価,保存環境の維持費などコスト面で有利であるが,従来型の光ディスクにおける転送速度と記録密度の向上には限界が見え始めている。

    近年,従来型の光ディスクを凌りょう

    駕が

    する転送速度と記録密度を有する光メモリー技術として,ホログラムメモリーが期待されている。ホログラムメモリーは,デジタル情報を2次元配列状に並べた画像(ページデータ)として媒体に記録する。ページデータとは輝点と暗点が集まった画像であり,1つのページデータは約1Mビットの情報量を持つ。光照射によって約1Mビットのデータを一括して記録または再生できるため,高転送速度化に有利である。また,媒体への光の入射角度を変えることで,媒体の同じ場所に複数のページデータを重ね書き(多重記録)しても,再生時にそれらを分離して読み出せるため,記録密度を高めることができる。

    当所では,8K信号の記録に応用できる長期保存ストレージの実現を目指して,ホログラムメモリーの研究を推進しており,高密度化・高転送速度化が可能な新しい技術のほかに,実用的な観点からデータ再生の安定性向上にも取り組んできた。具体的には,温度変化などで媒体が収縮,膨張した場合でも安定的にデータを再生するための波面*1補償技術や,画像処理を応用した再生信号処理技術,誤り訂正技術などを開発した。本稿では,独自に開発した波面補償技術について詳述し,次いで再生信号処理技術を用いた8K圧縮映像のリアルタイム再生の実験結果について報告する。

    *1 伝搬するレーザー光の等位相面。直進または集光するレーザー光の波面はそれぞれ平面,球面である。

    1図 全国のNHKに保管されている映像コンテンツの数の推移(a)ニュース項目数

    700

    600

    500

    400

    300

    200

    100

    02004

    (万項目)

    (年度)5 6 7 8 9 10 11 12 13 14

    (b)番組本数

    90

    80

    70

    60

    50

    40

    30

    20

    10

    0 2004

    (万本)

    (年度)5 6 7 8 9 10 11 12 13 14

    40 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    変調符号7)が代表的な変換方法である(3図)。このページデータを空間光変調器(SLM:Spatial Light Modulator)*2

    に2次元画像として表示し,レーザー光を2次元空間的に強度変調することで信号光とする(2図(a))。次に,フーリエ変換レンズ(FTL:Fourier Transform Lens)*3を用

    2.ホログラムメモリーの原理と再生時の課題

    2.1 記録再生原理ホログラムメモリーの記録再生の原理を2図に示す。情

    報の記録時には,入力された1次元のデジタルデータ列を2次元配列に格納し,ページデータを構成する(2図(a))。1次元データを2次元配列に変換する手法はいくつかあるが,入力される5ビットに対応させて,3×3の9配列要素のうち2要素だけを輝点とし,残りの7要素を暗点とする5:9

    2図 ホログラムメモリーの記録と再生の基本原理

    3図 5:9変調符号の生成

    *2 光ビームの断面を2次元画像に対応させて強度変調するデバイス。ホログラムメモリーでは,対角寸法1インチ程度の液晶パネルを用いる。

    *3 レンズの有効径全体にわたって光学的フーリエ変換作用(空間的な振幅・位相分布を空間周波数分布に変換する作用)を持つレンズ。

    (a)記録時

    入力データ01011

    5:9変調符号 ページデータ

    信号光

    参照光 ホログラム

    記録媒体フーリエ変換レンズ

    (FTL)

    開口

    空間光変調器(SLM)

    (b)再生時

    出力データ01011

    5:9変調符号 再生ページデータ

    回折光

    参照光

    ホログラム

    記録媒体

    開口

    イメージセンサー

    変調テーブル

    入力ビット列 記録用ページデータ

    3×3=9画素・輝点数2・暗点数7

    36通り

    00000

    00001

    00010

    … …

    11110

    11111

    5 bit32通り

    41NHK技研 R&D ■ No.160 2016.11

  • 4図 多重記録の基本原理

    原理である。ホログラムメモリーにおける多重記録方式,すなわち,

    参照光の照射条件をどのように変えてページデータを重ね書きするかについては,これまでに各種の手法が考案されている。参照光の入射角度を変えて多重する角度多重方式8),参照光の空間的な位相分布を変えて多重する位相コード多重方式9)やスペックルシフト多重方式10)11)*8,光の波長を変えて多重する波長多重方式12)などが代表的な多重方式である。

    角度多重方式の場合には,4図の横軸の照射条件が参照光の入射角度に相当する。一般に,角度多重方式では平面波を参照光に用いるので,記録再生装置の構成が比較的容易になる利点がある。また,異なる記録再生装置間での互換性が高く,機械精度マージンを広くすることができる。以上の理由から,当所では角度多重方式を採用し,研究開発を進めている。

    2.2 再生時の課題ホログラムメモリーでは,厚さ1mm程度の記録材料が2

    枚のガラス板に挟みこまれた板状の媒体を用いる。記録材料は光重合*9性有機材料であり,低分子量の光重合性モ

    いて集光した信号光と参照光とを交差させると,光の干渉縞(明暗分布)が生じる。この交差位置に記録媒体を置くことで,干渉縞の明暗に応じた屈折率の分布を記録することができる。記録された屈折率分布をホログラムと呼ぶ。2図は,ディスク状の媒体の一部分にホログラムを記録する場合を模式的に示している。ディスクを回転させて,別の場所に別のホログラムを記録することができるとともに,同じ場所に別のホログラムを多重記録することもできる。

    なお,FTLで集光された信号光の大きさを制限するために,その集光点に開口を設置し,信号光の一部だけを通過させて媒体に照射することが一般的である。開口の大きさが,媒体上の実効的なホログラムの大きさに相当する。開口の大きさを小さくすると,媒体に敷き詰められるホログラムの数を増やせるため,記録密度を高められるが,一方で,信号光に含まれる情報の高周波成分が開口により遮光され,ページデータの輝点のぼやけを生じる。したがって開口の大きさは,輝点ぼやけの補正処理限界と記録密度とのバランスにより決定することが望ましい。

    再生時には,読み出し用の参照光を媒体に照射すると,参照光がホログラムで回折*4し,ページデータが重畳された回折光が得られる(2図(b))。この回折光をイメージセンサー*5で撮影し,その再生画像を信号処理することにより元のデジタル情報を復元する。

    1つのページデータがホログラムとして記録されている場合,読み出し用の参照光の照射条件(波長,波面,入射角度)が記録時と一致しているときだけブラッグの回折条件*6

    を満足し,高い強度の回折光が得られる(4図(a))。参照光の照射条件が記録時から外れるにしたがってブラッグの回折条件を満たさなくなり,徐々に回折光が得られなくなる。別の言い方をすれば,回折光が得られない照射条件で,媒体の同じ場所に別のホログラムを重ね書きしてもクロストーク*7は生じない(4図(b))。これが多重記録の基本

    *4 波長とほぼ等しい大きさの構造物や,屈折率差を持つ媒質を光が伝搬する際に,光の進行方向と異なる方向に光が回り込む現象。ホログラムでは,この回折光から再生画像を得る。

    *5 2次元配列された画素構造を持ち,入射された光を電気信号に変換するデバイス。

    *6 光を照射したホログラム内のすべての場所で生じている回折光が合成時に互いに強め合うための条件。

    *7 所望の信号に,隣接するホログラムからの信号が重畳されて検出される現象。ノイズの原因の1つ。

    *8 粗い面にレーザーを照射したときに現れる斑点模様(スペックル)を参照光に重畳し,媒体の位置をシフトさせながら多重する方式。

    *9 光の照射によって低分子(モノマー)が多数結合して高分子(ポリマー)になる現象。

    照射条件

    (a)1つのホログラムが有する選択性

    回折光強度

    記録時と同じ照射条件

    照射条件

    (b)複数のホログラムの多重記録条件

    回折光強度

    それぞれのホログラムは分離して再生可能

    回折光強度が低い条件の所に隣接ホログラムを重ね書き

    42 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    に対してより高精度な光学的補償を行うために,波面補償技術を開発した。従来,再生時には波面が平面である参照光を用いていたが,ひずんだホログラムに対応する非平面の参照光を用いることで信号強度を回復し,安定した再生を可能にした(6図)。

    一方,再生されたページデータにはさまざまなノイズが重畳されている。主なノイズ要因は,ホログラムの面積を小さくして記録密度を高めるために信号光の集光点に配置した開口による輝点ぼやけと,角度多重された隣接ホログラムからのクロストークである18)。ノイズが重畳されていてもビット誤りを訂正し,正しい情報を復元するための再生信号処理技術も重要である。

    次章以降において,信号強度を回復するための波面補償技術と,ホログラムメモリーに特化した再生信号処理技術の詳細について述べる。

    ノマー*10,光重合開始剤*11,高分子量の形状維持用マトリックスポリマー*12などで構成される13)。情報の記録時に光を照射すると,光重合開始剤によりモノマーの重合反応が開始され,モノマーどうしが結合したポリマー(高分子)になる。モノマーとポリマーは屈折率が異なるため,結果として光の干渉縞に基づく明暗分布に対応した屈折率分布,すなわちホログラムが記録される。

    記録材料に光重合性有機材料を用いる場合,重合反応や記録後の媒体の温度変化により,微小な形状変化や,材料全体の僅かな膨張,収縮が生じる14) 15)。このとき,光重合性有機材料に記録したホログラムが元の光の干渉縞分布と合致しなくなり,参照光を照射してもページデータの一部分で信号強度が低下するなどして完全には再生されず,ビット誤りを引き起こす。収縮や膨張によるホログラムのひずみの模式図を5図に示す。体積変化は主として記録層の厚さ方向に顕著に現れる。ホログラムひずみに対して参照光の入射角度や波長を変えることにより補償する報告16)もあるが,ホログラムメモリーの信号光は収束ビームであることから,形成されるホログラムは放物面状であり,入射角度と波長による調整だけでは必ずしも高品質なページデータが再生されない17)。そこで当所では,ひずんだホログラム

    5図 収縮や膨張によるホログラムのひずみの様子

    6図 非平面の参照光を用いた波面補償による再生の原理

    *10光重合を行う際の基質。連鎖反応によりモノマーどうしが結合する。

    *11光の照射により酸やラジカル(不対電子を持つ原子やイオン)を発生し,モノマーどうしの結合を開始させるための添加剤。

    *12媒体の記録層としての形状を維持しながら,重合の際に必要なモノマーの移動が可能になるよう網目状に形成されたポリマー。

    信号光 参照光

    収縮

    膨張

    集光する信号光ではホログラムは放物面状

    回折光

    波面制御器

    非平面の参照光

    ひずんだホログラム

    媒体波面補償により正しく再生されたページデータ

    ひずみを補償するように参照光の波面形状を変化させる

    43NHK技研 R&D ■ No.160 2016.11

  • た。7図に示すとおり,任意の波面はゼルニケ多項式*13と呼ばれる基底関数で展開でき20),これらの係数を増減すれば所望の波面を生成することができる。8図に数値シミュレーションの結果を示す。8図(a)は記

    録時と同じ平面波で再生した場合であり,記録材料の収縮によりページデータの中央部において回折光が得られていない。ゼルニケ多項式の1次の項について係数を変化させ,最も信号対雑音比(SNR : Signal-to-Noise Ratio)が高くなるよう最適化した場合の再生ページデータを8図(b)に示す。また,ゼルニケ多項式の1次から6次までの項を順に最適化して得られた再生ページデータを8図(c)に示す。ここで,SNRの定義は次式のとおりである21)。

    3.波面補償技術

    3.1 ホログラムひずみと補償波面の数値解析ホログラムひずみに対し,どのような波面の参照光を照射

    すればよいかを数値解析により調べた。用いた数値解析手法では,記録材料を複数層に分け,各層での光の回折現象を順次計算する。記録されたホログラムを層内の屈折率分布としてあらかじめ準備し,収縮や膨張を模擬するために各層の厚さを微小に変化させ,再生用の参照光が各層に到達したときの回折波を計算する。最終的に,各層からの回折波を積算することで最終的な再生ページデータを算出する19)。1表に数値解析に用いたパラメーターを示す。

    参照光の波面としては任意の形状が考えられるが,ここでは波面を基底関数の和で表現し,低い次数から順に最適な係数を求める逐次最適化により補償をシミュレーションし

    7図 任意波面のゼルニケ多項式展開

    8図 参照光波面を変化させて得られた再生ページデータ(数値解析結果)

    9図  ゼルニケ多項式の各次数までの逐次最適化によるSNRの向上

    *13互いに直交する2次元関数に係数を乗じて加算したもので,レンズの収差(理想的な結像からの差)の表現などに用いられる。

    次数

    (dB)

    SNR

    15

    10

    5

    0

    -50 2 3 41 5 6

    0次 1次 2次 3次 4次 5次 6次

    = + + + + + + …

    (a)補償なし (b)ゼルニケ多項式の   1次の項のみで補償

    (c)ゼルニケ多項式の   6次の項までで補償

    1表 数値解析に用いたパラメーター

    レーザー波長(nm) 532

    記録材料の厚さ(mm) 1.0

    媒体への信号光入射角度(°) 15

    参照光と信号光のなす角度(°) 70

    FTLの焦点距離(mm) 11.0

    ページデータの寸法(mm) 10.5×14.0

    ページデータの画素数 336×448

    収縮率(%) 0.105

    44 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    シャッターを開くことでSLMにレーザービームが照射され,ページデータを表示したSLMにより強度変調された信号光が得られる。強度変調された信号光はFTLで集光され,媒体に到達する。FTLの焦点距離は11.0mmである。参照光は,別のPBSにより記録用と再生用に分離され,それぞれの媒体への入射角度はガルバノミラー(GM:Galvanometer Mirror)*17により制御される。GMにより反射角度が変化しても,リレーレンズ(RL:Relay Lens)により媒体の同じ場所に参照光が照射される。記録用参照光は,媒体から見て信号光と同じ側から照射される。媒体としては,一辺3cmの正方形ガラス2枚に挟まれた,記録層の厚さが1.0mmの光重合性有機材料を用いた。

    再生用参照光の光路中には,波面を制御するための位相変調SLM(PSLM:Phase-modulation Spatial Light Modulator)*18を設けている。PSLMの画素サイズは10.4μmであり,画素ごとに最大で4πの位相差を付与することがで

    10

    (1)

    ただし,µ1とµ0は再生ページデータの画素値から作成したヒストグラム*14における輝点分布と暗点分布の平均値であり,σ1とσ0はそれぞれの標準偏差である。8図(b)ではページデータの隅で十分な信号強度の得られていない部分があるが,8図(c)では回復している。ゼルニケ多項式の1次の項は波面の傾斜成分であり,参照光の入射角度と等価であるので,上記の結果は,入射角度調整だけでは補償が不十分であることを示唆している。ゼルニケ多項式の各次数までの逐次最適化によるSNRの向上を9図に示す。1次の項が最もSNR向上に支配的であり,次いで3次の項の寄与が大きい。4次以降での改善幅が小さいことから,波面補償において3次の項すなわちデフォーカス成分*15までを扱えば十分な効果が期待できることが分かる。

    3.2 波面補償実験次に,ゼルニケ多項式の3次の項までを用いた波面補償

    による再生ページデータの信号強度回復効果を実験により確認した。10図に本実験の光学配置図を示す。10図において,光源から出射されたレーザービームは空間フィルターで拡大され,半波長板で偏光方向を変えることにより,偏光ビームスプリッター(PBS:Polarizing Beam Splitter)*16で所望の強度比の信号光と参照光に分離される。記録時だけ

    10図 波面補償実験の光学配置図

    *14画素値ごとの出現頻度を表す度数分布。

    *15球面状の波面成分。その曲率半径に対応した焦点(フォーカス)位置が定義されることから,このように呼ばれる。

    *16直線偏光の光を互いに直交するS偏光(光学系においてレーザービームを含む光路面に対して垂直に振動している光)とP偏光(光路面に対して平行に振動している光)に分離する光学素子。S偏光の光はPBSで反射し,P偏光の光はPBSをそのまま通過する。

    *17可動コイル型電流計の回転軸に鏡を取り付けた反射角度可変鏡。

    *18強度変調SLMと異なり,液晶分子が光の偏光方向に沿って駆動されるため,偏光状態を変えることなく,画素ごとの光の遅延(位相)量を制御できるSLM。

    イメージセンサー

    PBSSLM

    PSLM

    FTL

    RL

    GM 再生用参照光

    記録媒体

    RL

    記録用参照光

    GM鏡

    PBS

    信号光

    シャッター PBS鏡

    半波長板

    参照光

    空間フィルター

    PBS : 偏光ビームスプリッターGM : ガルバノミラーRL : リレーレンズFTL:フーリエ変換レンズSLM:空間光変調器PSLM:位相変調SLM

    レーザー光源

    45NHK技研 R&D ■ No.160 2016.11

  • 4.再生信号処理技術

    ホログラムメモリーから再生され,イメージセンサーで取得されるページデータは一種の画像であるため,画像処理に類似した信号処理が必要になる。ただし,誤り訂正処理については1次元符号を対象とした誤り訂正符号を適用する。そこで,画像処理と誤り訂正をそれぞれ前処理,後処理とし,それぞれ独自のアルゴリズムを開発した。

    4.1 前処理(画像処理)イメージセンサーで撮影された画像にはページデータが含

    まれているが,画像内のページデータは位置ずれや形状変化を伴うことが一般的である。これを補正するために,記録時のページデータの外側にあらかじめマーカーと呼ばれる微小画像を付加しておき,再生時にこれらの位置を取得する(12図)。今回は4つのマーカーA ~ Dを付加するものとし,テンプレートマッチング22)*19により検出した各位置

    きる。ゼルニケ多項式で表される波面分布画像をPSLMに表示することにより,参照光の波面を変えることができる。この再生用参照光の水平,垂直方向の角度を2軸のGMで制御し,記録したときと反対側の媒体面に照射する。本実験では,ゼルニケ多項式の1次と2次の項に相当する傾斜成分を2軸のGMで,また3次の項に相当するデフォーカス成分をPSLMで制御することとした。ホログラムからのページデータを含む回折光は,FTLおよびPBSを通過してイメージセンサーに到達する。

    実験により得られた再生ページデータを11図に示す。11図(a)は波面補償しない平面波を再生用参照光とした場合,11図(b)はゼルニケ多項式の3次の項までの最適波面で再生した場合である。11図(a)では,ホログラムひずみにより,画面中央右部と左上下部で暗部が生じており,記録データのビット誤り率は4.0×10-2であった。11図(b)の3次までの補償を行った場合は,ビット誤り率は1.7×10-3であった。このように,3次の項までの波面補償により,1桁以上の改善効果があることを確認できた。

    13図 イメージセンサー内の画素からのシンボル抽出の概念図

    11図  参照光波面を変化させて得られた再生ページデータ(実験結果) 12図 ページデータ領域外に配置されたマーカーの模式図

    *19画像の中から特定のパターン(テンプレート)が含まれる位置を検出する方法。画像とテンプレートとの類似度を,テンプレートの位置を変えながら計算し,最も類似度の高い位置を求める。

    (a)補償なし

    ビット誤り率:4.0×10-2 ビット誤り率:1.7×10-3

    (b)ゼルニケ多項式の   3次の項までで補償

    マーカーA マーカーB

    ページデータ領域

    イメージセンサー画像領域

    マーカーC マーカーD

    NYR(i, j)

    Q

    jNX

    i(0,0)x(0,0)

    y

    AB

    DC

    イメージセンサー座標系

    →→

    ページデータ座標系

    46 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    ただし,

    (4)

    であり,C1,C2は係数である。P配列はQ配列と同一の座標系を持ち,P,Qとも整数座標値で処理ができる。一方,画素シンボルRを決定する際は,その座標が整数とは限らないため,補間処理を行う。今回,補間方法として次式で表される双三次補間*22を用いた。

    (5)

    ただし,αを係数として,

    (6)

    で定義される。(5)式はP上の4×4画素を用いて画素シン

    A ~ Dを用いて,求めるべきページデータ中の画素シンボルR( i ,j )がイメージセンサー内のどの位置(位置Q)に対応しているかを次式より求める(13図)。

    (2)

    ここで,i ,j は整数,NX,NYはページデータの大きさで,今回はNX=1,740,NY=1,044とした。

    13図のイメージセンサー座標系において,位置Qは必ずしも整数座標値になるとは限らない。(2)式のQが整数座標値でない場合,再生画像内でQを含む近傍の複数画素から補間により画素シンボルR( i ,j )を算出する必要がある。一方,信号光においては空間周波数の帯域制限による輝点のぼやけがノイズ要因であることから,これを補正することが望ましい。帯域制限によるぼやけの補正方法として,有限インパルス応答(FIR : Finite Impulse Response)フィルター*20がよく用いられ,コンボリューション演算*21により実現できる。そこで今回,補間処理とFIRフィルターを多段接続させた前処理系を開発した23)。14図のように,位置Qにぼやけが発生した再生画像を表

    す2次元配列Qと,求めるべき画素シンボルRの間に,大きさ4×4の一時的な微小配列Pを用意する。Q配列からP配列を作成する際は,次式のFIRフィルターを用いる。

    (3)

    14図 補間処理とFIRフィルターの多段接続

    *20デジタルフィルターの一種で,有限区間におけるインパルス応答によりフィルター特性を近似したもの。

    *21対象となる信号にフィルターを平行移動させながら作用させること。

    *22整数値でない位置の画素値を,周辺の画素値から内挿により求める方法の1つで,3次多項式で補間関数を構成し,周辺の16画素を用いる。バイキュービック法とも呼ばれる。

    Q (x, y) P ( , ) R (i, j)

    再生像Q一時的な微小配列P

    再配列ページデータ内の求めたいシンボル

    R

    47NHK技研 R&D ■ No.160 2016.11

  • により,元の順序どおりのデータ配列を得ることができる。デインターリーブ処理においては,前処理回路から出力された大きさNX×NYのページデータが,2次元配列へ順に格納される。格納順は15図中のNX方向である。8枚のページデータが格納された後,格納順に対し転置させたNY方向に沿う順でデータ読み出しを行う。この際,ページデータが5:9変調符号により構成されていることを考慮し,3×3画素シンボルを1単位としてデータ読み出しを行う。

    デインターリーブにより読み出される3×3画素シンボルは5:9変調符号により5ビットの情報に対応しており,これらの250個の集合(5×250=1,250ビット)で,誤り訂正符号の1つの符号語を構成した(16図(a))。誤り訂正符号としては,低密度パリティ検査(LDPC : Low Density Parity Check)符号を用い,符号長1,250に対する情報ビット長は1,015,パリティビット長は235とした。LDPC符号は,復号

    ボルRを算出するものである。関数hは重み関数,演算子[ ]は小数点以下切り捨てを表す。実験光学系の特性を考慮して,今回はFIRフィルターの係数をC1=-0.235,C2=0.01に設定し,双三次補間の係数をα=-0.6とした。

    以上で述べた前処理をまとめると,まず,求めるべきページデータ中の画素シンボルR( i ,j )に対応する,イメージセンサー内の位置Qを(2)式から求め,その位置Qの近傍の

    (ぼやけを考慮した)2次元配列Qから,(3)~(6)式を用いて,ぼやけの影響を補正した画素シンボルR( i ,j )の値を求める。

    4.2 後処理(誤り訂正)一般に誤り訂正符号においては,ビット誤りが1つの符

    号語に集中した場合,その符号語の誤り訂正が困難になる。ビット誤りを分散させて,誤り訂正の性能を向上させるためにはインターリーブ*23が有効である24)。そこで,記録時にページデータ8枚を単位として,あらかじめインターリーブ処理を行った。再生時には,ページデータが8枚蓄積されるごとに,15図に示すようなデインターリーブ処理を行うこと

    15図 デインターリーブの概念図

    16図 LDPC符号と3×3画素シンボルごとの尤度

    *23通信路や媒体にデータを送る前に,データの並び順を変更すること。復号時に逆の操作であるデインターリーブを実行することで,ノイズによる集中的なビット誤り(バースト誤り)を,データ列全体に分散したランダム誤りに変え,誤り訂正をしやすくする。

    NX

    NY

    NX

    8NY

    8NY

    前処理回路からのページデータの格納順

    12345678

    1 2 3 4 5 6 7 8

    縦横を入れ替えてデータ読み出し

    情報ビット = 1,015bit

    パリティビット = 235bit

    符号長 = 1,250bit

    3×3画素シンボル

    32とおりの尤度

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

    17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

    (a)LDPC符号の符号語 (b)3×3画素シンボルごとの尤度

    48 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    符号化方式により85Mbpsに圧縮したものである。この 映像ファイルに対して,LDPC符号化,インターリーブ, 5:9変調することで,864枚のページデータを生成した。媒体の1箇所当たり96枚のページデータを角度多重記録することとし,媒体の9箇所にわたり864ページのデータをすべて記録した。

    記録済みホログラムを再生して得られた全ページデータに対する平均ビット誤り率は1.8×10-4であり,4.2節で述べた誤り訂正符号を用いることで,ビット誤りを完全に訂正できる。また,全ページデータの再生は,媒体の位置移動を含めても8秒以内で完了することを確認した。

    本装置を用いて,8K映像がリアルタイムに再生される様子を2015年のNHK技研公開で展示した(17図)。この展示では,後処理アルゴリズムが搭載されたFPGA回路から順次出力される圧 縮映 像ファイルをMPEG-H HEVC/H.265ソフトウエアデコーダーへ出力し,得られた復号映像を8Kモニターに表示し,誤りなく表示することができた。

    5. むすび

    ホログラムメモリーの再生時に媒体が収縮,膨張した場合でも安定的にデータ再生するための波面補償技術や,画像処理を応用した再生信号処理技術,誤り訂正技術などを当所で独自に開発した。波面補償の効果を数値解析によりシミュレーションし,ゼルニケ多項式の3次までの項が支配

    前情報の尤ゆう

    度ど

    *24を用いたSum-product復号と呼ばれる繰り返し復号により高い誤り訂正能力を示す線形ブロック符号であり,ホログラムメモリーにおいても旧来の符号より優れていることが示されている25)。今回は,デインターリーブされたデータが3×3画素シンボルの集合であることに注目し,3×3画素シンボル自体の尤度を用いて復号を行った

    (16図(b))7)。

    4.3 信号処理アルゴリズムの実装と動画再生実験4.1節で述べた前処理は,画像処理に類似している。

    そこで,画像処理に特化したデバイスであるGPU(Graphics Processing Unit)26)*25を用いて前処理アルゴリズムを実装した。1台のワークステーションに搭載した4台のGPUを並列で動作させることにより,高速処理を実現した。ワークステーションが,GPUの起動と同期,データ入出力を制御する。一方,誤り訂正符号の符号語が1次元データであることと,その訂正処理の負荷が比較的大きいことから,後処理アルゴ リズムにつ いてはFPGA(Field-Programmable Gate Array)*26に実装した。前処理と後処理のデータ処理速度は,それぞれ100Mbps以上,500Mbps以上を実現している。

    次に,今回開発した信号処理系をホログラムメモリーの光学系に接続し,映像ファイルの記録再生の動作検証を行った。SLMとしては,画素数が1,920×1,080の反射型液晶パネルを用い,ページデータの大きさを1,740×1,044画素に増大することで転送速度を高めた。SLMの画素 ピッチは8.0μmである。再生系のイメージセンサーには, 画素ピッチ5.5μm,有効画素数が2,816×1,600のCMOS

    (Complementary Metal Oxide Semiconductor)センサーを用いた。

    記録再生に用いた映像ファイルは,8秒間の8K映像をMPEG-H HEVC(High Efficiency Video Coding)/H.265

    *24ノイズを含んだ信号が,どの符号語に対応づけられるかを確率的に表す指標。

    *25コンピューターのディスプレー出力用デバイス。近年はその性能向上とともに画像処理以外の汎用計算にも用いられている。

    *26プログラミングにより処理内容を書き換え可能な論理回路デバイス。

    17図 2015年のNHK技研公開における8K映像ファイルのリアルタイム再生の展示

    49NHK技研 R&D ■ No.160 2016.11

  • 本稿は,Journal of the European Optical Society Rapid Publicationsおよび映像情報メディア学会論文誌に掲載された以下の論文を元に加筆・修正したものである。

    T. Muroi, N. Kinoshita, N. Ishii, K. Kamijo, Y. Kawata and H. Kikuchi:“Compensation of Hologram Distortion by Controlling Defocus Component in Reference Beam Wavefront for Angle Multiplexed Holograms,” J. Europ. Opt. Soc. Rap. Public.,Vol.8,pp.13080.1-7(2013)

    木下, 室井, 石井, 上條, 菊池, 清水:“高精細映像再生に向けたホログラムメモリー信号処理アルゴリズム,” 映情学誌,Vol.68,No.8,pp.J348-J357(2014)

    的であることを明らかにした。3次までの項を操作できる実験系により,実際に記録されたページデータにおいて,媒体収縮時に1桁程度の誤り率の改善効果を確認した。

    また,再生信号処理のために前処理系,後処理系を独自に開発し,それぞれGPU,FPGAに実装した。この再生信号 処 理 技 術 を用 いて,MPEG-H HEVC/H.265に より85Mbpsに圧縮した8秒間の8K映像信号を864ページのデータとして記録・再生したところ,平均ビット誤り率として1.8×10-4が得られた。また,864ページの再生に要した時間は, 媒 体 位 置 移 動を 含め8秒以内であり,MPEG-H HEVC/H.265デコーダーへ送出することにより,リアルタイム再生が可能であることを実証した。

    今後は,高密度化・高転送速度化の技術研究をさらに進めるとともに,より高い映像転送速度の8K映像再生にも取り組む予定である。

    50 NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    参考文献

    1) 吉岡:“NHKアーカイブスにおけるストレージシステム,” OplusE,Vol.37,No.11,pp.911-913(2015)

    2) NHK放送文化研究所編:NHK年鑑2015,NHK出版,pp.114-119(2015)

    3) 二村:“NHKにおける磁気テープを活用した大規模アーカイブシステム,” 映情学誌,Vol.70,No.3,pp.396-397(2016)

    4) パナソニック:“Facebookと連携して光ディスクを使ったデータセンター用データアーカイブシステムを開発,” http://news.panasonic.com/press/news/data/2016/01/jn160106-1/jn160106-1.html

    5) 村上:“国立国会図書館のデジタルアーカイブ,” 日本光学会年次学術講演会OPJ2010講演予稿集,9pAS4,pp.182-183(2010)

    6) 小野:“光アーカイブの現状と課題,” 第21回ボリュームホログラフィックメモリ技術研究会予稿集,pp.1-5(2015)

    7) 夏井,大沢,岡本,仲村:“ホログラム記録再生系における記録符号変換テーブルの探索手法の一検討,”信学総大,C-7-9,No.2,p.37(2010)

    8) 星沢,中村,池田:“大容量高速角度多重方式ホログラフィックメモリシステムの開発,” 映情学技報,Vol.40,No.7,pp.65-69(2016)

    9) 石井,木下,椎野,藤掛,上條,清水,佐藤:“位相対称離散コサイン変換行列を用いた位相コードホログラム多重記録方式,” 映情学誌,Vol.59,No.12,pp.1869-1874(2005)

    10) 木下,室井,石井,上條,清水:“スペックル参照光を用いた角度多重ホログラムの実験的評価,” 信学技報,Vol.106,No.409,pp.37-42(2006)

    11) M.Miura,O.Matoba,K.NittaandT.Yoshimura:“Three-dimensionalShiftSelectivity inReflection-typeHolographicDiskMemorywithSpeckleShiftRecording,” Appl.Opt.,Vol.46,No.9,pp.1460-1466(2007)

    12) G.A.Rakuljic,V. LeyvaandA.Yariv:“OpticalDataStoragebyUsingOrthogonalWavelengthMultiplexedVolumeHolograms,” Opt.Lett.,Vol.17,No.20,pp.1471-1473(1992)

    13) L.Dhar,A.Hale,H.E.Katz,M.Schilling,M.G.SchnoesandF.C.Schilling:“RecordingMedia thatExhibitHighDynamicRangeforDigitalHolographicDataStorage,” Opt.Lett.,Vol.24,pp.487-489(1999)

    14) 紫垣,仁田,的場:“角度多重ホログラフィックメモリにおけるフォトポリマー収縮モデルの検証,” 信学技報,Vol.110,No.202,pp.9-10(2010)

    15) M.Toishi,T.TanakaandK.Watanabe:“AnalysisofTemperatureChangesEffectsonHologramRecordingandItsCompensationMethod,” Opt.Rev.,Vol.15,No.1,pp.11-18(2008)

    16) M.Toishi,T.Tanaka,M.SugikiandK.Watanabe:“ImprovementinTemperatureToleranceofOlographicDataStorageUsingWavelengthTunableLaser,” Jpn.J.Appl.Phys.,Vol.45,No.2B,pp.1297-1304(2006)

    17) T.Muroi,N.Kinoshita,N.Ishii,K.Kamijo,H.Kikuchi,Y.KawataandN.Shimidzu:“OpticalCompensationofHologramDistortionAvoiding InterpageCrosstalkonReconstructedImageinAngle-multiplexedHolograms,” Appl.Opt.,Vol.50,No.29,pp.5700-5709(2011)

    18) N.Kinoshita,T.Muroi,N.Ishii,K.KamijoandN.Shimidzu:“ClassificationandEvaluationofNoises inHolographicMemorySystem,” Jpn. J.Appl.Phys.,Vol.49,No.8S2,pp.08KD12.1-2(2010)

    19) M.Miura,K.Nitta andO.Matoba:“Numerical EstimationofStorageCapacity inReflection-typeHolographicDiskMemorywithThree-dimensional Speckle-shiftMultiplexing,” J.Opt.Soc.Am.A,Vol.26,No.10,pp.2269-2274(2009)

    20) 久保田:応用光学,岩波全書,p.71(2000)

    51NHK技研 R&D ■ No.160 2016.11

  • 報告 03

    21) T.Muroi,N.Kinoshita,N. Ishii,K.KamijoandN.Shimidzu:“OpticalCompensationofDistortedData ImageCausedby InterferenceFringeDistortion inHolographicDataStorage,” Appl.Opt.,Vol.48,pp.3681-3690(2009)

    22) 本山,杉山,原田,山本:“デジタルホログラム情報の高速・高精度データ位置検出処理,” 信学技報,Vol.103,No.494,pp.7-12(2003)

    23) 木下,室井,石井,上條,菊池:“区分線形補間を用いたホログラムメモリ用再生等化器,” 映情学技報,Vol.36,No.55,pp.5-8(2012)

    24) 角田(監修):光ディスクストレージの基礎と応用,電子情報通信学会,p.171(1995)

    25) H.Pishro-Nik,N.Rahnavard,J.Ha,F.FekriandA.Adibi:“Low-DensityParity-CheckCodesforVolumeHolographicMemorySystem,” App.Opt.,Vol.42,No.5,pp.861-870(2003)

    26) 須田:“GPUとGPGPUの概要,” 映情学誌,Vol.66,No.10,pp.808-812(2012)

    木きの

    下した

    延のぶ

    博ひろ

    1997年入局。大阪放送局を経て,2000年から放送技術研究所において,光ディスク,ホログラムメモリーの研究に従事。現在,放送技術研究所新機能デバイス研究部上級研究員。博士(工学)。

    室むろ

    井い

    哲てつ

    彦ひこ

    2004年入局。同年から放送技術研究所において,フィールドエミッションディスプレー,ホログラムメモリーの研究に従事。現在,放送技術研究所新機能デバイス研究部に所属。博士

    (工学)。

    石いし

    井い

    紀のり

    彦ひこ

    1993年入局。同年から放送技術研究所において,光通信用デバイス,光ディスク,ホログラムメモリーの研究に従事。現在,放送技術研究所新機能デバイス研究部上級研究員。博士

    (工学)。

    片かた

    野の

    祐ゆう

    太た

    郎ろう

    2011年入局。大阪放送局を経て,2014年から放送技術研究所において,ホログラムメモリーの研究に従事。現在,放送技術研究所新機能デバイス研究部に所属。

    52 NHK技研 R&D ■ No.160 2016.11