技研公開2025レポート　イマーシブメディア～フロンティアサイエンス・カメラ6台で30K360度映像を撮影

ホーム＞放送＞技研公開2025レポート　イマーシブメディア～フロンティアサイエンス・カメラ6台で30K360度映像を撮影

2025年6月20日

#30K360度カメラ

#シーン適応カメラ

#ディフォーマブルディスプレー

#技研公開

　NHK放送技術研究所（技研）は5月29日～6月1日に「技研公開2025」を開催した。　放送メディアの未来ビジョンを実現するための研究成果18件の中から注目される展示をいくつか取り上げた。

　イマーシブメディアの「イマーシブ体験」は、30K360度カメラと半球表示装置による没入感を体感できる。Future Visionに掲げるイマーシブメディアの具現化を目指し、画素数30Kのカメラで撮影した超高精細な360度映像を、画素数15K相当のプロジェクターで半球スクリーンに投影し、ヘッドマウントディスプレー（HMD）などのデバイスなしで360度映像による没入感を実現した。
　カメラは5台のカメラが360度方向に並んでおり、加えて天頂方法を取るカメラが1台の合計6台のカメラで映像を撮影している。一つのカメラは9K×7Kの解像度になっており、7K×5で35Kとなるが、重なり合う部分があるので30Kになるという。画角は水平360度で、フレームレートは60Hz、ビット数は10bit。カメラ一つにつきワークステーション1台使って収録を行い、スティッチングという合成処理をして最終的に360度映像を制作する。
　また半球スクリーンへの投射は8Kプロジェクターを用いている。フレームごとに表示位置を斜めに半画素ずらす方法で15K相当にしている。具体的には複屈折特性を持ち、直進する光と縦・横0・5画素分屈折する光を切り替えることができるデバイスに、映像を通してR、G、Bのそれぞれの光をフレームごとに光の進行方向を変化させる。これにより1画素が斜め（縦・横）にシフトして2画素分になり、縦・横方向の解像度が実質的に2倍になる。
　今後、さらにコンパクト化して実用的な30K360度撮影システムを2027年度までに開発する予定。

五角柱型30K360度カメラ

　「マルチレイヤー対応VVC」は、世界初のマルチレイヤー符号化対応VVCライブエンコーダーを開発した。視聴者の好みに応じて手軽にコンテンツを切り替えて見られるような使い方を想定している。
　今回のデモでは、普通のコンテンツと、話付きのコンテンツを用意し、視聴者（記者）が自由に切り替えられるようなシステムになっていた。オリンピックの開会式や閉会式で手話ありなしを放送した時は、総合テレビで手話なしをやって、Eテレで手話を付けて放送していた。2チャンネルを使えばできるが、常時2チャンネルを使用するのは大変なので、マルチレイヤー機能を使うことにより1チャンネルでできるようにするもの。
　マルチレイヤー符号化対応のエンコーダーは複数の映像を同時に処理するため、従来のエンコーダーに比べ処理量が多く、リアルタイム動作の実現が課題だった。マルチレイヤー符号化のエンコード処理を分散し、独自の軽量化処理を採用することで、リアルタイムで動作するライブエンコーダーを開発したもの。
　具体的には、映像をメインコンテンツ、サブコンテンツ（文字スーパー、手話解説など）に分割する。映像を圧縮する際には、メインコンテンツは時間をかけて圧縮する。圧縮はリアルタイムにやるよりは時間をかけてゆっくりやった方が綺麗にできる。サブコンテンツは直前に変更する場合があるため、リアルタイム処理が必要になる。このため、処理を分割して行う。
　今後、マルチレイヤー符号化がサポートした次世代放送規格が策定されれば、放送の高度化の議論の中で同技術に導入が検討される予定という。

マルチレイヤー符号化対応VVCライブエンコーダー

　「シーン適応カメラ」は、画面内の領域ごとに画質を調整することができるカメラ。従来のカメラだと撮影する条件を決めた場合に、同じ撮影条件にしなければならない。そのため画面内のある特定の場所に合わせて画質を調整してしまうと、他の部分がうまく調整できないという課題がある。しかし、同カメラは画面内の領域ごとに異なる撮影条件を割り当てることができる。例えば非常に明るいところでは露光時間を短くして明るくなりすぎないようにしたり、動きの速い被写体があった場合はその動きが速いところを検出して、その部分だけフレームレートを4倍に上げて撮影するということができる。
　2年前に同じ原理で、1K解像度のイメージセンサーを開発して展示した。今回これを4K解像度で実現したというところが非常に大きなポイント。さらに制御する領域が従来64×64画素ごとだったのに対し、今回は4×4画素という非常に細かい領域ごとに撮影条件を設定できるようになっている。
　このカメラを開発動機は、360度映像。将来的に360度映像は非常に重要になるが、360度映像は1つの画面にいろんな被写体が映り込む。動きが早かったり遅かったり、明るさもまちまちだ。そのためエリアごとに撮影条件を合わせることで綺麗な映像が撮影できるのはないかと考えた。実際今回の4K解像度カメラで、例えば日陰と日向が非常に目立つサッカー場などの場合などに使うことで綺麗な映像を実現している。
　カメラの中にエリアの判定機能を搭載し、明るさの検出や動きの検出をして判定し、次のフレームに撮影条件の変更をフィードバックするということを繰り返している。
　今後は、試作したカメラの放送現場での活用に取り組むとともに、2028年頃までに広視野撮影に対応した高品質かつ高解像度のカメラの実現を目指すとしている。

シーン適応カメラ

　フロンティアサイエンスでは、「ディフォーマブルディスプレー」を展示。柔らかいゴム状の基板（アクリルゴム）の上にLEDを形成し、その間を繋ぐ配線に引っ張っても切れないような配線を用いることで柔軟で自由な曲面を可能にするディスプレーを実現。
　配線はGaIn系の液体金属を使用しているが、これまではどうしてもダマができたり、間に隙間ができたりして印刷で形成すると均質性に欠けていた。そのため金属の微粒子を入れることにより、液体金属材料の均質性を改善した。これにより画素数が去年の20×20から32×32画素に増加している。
　用途的にはウェアラブルなデバイスが1つ、もう1つが曲面を作れることから車の車内の曲面への使用も想定している。今後はディスプレーの高精細化・高画質化を進め、2030年までの実用化を目指すとしている。

ディフォーマブルディスプレー