ソニーPCL、独自の3DCG生成技術を開発~制作時間を大幅に短縮でき映像品質を向上

 ソニーPCLはこのほど、バーチャルプロダクション活用の最新ソリューションを紹介するイベントを開催した。自社のバーチャルプロダクション関連の最新技術や事例紹介などを行った。
 「ソニー独自の3DCG生成技術のバーチャルプロダクション活用とは?」について、ソニーPCL ビジュアルソリューション部門 チーフテクニカルスーパーバイザーの石川 智太郎氏と、ソニー技術開発研究所 コンテンツ技術研究開発部門知的映像技術開発部の高橋紀晃氏が解説した。


ソニーPCL・石川 智太郎氏

 まず石川氏がバーチャルプロダクション技術を紹介した。バーチャルプロダクションの代表的手法として、In―Camera VFXとScreen Processの2つに分かれる。In―Camera VFXは背景アセットに3DCGデータを用いる。カメラトラッキングによる背景連動が可能で、バーチャルとリアルを1つの3次元空間として撮影ができる。反面、アセットの制作時間が課題となっている
 一方、Screen P rocessは、背景アセットに2Dプレートデータを用いる。実景と使うことでリアリティを担保できる他、2Dプレートの方が比較的制作時間が短いなどのメリットがある。しかし、カメラワークにも制限がある。下手に動かしてしまうと、ごまかせる映像もあるが、基本的には空間がずれしまう。
 ソニー独自の3DCG生成技術は、In―Camera VFXとScreen Processの〝いいとこ取り〟というような手法になるという。
 3DCG技術について高橋氏が解説した。NeRF(Neural Radiance Fields)と3DGS(3D Gaussian Splatting)をベースにしており、AI技術を活用して複数の写真から3DCGを生成する技術で、Radiance F ields(放射輝度場)で3次元空間を表現する。
 他の手法との比較では、車をモデリングした場合、一般的なフォトグラメトリツールでは物体の輪郭がごつごつする他、窓ガラスの再現に失敗した。しかし、ソニー独自手法では写真に近い自然な表現になり、光の反射や透過を再現しやすいという。


ソニー技術開発研究所・高橋紀晃氏

 ソニー独自の3DCG生成技術について石川氏は、「この秋ぐらいに、この技術を本格的な運用というところを目指して動いておりますので、是非、今企画中だったり、この技術を使ってみたいな話がありましたら、お気軽にお声をかけしていただきたいなと思います」と述べた。(全文は7月25日号3面に掲載)




この記事を書いた記者

アバター
成澤誠
放送技術を中心に、ICTなども担当。以前は半導体系記者。なんちゃってキャンプが趣味で、競馬はたしなみ程度。