~NeRFの理解から、3D Gaussian Splattingの動向まで ～
ニューラルネットワークを用いた
３次元モデリング/自由視点画像生成
＜NeRFはNNで何をしているのか，なぜ従来より高精度な画像を生成できるのか＞
S240801NW
本セミナーは Zoomを使用いたします。
開催日時：2024年8月1日（木）13:00-16:30 （12:55受付開始）
受 講 料：お1人様受講の場合 51,700円[税込] / 1名
1口でお申込の場合 66,000円[税込] / 1口（3名まで受講可能）
＜ 略 歴 ＞
2010年9月 慶應義塾大学大学院 開放環境科学専攻 博士課程 修了
2010年10月 フランス国立情報学自動制御研究所 博士研究員
2012年7月 株式会社 東芝 研究開発センター
2014年4月 九州大学 大学院システム情報科学研究院 助教
2018年4月 九州大学 附属図書館 准教授
2021年4月 現職
移動体の自己位置推定及び周辺環境認識技術に関する研究に従事．特にカメラを用いたVisual SLAM[1]
やIMUを用いたInertial odometry[2]など，様々なセンサに関する技術を開発．自己位置推定に関する国
際会議IPINで開催されるコンペティションにおいて1位を含む多数入賞．拡張現実感の位置合わせ技術[3]
やVisual SLAM[4]の技術解説を執筆．
[1] MOTSLAM: MOT-assisted monocular dynamic SLAM using
single-view depth estimation, IROS, 2022.
[2] DUET: Improving Inertial-Based Odometry via Deep IMU
Online Calibration, TIM, 2023.
[3] AR(拡張現実)技術の基礎・発展・実践 (設計技術シリーズ)，科学情報出版（第一章担当）
[4] コンピュータビジョン―広がる要素技術と応用―，共立出版（第四章担当）
Neural Radiance Fields(NeRF)とは2020年に提案されたニューラルネットワーク(NN)に基づく映像生成技術
です．ある物体を様々な向きから撮影した画像を入力すると，NNが内部で物体の形状をモデル化し，視点を自由
に動かしてその物体の画像を生成できます．この技術は一般に自由視点画像生成とも呼ばれます．NeRFは従来手
法よりも高精細な画像を生成でき，さらに3次元モデリング技術としても活用可能なため，非常に注目されていま
す．
本セミナーでは，NeRFに興味がある，NeRFは聞いたことがあるけど技術はよく分からない，NeRFを業務に導
入する可能性を検討されている方を対象に，NeRFを理解する上での基礎知識を解説します．具体的には，コンピ
ュータビジョンで古くから用いられている理論であるカメラ幾何や三角測量，Multi-view stereoです．これらの
技術を踏まえてNeRFの考え方を説明します．NeRFはディープラーニングの技術として解説されることが多いです
が，コンピュータビジョンの観点では三角測量やバンドル調整の発展版として考えることで，より一層NeRFの理
解を深めることができます．NeRFはNNで何をしているのか，なぜ従来より高精度な画像を生成できるのか，とい
うポイントを理論的な側面から分かりやすく解説します．
1. NeRFの概要
1.1 NeRFとは何か
1.2 NeRFの特徴
1.3 NeRFの応用例
2. コンピュータビジョンの基礎知識
2.1 カメラ幾何
2.2 三角測量
2.3 バンドル調整
2.4 SfM（structure from motion）
2.5 ステレオマッチング
2.6 再投影誤差とPhotometric error
2.7 Multi-view stereo
3. NeRFの原理と動向
3.1 入力と出力
3.2 ニューラルネットワークを用いた空間表現
3.3 Volumetric renderingを用いた画像生成
3.4 NeRFの最適化に用いる誤差関数
3.5 NeRFの最新の動向
内山先生のセミナー
7月30日（火）
自己位置推定・環境地図作成のためのコンピュータビジョン・画像処理：vSLAM, SfM, MVS, NeRFの基礎
