2018年3月26日月曜日

AR ピアノ - 魔女の宅急便

AR を使ったピアノ演出動画を作りました。



簡単なAR の実験は以前にもやっていたのですが、動画にするとリアルタイムでなく後から CG 合成しただけのように見えそうだったので興味は低めでした。
ですが今年の正月に 3D CG への興味から Unity と SmartAR を試してみたら、思った以上に使いやすく面白い効果も作れそうだったので、作品にしてみたくなりました。

中央のマーカーを SmartAR で検出してピアノの位置推定をしています。マーカーの柄や大きさは試行錯誤がありましたが、自分のアイコンでも上々だったのでそれを使うことにしました。大きさはこの距離だとこれがギリギリくらいでした。

今回は Unity, SmartAR, C# すべてが初めてだったので苦しかったですが勉強にはなったと思います。これまでプロジェクションマッピング用に作ってきたものをなるべく活用したかったので、MIDI 検出、テスト用の MIDI 録音/再生、メロディ検出、WebSocket 通信等の基本機能は SoundMage のコア部分を C++ のまま dll 化して使っています。

動画の真ん中くらいで青の音符がピアノの周りを回るあたりが、やさしさに包まれた感じで気に入っています。


Unity で色々調べてみたら、立体のマスクを作ればこういう演出ができそうだったので導入してみました。ラフにピアノの形状を定義したモデルで、”後ろにある背景は透過して見えるけれど後ろにある他のオブジェクトは隠れて見えなくなる" という性質になっています。


撮影に使ったレゴ車はずっと前から細々遊んでいたものを大改造して実戦投入しました。今回の動画も一度友人にテスト撮影してもらったのですが、毎度お願いするのは大変だし、なにより自分の駄目な演奏は撮り直しが多すぎるのとで、機械撮影という変態的なことをやってみました。PC と WiFi で接続し、今までと同様 WebSocket でシーン切換コマンドを送って制御しています。


今回の曲は昔から好きだったけれど動画にはしていなかった魔女の宅急便から。Unity のインストールをしているときたまたまテレビで魔女の宅急便をやっていたので、動画制作の最初からその曲を考えていました。

なお、解説パートで弾いているのは自作の曲です。(言うまでもないか…)
映像で形を作りつつも、なんとか音楽っぽく聞こえるようなものをと考えました。撮影日まで解説パートの曲を忘れていたので適当に作ったものですが、気力があればもっと凝ったことをやってみたかったです。

0 件のコメント:

コメントを投稿