2014年8月9日土曜日

ピアノにプロジェクションマッピング改


以前 MIDI を使った CG 合成動画を作りましたが、あれは撮影後に時間をかけて画像処理したものでした。
本当は演奏中にリアルタイムで映像を作りたかったのですが、リアルタイムで派手な映像を作るのは、家の PC 程度ではパフォーマンス的に無理だと思っていました。
…そういう思い込みは技術屋として駄目だと、わりと反省。

あるとき思い立って Direct X を試してみたら、想像以上の描画パフォーマンスで驚きました。
PC への MIDI 入力遅延や、プロジェクタの映像出力遅延など、他にもいくつか懸念材料がありましたが、一通り接続した仮システムでほとんど遅延がなかったので、これは行けると思って動画を作ることにしました。

2ヶ月ほど前、会社内で小さな技術発表をする機会があったので、ちょうど実験中だったこのネタを紹介してみました。そのときのデモ映像がこちら。



わりと反応は良かったので自信向上。これはプロトタイプの映像なのでしょぼいものですが、これが実現できるならば面白いものも作れそうだと思いました。

絵を描く技術がないので、無機的な素材のつなぎあわせでアニメーションを派手にしました。ピアノやソフトは自力でがんばりたいですが、CG は得意な方に委託したくなってきました。
プロジェクタや撮影を通すと劣化しますが、元はこのくらいくっきりしています(click で拡大)。この映像では黒鍵の形の処理をしていませんが、黒鍵には映像が映らないので大丈夫です。




今までの動画では、元々興味があって聴いたり弾いたりしたことのある曲を使っていましたが、今回の Let It Go はこの動画のために新しく弾き始めたものです。人気のある曲だし、手から雪が出る映像など映画のイメージと近いものにしたら面白いかと思って選びました。

製作のほか、プロジェクタや撮影の微調整もかなり面倒で、もう当分やることはないかと思いましたが…