MIDImage

プロジェクションマッピング動画に使ったアプリの簡易版を公開してみる予定です。まずテスト版を公開したので、興味がある方は遊んでみてください。数台の Windows7 PC 以外未確認です。

→MIDImage

自分ではプロジェクションマッピングに使いましたが、演奏に同期して映像が出る部分が面白かったので、大画面の PC や TV に出すとか動画に保存して合成する等々、プロジェクションマッピング以外の遊び方もできないかなと思っています。
アプリで動画保存はできませんが、できそうだったら今後やりたいです。

なお、これの前身として SoundMage という残念なソフトがありましたが、アプリの UI 作成があまりに手間だったのを教訓として、今回は UI を徹底的に排除して不親切な設計になっています。
(SoundMage は開発環境を潔く PC ごと廃棄してしまったため、今後アップデート予定はありません)


感想・リクエスト・苦情にはお応えできるかわかりませんが、メールや Twitter でどうぞ…

ピアノにプロジェクションマッピング - 反響

ラピュタと Let It Go あわせて、フジテレビのめざましどようび番組内で紹介していただきました。
事前の問い合わせに、使われないだろうと思いつつ細かく回答したのですが、長尺で恥ずかしいくらいしっかり紹介していただいて驚きました。ありがたく記念撮影。

放映前後の再生数をウォッチしてみました。ほぼ消えかけていたアクセスが一気に伸びています。数千くらいの伸びだったので、ネットの有名サイトの方が爆発力は大きいかもしれませんが、放送時間中の瞬間最大風速はなかなかです。曲の流行のためか、Let It Go の方が伸びていました。

その他、投稿直後に取り上げていただけたサイト

• ねとらぼ

今回は以下のようなサイトに取り上げられて海外からのアクセスも多少増えてきています。

• rocketnews
• gadgetify

ニコニコはコメントが面白いですがユーザ層に偏りがあるため、こうやって Youtube 側が伸びて海外含めた広い層からフィードバックをいただけるのは嬉しいです。

公開から一週間で反響が嬉しかったので振り返りでした。

ピアノにプロジェクションマッピング - ラピュタ (2)

今回は技術の話を少し。DirectX の 3D グラフィックスはおおまかに言うと

(1) 空間上の座標を決めてテクスチャをペタペタ配置する
(2) 視点の座標を決める
(3) (2) の視点と (1) の間にスクリーンを置いて、そのスクリーンを通して見える映像を出力

という形になります。
普通は (2) の視点を (3) のスクリーンと垂直の位置(スクリーンを正面から見る位置)にして映像を描かせると思いますが、この動画ではそれをずらしています。

実環境でピアノ上に表示される映像サイズと撮影カメラの位置から座標を計算すれば、あとは DirectX が描いてくれます。
視点の位置は簡単に調整できるようにしてあり、動画に使った設定と真正面の設定で出力を比較するとこうなります。

上の画像は視点を左下に設定しているので、左下方向から眺めるとちょうど良く見えます。

もう一つ。後半の二重奏部分も新しいチャレンジで、3D 空間上に動画ファイルの変速再生を追加しました。速度を調整しながら動画ファイルから1フレームずつ取り出し、表示位置を決めて貼り付けています。PC のパフォーマンス的にできるかどうかわからないけれど、試してみたらなんとかなったという感じです。

今回は作っていて技術的にわりと楽しかったので勢いで色々書いてしまいましたが、意味不明だったかも…

ピアノにプロジェクションマッピング - ラピュタ

【Youtube】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

【ニコニコ動画】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

ピアノのプロジェクションマッピングシステムが思ったより楽しくて、動画製作とは関係なく遊びで使ったりするようになりました。
そうやってリアルで演奏したり見たりするのが楽しいのですが、今回は逆に動画ならではの特性を活かしたものになりました。

実は動画の製作途中で方針転換して丸々作り直したので、かなり遠回りしています。
初期版をテスト撮影したものはこんな感じです。

空を飛んでいるイメージで、ノーマルアレンジのラピュタを演奏していました。
それなりに気に入っていましたが、板状の物を回転させる処理を試していたら、わりとリアルな 3D 表現ができることに気づき、一気に興味がそちらに傾いて作り直すことにしました。
一応ノーマルアレンジの演奏は後半の解説で再利用しています。

ソフトは前回と同様で、Windows7 + Visual C++ + DirectX + 標準 MIDI lib です。3D の技術としては DirectX のテクスチャ非線形変換・レンダリングだけ使用しています。3D グラフィックスの領域では基礎だけですが、凝りだすと悩んで進まなくなりそうなので割り切りました。初期テストの画像がこちら。実に雑です。

例によって画力不足なので、最初の石版や中盤背景のロゼッタストーン、最後の羽根などは実写画像を取り込んで加工しました。最初の石版は昔カンボジアの遺跡で撮影したもので、お気に入りです。

一番悩んだのはソフト設計でもピアノ演奏でもなく全体のデザインで、空間上の物体のアニメーションとか色とかの微調整で試行錯誤しました。でも新しい試みで楽しかったです。鍵盤が透けて下が見えている感じは伝わるでしょうか。自分の 3D オブジェクトデザインの限界が正八面体程度だったので、全編にわたって飛行石をフル活用…

楽しんでいただければ嬉しいです。

(多分つづく)

演奏者たち

ピアノ奏者の知人たちを招いて遊びました。
ピアノ連動プロジェクションの実物を触ってもらい、動画とは違う演奏者自身の楽しさを感じてもらえて好評価。自分にはできないハイレベルな演奏でソフトが破綻しないか心配でしたが、見たことのない映像が見られて痛快でした。

もっと多くの演奏者に実物を体験してほしいと以前から思っていたものの、環境構築が面倒でなかなか実現しなかったので、今日は良い機会でした。

完成間近だった次の動画の試作も見てもらい、新技術ネタで驚きは与えられた模様。
あいかわらず製作にかなり手間取っていますが、近々公開します。

展示会

先日、展示会 BLUE LINE TOKYO で発表させてもらいました。

リアルで発表するのは初めてのことで大変でしたが、お客さんや他の出展者の方にも楽しんでいただけたようで嬉しかったです。曲のレパートリーが少なくてほとんどリピート演奏でしたが、ここぞとばかりに弾き続け、ピアノで筋肉痛になる始末。

本格的に CG をやっている方も出展されていたので映像を比べるとチープさが際立ちましたが、ポイントはシステムなので、来場者の方はあまり気にならなかった様子でした。
中でも子供からの人気がすごく、バシバシ鍵盤を叩いて遊んでいました。(何か違うけれど、そういう方向もありか…)

せっかく作ったので発表資料を。

 

途中のサンプル動画はこれまで Youtube に上げてあったものからの抜粋ですが、今回用に一つ追加アップしました。→ デモ: FF Prelude

ということで、初めてネットから外に飛び出した活動になりました。
前回投稿した動画がいまいち伸びなかったので、こういう形で見てもらえたのは嬉しかったです。
ネットの数万人とリアルの数百人では数は違いますが、リアルでしか得られないものは大きかったと思います。

ピアノにプロジェクションマッピング改

【Youtube】Let It Go ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- Let It Go

以前 MIDI を使った CG 合成動画を作りましたが、あれは撮影後に時間をかけて画像処理したものでした。
本当は演奏中にリアルタイムで映像を作りたかったのですが、リアルタイムで派手な映像を作るのは、家の PC 程度ではパフォーマンス的に無理だと思っていました。
…そういう思い込みは技術屋として駄目だと、わりと反省。

あるとき思い立って Direct X を試してみたら、想像以上の描画パフォーマンスで驚きました。
PC への MIDI 入力遅延や、プロジェクタの映像出力遅延など、他にもいくつか懸念材料がありましたが、一通り接続した仮システムでほとんど遅延がなかったので、これは行けると思って動画を作ることにしました。

2ヶ月ほど前、会社内で小さな技術発表をする機会があったので、ちょうど実験中だったこのネタを紹介してみました。そのときのデモ映像がこちら。

わりと反応は良かったので自信向上。これはプロトタイプの映像なのでしょぼいものですが、これが実現できるならば面白いものも作れそうだと思いました。

絵を描く技術がないので、無機的な素材のつなぎあわせでアニメーションを派手にしました。ピアノやソフトは自力でがんばりたいですが、CG は得意な方に委託したくなってきました。
プロジェクタや撮影を通すと劣化しますが、元はこのくらいくっきりしています(click で拡大)。この映像では黒鍵の形の処理をしていませんが、黒鍵には映像が映らないので大丈夫です。

今までの動画では、元々興味があって聴いたり弾いたりしたことのある曲を使っていましたが、今回の Let It Go はこの動画のために新しく弾き始めたものです。人気のある曲だし、手から雪が出る映像など映画のイメージと近いものにしたら面白いかと思って選びました。

製作のほか、プロジェクタや撮影の微調整もかなり面倒で、もう当分やることはないかと思いましたが…

ピアノにプロジェクションマッピング(2)

【ニコニコ動画】ピアノにプロジェクションマッピング --- 紅蓮の弓矢

いくつものサイトで紹介していただいた結果、予想外に爆発的な伸びになりました。

• GIZMODE

• やじうまWatch

• ねとらぼ

そんな運にも恵まれ、技術カテゴリでまさかのデイリーランキング1位を記録しました。
これまで色々動画を作ってきましたが、1位は初めてでした。ありがとうございます。

記念撮影↓

ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- 紅蓮の弓矢

 およそ一年ぶりの動画製作になりました。
プロジェクタで音楽に同期した演出を重ねるのは、実は4年前に考えていたことでしたが、当時は面白いアイディアがなく、結局プロジェクタでなく撮影後の動画に CG を合成する方向に向かいました。

そんな CG 動画にも飽きてきて動画作りもやめてしまったのですが、最近プロジェクションマッピング演出を色々見ていて、やはり音楽と組み合わせるのは面白そうだと思い、作ってみました。4年前より CG 動画作りに慣れていて構想しやすかったのが大きいと思います。

まず天井の照明を外し、そのコネクタからプロジェクタ用の台を吊るして固定しました。下向きに固定するのは面倒そうなので、鏡の部品を作って反射させます。

サイズ合わせのため、格子状の画像を作って照射し、写真撮影しました。
次にプロジェクタを使うのはこの一ヵ月後です。

曲は最近練習していた紅蓮の弓矢にしました。派手な人気曲なのでちょうど良かったです。
ピアノ演奏を録音し、そのタイミングに合わせた動画を作成します。鏡に映すため反転します。
作った動画はこのように安っぽい味気ないものですが、これを物体に照射するとそれなりの見栄えになるのがプロジェクションマッピングの面白さでしょうか。

この動画を照射し、音を聴きながらそれに合わせて再度演奏して撮影します。
予想はしていましたが、ギラギラして弾きにくいこと…

色々心残りもありますが、わりと面白いものになりました。今回は工作に苦労したので、できればもう一度くらい使って何か作りたいと思っています。