リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。

"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的扱いやすそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。

黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。

LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件：
・速い曲だと解析が追い付かないので適度なテンポの曲
・リコーダーの音域に収まる曲
・およそ四半世紀ぶりのリコーダーでも吹けそうな曲

という条件で何にしようかと考えていた頃、TV で懐かしい映画をやっていたのでそれにしました。なお、以前吹いたオカリナでなくリコーダーにしたのは、私のオカリナ演奏だと不安定すぎて論外だったからです。

いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

ということで、新しい技術が多くて開発はなかなか楽しかったです。
撮影と編集がかなり面倒だったので今回限り、と思いつつも色々応用できそうな気もしています。

SoundMage2 Ver.1.100

公開していたことを思い出した SoundMage2 を、およそ一年ぶりにバージョンアップしました。
ハウルの動画で使用したサブアプリ連携機能などを追加しています。

http://soundmage.funnyfaith.net/

サンプルにはハウルで使用した素材は含まれていませんが、サブアプリは JavaScript なので適当に書き直せば自由なオリジナルアプリに改造できる、はず…

ピアノプロジェクション & bit

久しぶりに動画を作りました。ハウルの動く城より 人生のメリーゴーランド

Youtube: https://youtu.be/uCwP1p7oTkU
Nico: http://nico.ms/sm29246504

しばらくプロジェクションマッピングばかりだったので、何か手軽に遊びやすいものでも作ってみようと思ってタブレット連動を試したところから始まりました。
前回 Unreal Engine で高度な 3D CG 技術をかじってみたら手に負えなかったので、今回は一転して手軽な方向に傾倒して Web アプリにしました。描画には Pixi.js というライブラリを使っています。サブアプリはメインアプリに比べて開発が早くて楽でした。
システムはこんな感じに。

サブアプリも PC から配信しているので、適当な機器のブラウザからつなぐだけで使えます。演奏の通信は WebSocket を使いました。今までのシステムにサーバを追加して適当にプロトコルを決め、打鍵やシーンの情報を送っています。
一部のブラウザでは動きませんでしたが、Chrome ならばどの機器でも動いていました。試しに PC やタブレットなど複数機器をつないで動かしてみたら、若干不安定ながらも遅延は少なくて良い感じでした。

と、ここまでが半年くらい前の話で、その頃はまだ動画を作る予定もありませんでした。

その後、旅行やらかぶちゃん村やら庭動画やらで何度も中断しながら少しずつ企画を考えました。(演奏や構成が決まったあとで一度企画中止を考えました。試しに画面デバイスを並べてみたら、ただの駄目人間の部屋にしか見えず絵的に酷かったからです…)
最近になって CG を少し作りこみ部屋を暗くしてカメラを通したら、暗い空間に画面が浮かび上がるような感じで面白かったので、ようやく動画を作ってみることにしました。

利用可能な画面機器をかき集めて、最終的には以下のようになりました。

また、最近の動画でときどき使っている手法で、カメラのアングル切り替えがあります。今回は特に立体的な構造を見せたかったので手間をかけて6視点で撮影して編集しています。以前作った 3D のラピュタ動画と対照的です。
もちろん6台ものカメラは持っていないので 6回撮影しました。初回に撮った演奏を聴きながら、残り5回はタイミングを合わせて弾いて撮影しています。ですので、初回撮影の構図以外は若干タイミングがずれている個所があります。まあ動画上の問題なので妥協…

今回演奏した人生のメリーゴーランドは前から好きな曲でしたが、難しくて最後まで弾いたことがなかったので、わりと苦労しました。演出のデザインは曲のイメージに合わせて考え、自分ではわりと気に入っています。最後の風景写真の窓は例によって趣味の旅行写真を使いました。

久しぶりにがんばったので解説もダラダラ書いてしまいました。今回のシステムは手軽に遊べるものですが、動画の作成は映像の調整や機器のレイアウトや撮影編集など、やたら面倒でした。このネタは今回限りでしょう。

ご視聴・コメントありがとうございます

一年カメラ(2) ～ 庭

一年前、実家の庭に定点カメラを設置しました。
こちらの記事参照 ⇒ 一年カメラ

案の定次々と問題が出ました。

• 連続稼働しているとカメラがハングアップするため定期的に電源 off/on
• Flickr のアルバム写真一覧を取得すると結果が異常になる
• 天気によって(?) 画質が落ちる

など、途中で対策も必要でしたが、なんとか一年撮影を続けられました。あちこち撮り逃している期間もあるため、やはり遊び用ですね。
大量 18 万枚の写真が撮れたので編集して動画を作ることにしましたが、とても全部手動で編集できる規模ではなく、テーマ別に自動編集や画像検出を使いました。

猫検出の例
⇒ 撮影時間が昼のものだけ抽出
⇒ 近くの時間帯の画像と差分があるものの抽出
⇒ 差分のサイズが一定の位置・形・サイズ・色に収まっているものを抽出

これである程度絞り込んで位置情報も取れたので、あとは人力で選びました。

できた動画がこちら。

2年目も似たような映像になりそうですが、リアルタイムの映像も見られるのが面白いので、もうしばらく動かしてみるつもりです。

かぶちゃん村イベント

プロジェクションマッピングのイベント企画をしている会社の方からご相談をいただき、短期間ですがサポート開発をしていました。最初は公開中のソフトをご自由にどうぞというつもりだったのですが、追加開発のご相談や出張依頼もあったので、業務の形にさせてもらいました。

場所はこちらの村テーマパークの門。のどかで良いところでした。
http://kabuchanmura.jp/

過去に普通のプロジェクションマッピングもおこなっていたそうですが、今回はピアノ連動を取り入れた演出をしたいというお話でした。自分としても、ピアノ上ではなく背後の建物に大きな映像を出すような見せ方は初めてで、プロの方が演奏したりお客様に遊んでもらうというあたりも興味があったので、やってみることにしました。

数週間かけてレイアウトとデザインの変更を中心にあれこれ修正しましたが、あまりに時間が足りないため妥協の嵐になりました。ほぼぶっつけ本番だったので、当日微調整しやすいように工夫しておきました。

技術面で新しく追加した大きな機能はコーナーピン補正です。
映写機材の配置に自由を持たせ、映像が歪んでも四頂点を指定して補正できる機能で、一般的なプロジェクションマッピングでも使われます。非アフィン変換とやらのため、もはや自分でも理解不能な四次元行列を突っ込んでぐにゃぐにゃ変換しています。幸運にも 3D 演出のとき作った構造が役立ち、何とか間に合いました。それがなければ無理だったと思います。テスト例↓

のどかな山奥の村の門にプロジェクションマッピングという想像不能な世界で、そもそも建物がどう見ても映写向きでないという大問題もありましたが、結果的には思った以上に面白いものになりました。何よりプロの方の生演奏のおかげで、自分のシステムを使ってもらえたのは嬉しかったです。

準備中は最後まで微妙な仕様変更が止まらずバタバタしていました。何より本業で燃え尽きている所に休日の時間を割くのは苦しかったので、しばらくは自分の時間を大事に…
ともあれ今回は色々刺激的な体験ができて良かったです。
しばらくは毎週色々なアーティストの方が来るそうなので、また見に行きたい気も。

PC アプリ短編

20秒の一発ネタ。

ラピュタ動画で作ったアプリを流用したジョークです。
うまく見えるようウインドウの移動や色など試行錯誤しました。

ピアノプロジェクション UE4

これまでのピアノプロジェクションに UE4 を導入してみました。

Youtube: https://youtu.be/3t0PUvV8koU
Nico: http://nico.ms/sm27971578

長々ピアノプロジェクションで遊んできましたが、ネタもなくなってきたし、たまには最近の技術も勉強してみようかと思って Unreal Engine 4 を触ってみました。
Unity や openFrameworks も候補にありましたが、色々な事情から判断して UE4 を選択。技術面を丁寧にまとめれば少しは有益な Blog になるかもしれませんが、面倒なので主な感想だけ…

・さすがエンジンや素材のクオリティは抜群でしたが、すぐれたツールであっても使用者にデザイン力がないと活用できないという予想通りの結果でした。一応今までのシステムでは実現できないような演出ができたので良かったですが、巷の高品質な UE4 作品とは大きなギャップが。

・これまでのソースを流用したかったので、開発はほぼ C++ にしています。ピアノを弾いたら映像が変化する基本アプリは UE4 を触り始めてから数日でできましたが、その後、実現可能なデザインを考えたり描きたい映像を作れるようになるまでは (途中で何度か企画中断というか中止寸前の時期も挟んで) 数ヶ月くらいダラダラ作っていました。最後の方は色やタイミングなどの微調整ばかりです。
今回は何かと時間がかかって苦しかったです。小規模メーカーが最近の派手なゲーム開発に付いていけなくなる状況はこんな感じではないかと思ったり。

・使っていたのが普通のノート PC だったので、やはりパワー不足に悩みました。これまで DirectX を使っていたのは、こういう懸念が一番なさそうだったからという理由もあります。
ビルドなどに時間がかかるのは耐えるとしても、作ったアプリの映像遅延が大きな問題でした。解像度をいまどきのスマホより低い 800x450 まで下げたり、パーティクルを減らして演出を抑えたりと色々苦しい対策をしていますが、それでも無理があって打鍵から映像の変化まで数百 msec の遅延が出ています。もちろん自分が使いこなせていないだけで、もっと改善する手段もあるのかもしれません。

・曲はちょうどリメイクのニュースがあった FF7 から。陰影の表現や派手なエフェクトはゲーム感があり、また映像の遅延があるのでテンポの速い曲はいまいち、等々の事情も考えて決めました。特にアレンジなく、やっとこさっとこ弾いています。

ご視聴・コメントありがとうございます。