ピアノプロジェクション UE4

これまでのピアノプロジェクションに UE4 を導入してみました。

Youtube: https://youtu.be/3t0PUvV8koU
Nico: http://nico.ms/sm27971578

しばらくピアノプロジェクションで遊んできましたが、たまには最近の技術も勉強してみようかと思って Unreal Engine 4 を触ってみました。
Unity や openFrameworks も候補にありましたが、色々な事情から判断して UE4 を選択。技術面を丁寧にまとめれば少しは有益な Blog になるかもしれませんが、面倒なので主な感想だけ…

・さすがエンジンや素材のクオリティは抜群でしたが、すぐれたツールであっても使用者にデザイン力がないと活用できないという予想通りの結果でした。今までのシステムでは実現できないような演出ができたのは良かったですが、巷の高品質な UE4 作品とは大きなギャップが。

・これまでのソースを流用したかったので、開発はほぼ C++ にしています。ピアノを弾いたら映像が変化する基本アプリは UE4 を触り始めてから数日で動きましたが、その後、実現可能なデザインを考えたり描きたい映像を作れるようになるまでは (途中で何度か企画中止寸前の時期も挟んで) 数ヶ月くらいダラダラ作っていました。最後の方は色やタイミングなどの微調整ばかりです。
今回は何かと時間がかかって苦しかったです。小規模メーカーが最近の派手なゲーム開発に付いていけなくなる状況はこんな感じではないかと思ったり。

・使っていたのが普通のノート PC だったので、やはりパワー不足に悩みました。これまで DirectX を使っていたのは、こういう懸念が一番なさそうだったからという理由もあります。
ビルドなどに時間がかかるのは耐えるとしても、作ったアプリの映像遅延が大きな問題でした。解像度をいまどきのスマホより低い 800x450 まで下げたり、パーティクルを減らして演出を抑えたりと色々苦しい対策をしていますが、それでも無理があって打鍵から映像の変化まで数百 msec の遅延が出ています。もちろん自分が使いこなせていないだけで、もっと改善する手段もあるのかもしれません。

・曲はちょうどリメイクのニュースがあった FF7 から。陰影の表現や派手なエフェクトはゲーム感があり、また映像の遅延があるのでテンポの速い曲はいまいち、等々の事情も考えて決めました。

SoundMage2 Ver1.010

SoundMage2 バージョンアップしました。
MFT 用に作ったパターンがいくつか使えるようになっています。

http://soundmage.funnyfaith.net/

よほど奇特な方しか使わないと思いますが、リリース作業は簡単 (=ろくに動作確認もしていない) なので、一応更新しておきました。

パッヘルベルのカノン / MFT デモ

Maker Faire 展示会用に製作したネタの一部を動画にしました。

ピアノプロジェクション - パッヘルベルのカノン
http://youtu.be/YhnMPx4Bejs

ピアノプロジェクション - Maker Faire Tokyo 2015 デモまとめ
http://youtu.be/uj18fIrsHOU

■カノン

カノンは作るのに手間がかかったのですが、静かで地味、会場が明るい上に客席側からでは影の演出がわかりづらい、曲が長い、と展示会に向いていなかったので結局ほとんど使いませんでした。
わりと気に入っている作品だったので、未完成部分を作り足して動画にしました。

影の二重奏は、鍵盤部分へのプロジェクションを活かした演出をやってみようと思って作りました。リアルな手や凝ったデザインの手は描くのが難しく、黒鍵に映像が映らないので不自然になります。そのため、やや必然的に影というデザインにしました。また、手が四本だと重なりすぎて見づらくなるため影は片手だけにしました。
影二重奏は、ずっと前にも FF7 の動画で似たようなことをやりましたし、今回のシステムの一部はラピュタの動画で実験的に入れたものです。

影が演奏に参加する部分は、直前の実体の演奏テンポに合わせて入ってきます。
その後、実体の演奏テンポの変化に影が追従するようにしてみようかとも思ったのですが、どうも不自然になってしまうのと、元々自分はリズムが不安定すぎるので、影の速度は一定にしてメトロノーム代わりにしました。

演奏については、一人では弾けない編曲なのでなかなか楽しいです。実体と影のパート分担を整理するため珍しく楽譜を参考にしましたが、最終的には演奏が簡単になるような雑なアレンジになっていきました。

また、動画がいつも似たような構図なので今回はちょっと見せ方で工夫してみました。基本視点の映像以外は時間差で撮影し直したものなので、いわゆる口パク状態です。複数台のカメラを設置するのは面倒なので。

Maker Faire 2015 出展

8/1, 2 は、初めての Maker Faire 出展でした。
自分の展示の振り返りをダラダラ書きます。

まずは多くの人に楽しんでもらえて一安心でした。足を止めて見てくれた人は、二日間でゆうに千人は超えていたと思います。一部の人はわりと感動してくれたようなので良し。

つたない演奏パフォーマンスで人を集めたのち、大人にも子供にも触って楽しんでもらう、というコンボが決まると良い感じです。

周囲の騒音とか不安定なスタンドとかが懸念だったのですが、実際あまり問題になりませんでした。周囲の音と光対策に、二日目は少し奥まったところに移動したりしました。
音楽カテゴリーで出展すると周囲が音ネタだらけで賑やかそうなのでアートカテゴリーで出展したのは正解でした…

失敗だったのは調子に乗って弾きすぎたことです。
演奏中は自分の代わりにチームのメンバーが説明員になってくれて助かりましたが、終わってみれば自分で直接お客さんの感想を聞く機会が少なく、自分が言いたいことを伝えられなかったのは非常に残念でした。もしまたこういう機会があるならば、演奏を短く減らしてでも、説明はなるべく自分でしようと思います。

ただ、そんな中でも製作者と直接話したいという方もいて、中でも Maker 創始者の Dale 氏には驚きました。気に入ってくれて Blog で紹介いただきました。

http://makezine.com/2015/08/03/baked-breadboards-interactive-beds-maker-faire-tokyo/

周囲のハイレベルな展示を見たり、技術に詳しい人から受けたコメントや質問を考えると、あらためて自分の展示のポイントは技術ではない (むしろ苦笑されたり…) とも感じました。
でも見せたいのは技術よりもシステムよりも、それを使ったデザインや構成や演奏を含めたパフォーマンス全体でした。
と開き直りつつも、もう少し勉強しないとダメかなと前向きに反省して終わります。

展示会が終わって三日。まだ何一つ開梱していません。

展示会準備 ～ The Summer Wars

8月に Maker Faire Tokyo という物作りの展示会に出展することになりました。

まず、前から買い換えたいと思っていた10数年前のプロジェクタをこの機会に交換。
映写範囲が広がって演奏の自由度が広がりましたが、それに合わせて過去のプログラム映像もちまちま修正。(これが面倒)

大物として、普段天井に設置していたプロジェクタを会場に設置するためのスタンドが必要だったので、こういう工作が好きな同僚に相談してアドバイスをもらいつつ、CAD で図面をひいてアルミ材でがっつり作りました。ごつい物を展示したくないのでシンプルな構造で後方に寄せた結果、非常に揺れやすい代物に…

(設計のリファレンスは昔の絞首台…)

一通り機材ができたので、実験とイベント宣伝を兼ねて簡単な動画を撮ってみました。

ピアノプロジェクション小品 - The Summer Wars
http://youtu.be/9BBGDzIYsfE

製作期間は過去最短です。以前ボツにした素材を流用したり演奏も崩壊気味だったりで、遺憾な作りですが今回はテストということで…

SoundMage2

ピアノプロジェクション用の公開版アプリを久しぶりに更新しました。
背景に動画ファイルを流せるなど、多少機能が増えています。

http://soundmage.funnyfaith.net/

サンプルプログラム使用例

ソフト名は SoundMage2 です。当初は公開を考えておらず MIDImage という適当な名前をつけていて、以前のテスト版もその名前で出していましたが、もっとメジャーなソフトと被っていたようなので変更しました。

ようやく公開版と自分版のソフトを一本化し、開発しやすくなりました。ただ、自分の動画に使った映像パターンは公開版には入れていないので、ユーザが新しい映像を作ってくれることに期待です。

一年カメラ

簡単な定点撮影カメラを作って設置してみました。

システムは色々考えられますが、いくつか入れたい条件がありました。

・長期に渡って写真を撮り溜めたい
・メンテナンスフリーで実家の屋外に設置
・PC を使うような大袈裟なシステムにしたくない
・ある程度高画質

そのあたりを考えて、今回は WiFi 接続できるアクションカムと使っていない古いスマホを利用しました。カメラを玄関先に設置し、屋内のスマホから制御して 3分毎に定期撮影し、Flickr に片っ端からアップロードします。状態通知は時々 Twitter に呟くようにしてみました。

制御は WiFi ですが電源供給だけは有線でおこなう必要があるので、やむをえずフラットな USB ケーブルを扉の隙間から通しました。

 

制御用に適当な Android アプリを作ります。カメラも Flickr も Twitter も、公開されている Web API 情報を元にちょこちょこ叩いていけば一連の流れができます。面倒なのはエラー処理などで、

・通信エラー時は写真をバッファしておいて時間差でアップロード
・カメラやスマホ内に溜まった写真はメモリが溢れないように定期的に削除
・たまに端末が WiFi につながらなくなる謎の症状が出るので、やむをえず端末再起動
・アプリから端末再起動するために端末を Root 化
・起動 intent でアプリ自動復帰

等、安定するまで時間がかかりました。
今のところ一週間くらいは無事に動いていますが、目標は一年間。ソフトバグ、ハード劣化、Flickr の API 仕様変更、台風、等々懸念は山ほどあって、さていつまで動くか…