かぶちゃん村イベント

プロジェクションマッピングのイベント企画をしている会社の方からご相談をいただき、短期間ですがサポート開発をしていました。最初は公開中のソフトをご自由にどうぞというつもりだったのですが、追加開発のご相談や出張依頼もあったので、業務の形にさせてもらいました。

場所はこちらの村テーマパークの門。のどかで良いところでした。
http://kabuchanmura.jp/

過去に普通のプロジェクションマッピングもおこなっていたそうですが、今回はピアノ連動を取り入れた演出をしたいというお話でした。自分としても、ピアノ上ではなく背後の建物に大きな映像を出すような見せ方は初めてで、プロの方が演奏したりお客様に遊んでもらうというあたりも興味があったので、やってみることにしました。

数週間かけてレイアウトとデザインの変更を中心にあれこれ修正しましたが、あまりに時間が足りないため妥協の嵐になりました。ほぼぶっつけ本番だったので、当日微調整しやすいように工夫しておきました。

技術面で新しく追加した大きな機能はコーナーピン補正です。
映写機材の配置に自由度を持たせ、映像が歪んでも四頂点を指定して補正できる機能で、一般的なプロジェクションマッピングでも使われます。非アフィン変換とやらのため、もはや自分でも理解不能な四次元行列を突っ込んでぐにゃぐにゃ変換しています。幸運にも 3D 演出のとき作った構造が役立ち、何とか間に合いました。それがなければ無理だったと思います。テスト例↓

のどかな山奥の村の門にプロジェクションマッピングという想像不能な世界で、そもそも建物がどう見ても映写向きでないという大問題もありましたが、結果的には思った以上に面白いものになりました。何よりプロの方の生演奏のおかげで、自分のシステムを使ってもらえたのは嬉しかったです。

準備中は最後まで微妙な仕様変更が止まらずバタバタしていました。ともあれ今回は色々刺激的な体験ができて良かったです。

PC アプリ短編

20秒の一発ネタ。

ラピュタ動画で作ったアプリを流用したジョークです。
うまく見えるようウインドウの移動や色など試行錯誤しました。

ピアノプロジェクション UE4

これまでのピアノプロジェクションに UE4 を導入してみました。

Youtube: https://youtu.be/3t0PUvV8koU
Nico: http://nico.ms/sm27971578

しばらくピアノプロジェクションで遊んできましたが、たまには最近の技術も勉強してみようかと思って Unreal Engine 4 を触ってみました。
Unity や openFrameworks も候補にありましたが、色々な事情から判断して UE4 を選択。技術面を丁寧にまとめれば少しは有益な Blog になるかもしれませんが、面倒なので主な感想だけ…

・さすがエンジンや素材のクオリティは抜群でしたが、すぐれたツールであっても使用者にデザイン力がないと活用できないという予想通りの結果でした。今までのシステムでは実現できないような演出ができたのは良かったですが、巷の高品質な UE4 作品とは大きなギャップが。

・これまでのソースを流用したかったので、開発はほぼ C++ にしています。ピアノを弾いたら映像が変化する基本アプリは UE4 を触り始めてから数日で動きましたが、その後、実現可能なデザインを考えたり描きたい映像を作れるようになるまでは (途中で何度か企画中止寸前の時期も挟んで) 数ヶ月くらいダラダラ作っていました。最後の方は色やタイミングなどの微調整ばかりです。
今回は何かと時間がかかって苦しかったです。小規模メーカーが最近の派手なゲーム開発に付いていけなくなる状況はこんな感じではないかと思ったり。

・使っていたのが普通のノート PC だったので、やはりパワー不足に悩みました。これまで DirectX を使っていたのは、こういう懸念が一番なさそうだったからという理由もあります。
ビルドなどに時間がかかるのは耐えるとしても、作ったアプリの映像遅延が大きな問題でした。解像度をいまどきのスマホより低い 800x450 まで下げたり、パーティクルを減らして演出を抑えたりと色々苦しい対策をしていますが、それでも無理があって打鍵から映像の変化まで数百 msec の遅延が出ています。もちろん自分が使いこなせていないだけで、もっと改善する手段もあるのかもしれません。

・曲はちょうどリメイクのニュースがあった FF7 から。陰影の表現や派手なエフェクトはゲーム感があり、また映像の遅延があるのでテンポの速い曲はいまいち、等々の事情も考えて決めました。

SoundMage2 Ver1.010

SoundMage2 バージョンアップしました。
MFT 用に作ったパターンがいくつか使えるようになっています。

http://soundmage.funnyfaith.net/

よほど奇特な方しか使わないと思いますが、リリース作業は簡単 (=ろくに動作確認もしていない) なので、一応更新しておきました。

パッヘルベルのカノン / MFT デモ

Maker Faire 展示会用に製作したネタの一部を動画にしました。

ピアノプロジェクション - パッヘルベルのカノン
http://youtu.be/YhnMPx4Bejs

ピアノプロジェクション - Maker Faire Tokyo 2015 デモまとめ
http://youtu.be/uj18fIrsHOU

■カノン

カノンは作るのに手間がかかったのですが、静かで地味、会場が明るい上に客席側からでは影の演出がわかりづらい、曲が長い、と展示会に向いていなかったので結局ほとんど使いませんでした。
わりと気に入っている作品だったので、未完成部分を作り足して動画にしました。

影の二重奏は、鍵盤部分へのプロジェクションを活かした演出をやってみようと思って作りました。リアルな手や凝ったデザインの手は描くのが難しく、黒鍵に映像が映らないので不自然になります。そのため、やや必然的に影というデザインにしました。また、手が四本だと重なりすぎて見づらくなるため影は片手だけにしました。
影二重奏は、ずっと前にも FF7 の動画で似たようなことをやりましたし、今回のシステムの一部はラピュタの動画で実験的に入れたものです。

影が演奏に参加する部分は、直前の実体の演奏テンポに合わせて入ってきます。
その後、実体の演奏テンポの変化に影が追従するようにしてみようかとも思ったのですが、どうも不自然になってしまうのと、元々自分はリズムが不安定すぎるので、影の速度は一定にしてメトロノーム代わりにしました。

演奏については、一人では弾けない編曲なのでなかなか楽しいです。実体と影のパート分担を整理するため珍しく楽譜を参考にしましたが、最終的には演奏が簡単になるような雑なアレンジになっていきました。

また、動画がいつも似たような構図なので今回はちょっと見せ方で工夫してみました。基本視点の映像以外は時間差で撮影し直したものなので、いわゆる口パク状態です。複数台のカメラを設置するのは面倒なので。

Maker Faire 2015 出展

8/1, 2 は、初めての Maker Faire 出展でした。
自分の展示の振り返りをダラダラ書きます。

まずは多くの人に楽しんでもらえて一安心でした。足を止めて見てくれた人は、二日間でゆうに千人は超えていたと思います。一部の人はわりと感動してくれたようなので良し。

つたない演奏パフォーマンスで人を集めたのち、大人にも子供にも触って楽しんでもらう、というコンボが決まると良い感じです。

周囲の騒音とか不安定なスタンドとかが懸念だったのですが、実際あまり問題になりませんでした。周囲の音と光対策に、二日目は少し奥まったところに移動したりしました。
音楽カテゴリーで出展すると周囲が音ネタだらけで賑やかそうなのでアートカテゴリーで出展したのは正解でした…

失敗だったのは調子に乗って弾きすぎたことです。
演奏中は自分の代わりにチームのメンバーが説明員になってくれて助かりましたが、終わってみれば自分で直接お客さんの感想を聞く機会が少なく、自分が言いたいことを伝えられなかったのは非常に残念でした。もしまたこういう機会があるならば、演奏を短く減らしてでも、説明はなるべく自分でしようと思います。

ただ、そんな中でも製作者と直接話したいという方もいて、中でも Maker 創始者の Dale 氏には驚きました。気に入ってくれて Blog で紹介いただきました。

http://makezine.com/2015/08/03/baked-breadboards-interactive-beds-maker-faire-tokyo/

周囲のハイレベルな展示を見たり、技術に詳しい人から受けたコメントや質問を考えると、あらためて自分の展示のポイントは技術ではない (むしろ苦笑されたり…) とも感じました。
でも見せたいのは技術よりもシステムよりも、それを使ったデザインや構成や演奏を含めたパフォーマンス全体でした。
と開き直りつつも、もう少し勉強しないとダメかなと前向きに反省して終わります。

展示会が終わって三日。まだ何一つ開梱していません。

展示会準備 ～ The Summer Wars

8月に Maker Faire Tokyo という物作りの展示会に出展することになりました。

まず、前から買い換えたいと思っていた10数年前のプロジェクタをこの機会に交換。
映写範囲が広がって演奏の自由度が広がりましたが、それに合わせて過去のプログラム映像もちまちま修正。(これが面倒)

大物として、普段天井に設置していたプロジェクタを会場に設置するためのスタンドが必要だったので、こういう工作が好きな同僚に相談してアドバイスをもらいつつ、CAD で図面をひいてアルミ材でがっつり作りました。ごつい物を展示したくないのでシンプルな構造で後方に寄せた結果、非常に揺れやすい代物に…

(設計のリファレンスは昔の絞首台…)

一通り機材ができたので、実験とイベント宣伝を兼ねて簡単な動画を撮ってみました。

ピアノプロジェクション小品 - The Summer Wars
http://youtu.be/9BBGDzIYsfE

製作期間は過去最短です。以前ボツにした素材を流用したり演奏も崩壊気味だったりで、遺憾な作りですが今回はテストということで…