ピアノプロジェクションコラボ ～ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。

ピアノプロジェクションコラボ ～ まらしぃ様 2

春の sakura wishes に続き、ピアニストまらしぃさんのパフォーマンス用に演出製作をさせてもらいました。しかも動画ではなくライブツアー用という大きなお話で、一介の中年サラリーマンの趣味がそんなことになるとは…
ツアー中はネタバレを避けて伏せていましたが、昨日東京の最終公演が無事終了したので振り返りです。

今回はプロジェクションマッピングではなくピアノに連動した映像を大スクリーンに映す構成ということでした。いつものような見せ方はできないですが、映像をピアノ位置に合わせる必要がないため、曲のテーマだった水と龍のイメージで鍵盤を躍らせたりして遊んでみました。

また、今回の企画ではパズドラの公式画像を提供いただけたのでフル活用しました。
全体の構成はいつも通りの素人デザインでしたが、画像素材に高品質なものが入ると締まった気がします。例によってデザイン構想やら試作やら作り直しやら微調整やらリハやらで想定の倍以上時間がかかって泣けましたが、特別な機会なので楽しみながらやらせてもらいました。(実は試作版でトリッキーな画像の使い方をしたら一部の演出が没になって作り直しに…)

と、言葉で説明しても伝わらないと思いますが、パズドラのステージ映像など載せると全方位から怒られそうなので、リハーサル中の一コマだけ。まらしぃさんのイメージキャラであるサルのデモ演出。他の曲もこんな大スクリーンで展開されました。

このサル画像のパターンは、ツアー直前の打ち合わせのとき話の流れで急遽追加することにしたデモパターンです。製作時間30分以下でしたがサル人気は自分の想像以上で、本番ではまらしぃさんのトークもあって大いに盛り上がっていたので作って良かったです。

最後に、この製作を抜きにしても本当に楽しいライブですっかり堪能させてもらいました。

(追記) ライブの記事が出ていました。良い写真たくさんで嬉しいです。
音楽ナタリー [まらしぃ全国ツアー完走、ピアノプロジェクションやニコ生中継で女子大沸かす]

ピアノプロジェクションコラボ ～ まらしぃ様

しばらく音楽や動画でなく地味な物作り趣味に勤しんでいたところ、ある日驚きのお話が。




ピアニストまらしぃ氏の動画でピアノプロジェクションを使ってみたいというご相談を受けました。我が家の電子ピアノと素人演出でこんな本格的なお仕事に参加して良いものかと戸惑いましたが、微力ながら参加させていただきました。
今回の曲 sakura wishes はまらしぃ氏自らの作曲で CM に使用されている素敵な曲です。→ http://natalie.mu/music/news/222962

いただいた曲とリクエストの中でデザインを考えるのは苦手な作業で時間もかかり、やはりデザイナーにアウトソーシングする形に持って行かないとやばいなどと思いつつ、自分なりに丁寧に作りました。まあ多くの時間は版権フリーの画像をダラダラ検索する作業なのですが…

今回は正統派な演出で、技術的に新しいギミックは見えないかもしれませんが、曲で使用する音域が広かったため映写範囲を広げ、鍵盤のサイズを微調整できるように修正を入れています。過去の作品と互換性を保つのが少々厄介でした。

我が家での収録ということで念入りに準備しておいたのですが、一つ誤算だったのは、いざまらしぃ氏が演奏したらアタックの強い部分でスクリーンが思ったより揺れてしまったことです。強弱のメリハリがない自分の演奏では目立たなかった脆さで、演奏と設計をダブルで反省。

動画は公開直後からまらしぃ氏の影響力で普段の自分の動画では考えられないくらい多くの方に見ていただけています。

7年くらい前、初めてピアノ動画を作り始めた頃ニコニコでまらしぃ氏をはじめとする凄腕の方々が弾いているのを見て、自分が普通に演奏動画を公開しても誰も見ないかなあと考えて全力でギミック堕ちして行きました。それが巡り巡ってこういう企画に至ったと思うと面白いです。

リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。

"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的良さそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。

黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。

LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件：
・速い曲だと解析が追い付かないので適度なテンポの曲
・およそ四半世紀ぶりのリコーダーでも吹けてリコーダーの音域に収まる曲

TV で懐かしい映画をやっていたのでそれにしました。
いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

ピアノプロジェクション & bit

久しぶりに動画を作りました。ハウルの動く城より 人生のメリーゴーランド

Youtube: https://youtu.be/uCwP1p7oTkU
Nico: http://nico.ms/sm29246504

しばらくプロジェクションマッピングばかりだったので、何か手軽に遊びやすいものでも作ってみようと思ってタブレット連動を試したところから始まりました。
前回 Unreal Engine で高度な 3D CG 技術をかじってみたら手に負えなかったので、今回は一転して手軽な方向に傾倒して Web アプリにしました。描画には Pixi.js というライブラリを使っています。サブアプリはメインアプリに比べて開発が早くて楽でした。
システムはこんな感じに。

サブアプリも PC から配信しているので、適当な機器のブラウザからつなぐだけで使えます。演奏の通信は WebSocket を使いました。今までのシステムにサーバを追加して適当にプロトコルを決め、打鍵やシーンの情報を送っています。
一部のブラウザでは動きませんでしたが、Chrome ならばどの機器でも動いていました。試しに PC やタブレットなど複数機器をつないで動かしてみたら、若干不安定ながらも遅延は少なくて良い感じでした。

と、ここまでが半年くらい前の話で、その頃はまだ動画を作る予定もありませんでした。

その後、旅行やらかぶちゃん村やら庭動画やらで何度も中断しながら少しずつ企画を考えました。試しに画面デバイスを並べてみたら、ただの駄目人間の部屋にしか見えず絵的に酷かったからです…
最近になって CG を少し作りこみ部屋を暗くしてカメラを通したら、暗い空間に画面が浮かび上がるような感じで面白かったので、ようやく動画を作ってみることにしました。

利用可能な画面機器をかき集めて、最終的には以下のようになりました。

また、最近の動画でときどき使っている手法で、カメラのアングル切り替えがあります。今回は特に立体的な構造を見せたかったので手間をかけて6視点で撮影して編集しています。以前作った 3D のラピュタ動画と対照的です。
もちろん6台ものカメラは持っていないので 6回撮影しました。初回に撮った演奏を聴きながら、残り5回はタイミングを合わせて弾いて撮影しています。ですので、初回撮影の構図以外は若干タイミングがずれている個所があります。まあ動画上の問題なので妥協…

人生のメリーゴーランドは難しくて最後まで弾いたことがなかったのでわりと苦労しました。演出のデザインは曲のイメージに合わせて考えています。最後の風景写真の窓は例によって趣味の旅行写真を使いました。

久しぶりにがんばったので解説もダラダラ書いてしまいました。今回のシステムは手軽に遊べるものですが、動画の作成は映像の調整や機器のレイアウトや撮影編集など、やたら面倒でした。このネタは今回限りでしょう。

かぶちゃん村イベント

プロジェクションマッピングのイベント企画をしている会社の方からご相談をいただき、短期間ですがサポート開発をしていました。最初は公開中のソフトをご自由にどうぞというつもりだったのですが、追加開発のご相談や出張依頼もあったので、業務の形にさせてもらいました。

場所はこちらの村テーマパークの門。のどかで良いところでした。
http://kabuchanmura.jp/

過去に普通のプロジェクションマッピングもおこなっていたそうですが、今回はピアノ連動を取り入れた演出をしたいというお話でした。自分としても、ピアノ上ではなく背後の建物に大きな映像を出すような見せ方は初めてで、プロの方が演奏したりお客様に遊んでもらうというあたりも興味があったので、やってみることにしました。

数週間かけてレイアウトとデザインの変更を中心にあれこれ修正しましたが、あまりに時間が足りないため妥協の嵐になりました。ほぼぶっつけ本番だったので、当日微調整しやすいように工夫しておきました。

技術面で新しく追加した大きな機能はコーナーピン補正です。
映写機材の配置に自由度を持たせ、映像が歪んでも四頂点を指定して補正できる機能で、一般的なプロジェクションマッピングでも使われます。非アフィン変換とやらのため、もはや自分でも理解不能な四次元行列を突っ込んでぐにゃぐにゃ変換しています。幸運にも 3D 演出のとき作った構造が役立ち、何とか間に合いました。それがなければ無理だったと思います。テスト例↓

のどかな山奥の村の門にプロジェクションマッピングという想像不能な世界で、そもそも建物がどう見ても映写向きでないという大問題もありましたが、結果的には思った以上に面白いものになりました。何よりプロの方の生演奏のおかげで、自分のシステムを使ってもらえたのは嬉しかったです。

準備中は最後まで微妙な仕様変更が止まらずバタバタしていました。ともあれ今回は色々刺激的な体験ができて良かったです。

ピアノプロジェクション UE4

これまでのピアノプロジェクションに UE4 を導入してみました。

Youtube: https://youtu.be/3t0PUvV8koU
Nico: http://nico.ms/sm27971578

しばらくピアノプロジェクションで遊んできましたが、たまには最近の技術も勉強してみようかと思って Unreal Engine 4 を触ってみました。
Unity や openFrameworks も候補にありましたが、色々な事情から判断して UE4 を選択。技術面を丁寧にまとめれば少しは有益な Blog になるかもしれませんが、面倒なので主な感想だけ…

・さすがエンジンや素材のクオリティは抜群でしたが、すぐれたツールであっても使用者にデザイン力がないと活用できないという予想通りの結果でした。今までのシステムでは実現できないような演出ができたのは良かったですが、巷の高品質な UE4 作品とは大きなギャップが。

・これまでのソースを流用したかったので、開発はほぼ C++ にしています。ピアノを弾いたら映像が変化する基本アプリは UE4 を触り始めてから数日で動きましたが、その後、実現可能なデザインを考えたり描きたい映像を作れるようになるまでは (途中で何度か企画中止寸前の時期も挟んで) 数ヶ月くらいダラダラ作っていました。最後の方は色やタイミングなどの微調整ばかりです。
今回は何かと時間がかかって苦しかったです。小規模メーカーが最近の派手なゲーム開発に付いていけなくなる状況はこんな感じではないかと思ったり。

・使っていたのが普通のノート PC だったので、やはりパワー不足に悩みました。これまで DirectX を使っていたのは、こういう懸念が一番なさそうだったからという理由もあります。
ビルドなどに時間がかかるのは耐えるとしても、作ったアプリの映像遅延が大きな問題でした。解像度をいまどきのスマホより低い 800x450 まで下げたり、パーティクルを減らして演出を抑えたりと色々苦しい対策をしていますが、それでも無理があって打鍵から映像の変化まで数百 msec の遅延が出ています。もちろん自分が使いこなせていないだけで、もっと改善する手段もあるのかもしれません。

・曲はちょうどリメイクのニュースがあった FF7 から。陰影の表現や派手なエフェクトはゲーム感があり、また映像の遅延があるのでテンポの速い曲はいまいち、等々の事情も考えて決めました。

パッヘルベルのカノン / MFT デモ

Maker Faire 展示会用に製作したネタの一部を動画にしました。

ピアノプロジェクション - パッヘルベルのカノン
http://youtu.be/YhnMPx4Bejs

ピアノプロジェクション - Maker Faire Tokyo 2015 デモまとめ
http://youtu.be/uj18fIrsHOU

■カノン

カノンは作るのに手間がかかったのですが、静かで地味、会場が明るい上に客席側からでは影の演出がわかりづらい、曲が長い、と展示会に向いていなかったので結局ほとんど使いませんでした。
わりと気に入っている作品だったので、未完成部分を作り足して動画にしました。

影の二重奏は、鍵盤部分へのプロジェクションを活かした演出をやってみようと思って作りました。リアルな手や凝ったデザインの手は描くのが難しく、黒鍵に映像が映らないので不自然になります。そのため、やや必然的に影というデザインにしました。また、手が四本だと重なりすぎて見づらくなるため影は片手だけにしました。
影二重奏は、ずっと前にも FF7 の動画で似たようなことをやりましたし、今回のシステムの一部はラピュタの動画で実験的に入れたものです。

影が演奏に参加する部分は、直前の実体の演奏テンポに合わせて入ってきます。
その後、実体の演奏テンポの変化に影が追従するようにしてみようかとも思ったのですが、どうも不自然になってしまうのと、元々自分はリズムが不安定すぎるので、影の速度は一定にしてメトロノーム代わりにしました。

演奏については、一人では弾けない編曲なのでなかなか楽しいです。実体と影のパート分担を整理するため珍しく楽譜を参考にしましたが、最終的には演奏が簡単になるような雑なアレンジになっていきました。

また、動画がいつも似たような構図なので今回はちょっと見せ方で工夫してみました。基本視点の映像以外は時間差で撮影し直したものなので、いわゆる口パク状態です。複数台のカメラを設置するのは面倒なので。

Maker Faire 2015 出展

8/1, 2 は、初めての Maker Faire 出展でした。
自分の展示の振り返りをダラダラ書きます。

まずは多くの人に楽しんでもらえて一安心でした。足を止めて見てくれた人は、二日間でゆうに千人は超えていたと思います。一部の人はわりと感動してくれたようなので良し。

つたない演奏パフォーマンスで人を集めたのち、大人にも子供にも触って楽しんでもらう、というコンボが決まると良い感じです。

周囲の騒音とか不安定なスタンドとかが懸念だったのですが、実際あまり問題になりませんでした。周囲の音と光対策に、二日目は少し奥まったところに移動したりしました。
音楽カテゴリーで出展すると周囲が音ネタだらけで賑やかそうなのでアートカテゴリーで出展したのは正解でした…

失敗だったのは調子に乗って弾きすぎたことです。
演奏中は自分の代わりにチームのメンバーが説明員になってくれて助かりましたが、終わってみれば自分で直接お客さんの感想を聞く機会が少なく、自分が言いたいことを伝えられなかったのは非常に残念でした。もしまたこういう機会があるならば、演奏を短く減らしてでも、説明はなるべく自分でしようと思います。

ただ、そんな中でも製作者と直接話したいという方もいて、中でも Maker 創始者の Dale 氏には驚きました。気に入ってくれて Blog で紹介いただきました。

http://makezine.com/2015/08/03/baked-breadboards-interactive-beds-maker-faire-tokyo/

周囲のハイレベルな展示を見たり、技術に詳しい人から受けたコメントや質問を考えると、あらためて自分の展示のポイントは技術ではない (むしろ苦笑されたり…) とも感じました。
でも見せたいのは技術よりもシステムよりも、それを使ったデザインや構成や演奏を含めたパフォーマンス全体でした。
と開き直りつつも、もう少し勉強しないとダメかなと前向きに反省して終わります。

展示会が終わって三日。まだ何一つ開梱していません。

展示会準備 ～ The Summer Wars

8月に Maker Faire Tokyo という物作りの展示会に出展することになりました。

まず、前から買い換えたいと思っていた10数年前のプロジェクタをこの機会に交換。
映写範囲が広がって演奏の自由度が広がりましたが、それに合わせて過去のプログラム映像もちまちま修正。(これが面倒)

大物として、普段天井に設置していたプロジェクタを会場に設置するためのスタンドが必要だったので、こういう工作が好きな同僚に相談してアドバイスをもらいつつ、CAD で図面をひいてアルミ材でがっつり作りました。ごつい物を展示したくないのでシンプルな構造で後方に寄せた結果、非常に揺れやすい代物に…

(設計のリファレンスは昔の絞首台…)

一通り機材ができたので、実験とイベント宣伝を兼ねて簡単な動画を撮ってみました。

ピアノプロジェクション小品 - The Summer Wars
http://youtu.be/9BBGDzIYsfE

製作期間は過去最短です。以前ボツにした素材を流用したり演奏も崩壊気味だったりで、遺憾な作りですが今回はテストということで…

ピアノにプロジェクションマッピング - 反響

ラピュタと Let It Go あわせて、フジテレビのめざましどようび番組内で紹介していただきました。
事前の問い合わせに細かく回答し、長尺で恥ずかしいくらいしっかり紹介していただいて驚きました。ありがたく記念撮影。

放映前後の再生数をウォッチしてみました。ほぼ消えかけていたアクセスが一気に伸びています。数千くらいの伸びだったので、ネットの有名サイトの方が爆発力は大きいかもしれませんが、放送時間中の瞬間最大風速はなかなかです。曲の流行のためか、Let It Go の方が伸びていました。

その他、投稿直後に取り上げていただけたサイト

• ねとらぼ

今回は以下のようなサイトに取り上げられて海外からのアクセスも多少増えてきています。

• rocketnews
• gadgetify

ニコニコはコメントが面白いですがユーザ層に偏りがあるため、こうやって Youtube 側が伸びて海外含めた広い層からフィードバックをいただけるのは嬉しいです。

公開から一週間で反響が嬉しかったので振り返りでした。

ピアノにプロジェクションマッピング - ラピュタ (2)

今回は技術の話を少し。DirectX の 3D グラフィックスはおおまかに言うと

(1) 空間上の座標を決めてテクスチャをペタペタ配置する
(2) 視点の座標を決める
(3) (2) の視点と (1) の間にスクリーンを置いて、そのスクリーンを通して見える映像を出力

という形になります。
普通は (2) の視点を (3) のスクリーンと垂直の位置(スクリーンを正面から見る位置)にして映像を描かせると思いますが、この動画ではそれをずらしています。

実環境でピアノ上に表示される映像サイズと撮影カメラの位置から座標を計算すれば、あとは DirectX が描いてくれます。
視点の位置は簡単に調整できるようにしてあり、動画に使った設定と真正面の設定で出力を比較するとこうなります。

上の画像は視点を左下に設定しているので、左下方向から眺めるとちょうど良く見えます。

また、後半の二重奏部分も新しいチャレンジで、3D 空間上に動画ファイルの変速再生を追加しました。速度を調整しながら動画ファイルから1フレームずつ取り出し、表示位置を決めて貼り付けてみました。

今回は作っていて技術的にわりと楽しかったので勢いで色々書いてしまいましたが、意味不明かも。

ピアノにプロジェクションマッピング - ラピュタ

【Youtube】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

【ニコニコ動画】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

ピアノのプロジェクションマッピングシステムはリアルで演奏したり見たりするのが楽しいのですが、今回は逆に動画ならではの特性を活かしたものを作りました。

実は動画の製作途中で方針転換して丸々作り直したので、かなり遠回りしています。
初期版をテスト撮影したものはこんな感じです。

空を飛んでいるイメージで、ノーマルアレンジのラピュタを演奏していました。
これも気に入っていましたが、板状の物を回転させる処理を試していたら、わりとリアルな 3D 表現ができることに気づき、興味がそちらに傾いて作り直すことにしました。
一応ノーマルアレンジの演奏は後半の解説で再利用しています。

ソフトは前回と同様で、Windows7 + Visual C++ + DirectX + 標準 MIDI lib です。3D の技術としては DirectX のテクスチャ非線形変換・レンダリングだけ使用しています。3D グラフィックスの領域では基礎だけですが、凝りだすと悩んで進まなくなりそうなので割り切りました。初期テストの画像がこちら。雑です。

例によって画力不足なので、最初の石版や中盤背景のロゼッタストーン、最後の羽根などは実写画像を取り込んで加工しました。最初の石版は昔カンボジアの遺跡で撮影したもので、お気に入りです。

一番悩んだのはソフト設計でもピアノ演奏でもなく全体のデザインで、空間上の物体のアニメーションとか色とかの微調整で試行錯誤しました。鍵盤が透けて下が見えている感じは伝わるでしょうか。自分の 3D オブジェクトデザインの限界が正八面体程度だったので、全編にわたって飛行石をフル活用…

(多分つづく)

演奏者たち

ピアノ奏者の知人たちを招いて遊びました。
ピアノ連動プロジェクションの実物を触ってもらい、動画とは違う演奏者自身の楽しさを感じてもらえて好評価。自分にはできないハイレベルな演奏でソフトが破綻しないか心配でしたが、見たことのない映像が見られて痛快でした。

多くの演奏者に実物を体験してほしいと以前から思っていたものの、環境構築が面倒でなかなか実現しなかったので、今日は良い機会でした。

完成間近だった次の動画の試作も見てもらい、新技術ネタで驚きは与えられた模様。
あいかわらず製作にかなり手間取っていますが、近々公開します。

展示会

先日、展示会 BLUE LINE TOKYO というイベントで発表させてもらいました。

リアルで発表するのは初めてのことで大変でしたが、お客さんや他の出展者の方にも楽しんでいただけたようで嬉しかったです。曲のレパートリーが少なくてほとんどリピート演奏でしたが、ここぞとばかりに弾き続け、ピアノで筋肉痛になる始末。

本格的に CG をやっている方も出展されていたので映像を比べるとチープさが際立ちましたが、ポイントはシステムなので、来場者の方はあまり気にならなかった様子でした。
中でも子供からの人気がすごく、バシバシ鍵盤を叩いて遊んでいました。(何か違うけれど、そういう方向もありか…)

せっかく作ったので発表資料を。

 

途中のサンプル動画はこれまで Youtube に上げてあったものからの抜粋ですが、今回用に一つ追加アップしました。→ デモ: FF Prelude

ということで、初めてネットの外に飛び出した活動になりました。こういう形で見てもらえたのは嬉しかったです。
ネットの数万人とリアルの数百人では数は違いますが、リアルでしか得られないものは大きかったと思います。

ピアノにプロジェクションマッピング改

【Youtube】Let It Go ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- Let It Go

以前 MIDI を使った CG 合成動画を作りましたが、あれは撮影後に時間をかけて画像処理したものでした。
本当は演奏中にリアルタイムで映像を作りたかったのですが、リアルタイムで派手な映像を作るのは、家の PC 程度ではパフォーマンス的に無理だと思っていました。
…そういう思い込みは技術屋として駄目だと反省。

あるとき Direct X を試してみたら、想像以上の描画パフォーマンスで驚きました。
PC への MIDI 入力遅延や、プロジェクタの映像出力遅延など、他にもいくつか懸念材料がありましたが、一通り接続した仮システムでほとんど遅延がなかったので、これは行けると思って動画を作ることにしました。

2ヶ月ほど前、会社内で小さな技術発表をする機会があったので、ちょうど実験中だったこのネタを紹介してみました。そのときのデモ映像がこちら。

わりと反応は良かったので自信向上。これはプロトタイプの映像なのでしょぼいものですが、これが実現できるならば面白いものも作れそうだと思いました。

絵を描く技術がないので、無機的な素材のつなぎあわせでアニメーションを派手にしました。ピアノやソフトは自力でがんばりたいですが、CG は得意な方に委託したくなってきました。
プロジェクタや撮影を通すと劣化しますが、元はこのくらいくっきりしています。この映像では黒鍵の形の処理をしていませんが、黒鍵には映像が映らないので大丈夫です。

今までの動画では、元々興味があって聴いたり弾いたりしたことのある曲を使っていましたが、今回の Let It Go はこの動画のために新しく弾き始めたものです。人気のある曲だし、手から雪が出る映像など映画のイメージと近いものにしたら面白いかと思って選びました。

製作のほか、プロジェクタや撮影の微調整もかなり面倒で学びが多かったです。

ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- 紅蓮の弓矢

 およそ一年ぶりの動画製作になりました。
プロジェクタで音楽に同期した演出を重ねるのは、実は4年前に考えていたことでしたが、当時は面白いアイディアがなく、結局プロジェクタでなく撮影後の動画に CG を合成する方向に向かいました。

そんな CG 動画にも飽きてきて制作もしていなかったのですが、最近プロジェクションマッピング演出を色々見ていて、やはり音楽と組み合わせるのは面白そうだと思い作ってみました。4年前より CG 動画作りに慣れていて構想しやすかったのが大きいと思います。

まず天井の照明を外し、そのコネクタからプロジェクタ用の台を吊るして固定しました。下向きに固定するのは面倒そうなので、鏡の部品を作って反射させます。

サイズ合わせのため、格子状の画像を作って照射し、写真撮影しました。

曲は最近練習していた紅蓮の弓矢にしました。派手な人気曲なのでちょうど良かったです。
ピアノ演奏を録音し、そのタイミングに合わせた動画を作成します。鏡に映すため反転します。
作った動画はこのように安っぽい味気ないものですが、これを物体に照射するとそれなりの見栄えになるのがプロジェクションマッピングの面白さでしょうか。

この動画を照射し、音を聴きながらそれに合わせて再度演奏して撮影します。予想はしていましたが、ギラギラして弾きにくいこと…

色々心残りもありますが、わりと面白いものになりました。今回は工作に苦労したので、できればもう少し改善して何か作りたいと思っています。