AR ピアノ - 春よ、来い

自由に外出できない日々なので、久しぶりにがんばってピアノ動画を作りました。
"AR ピアノ - 春よ、来い"

曲もギミックも過去動画の応用ですが、この blog を書く機会も少ないので少し製作の記録を残しておきます。

昔弾いた「春よ、来い」を思い出しながら練習していたところ、前回の動画では覚え間違いなどいまいちなところが多くて作り直したくなりました。

今回は AR 演出ですが、魔女の宅急便の動画で使った Unity 版でなくプロジェクションマッピング用のソフトを拡張して作った簡易 AR です。以前生放送で少し試したことがあります。当時の説明はこちらです。http://www.funnyfaith.net/2019/02/ar-piano.html

今回はマーカー配置やフィルタなどで安定化の工夫をして、わずかながらカメラを動かしても耐えられるようになったので、一部の構図では少しカメラを動かしてみました。
また強烈な脱線で、頭の体操がてらモノレールのようなレゴマシンを作って撮影しました。レールはプロジェクションマッピング用のスタンドから抜き取ったアルミ柱。

演出用の素材は本物の桜の花弁をキャプチャしました。以前のは薔薇の造花の花弁を色補正したインチキ版だったので、今回の密かなこだわりです。ただ、散った桜から作ったので動画は季節に間に合わず。

プロジェクションマッピングと比べて AR は器材設置や撮影が楽で良かったので、また何か作ってみたいです。やはり動画だとリアルタイム合成の効果が伝わりきらないのは残念なところですが。

レーザーピアノ - Phantom of the Opera Overture

一度やってみたかったリアルレーザー連動ピアノのシステムを作ってみました。

今回の製作のきっかけはまらしぃさんの幕張ライブで見たレーザー演出でした。頭上の空間に線が浮かぶ、ある種の立体映像のような見え方があらためて面白かったので興味を持ちました。通勤電車の中で少しずつ機器や規格の情報を調べていたら、市販の機器の組み合わせで安価で実現できそうだったのでやってみることにしました。

製作を振り返って、苦労順の下位から要素を並べてみます。

3.ピアノ

ピアノは近年ますます練習不足で新曲も練習していなかったので、元々弾いたことのある曲を弾くだけにしました。ピアノはそえるだけ。

2.レーザー制御

事前にある程度調べていたので、機器が届いてからピアノに連動して光らせるまでは簡単でした。EtherDream2 というデバイスを介し、公開されているドライバを PC で叩くだけでつなげられました。

しかし、イメージしていたデザインで描くのには少々苦労しました。一般にレーザー機器が出せるレーザーの光は一本だけなので、それを高速で分身の術のように制御して図形を描きます。

しかし今回使った機器の性能的に思い通りに動いてくれないところも多く、その調整に時間がかかりました。当初考えていたデザインからいくつか妥協して現在の形に至っています。大きなライブで使われる高級な機器ならばもっと制御の幅が広がるのかも。

1.撮影 (スモーク、掃除)

レーザーは反射させるためのスモークがないと見えないので、どうするか悩みました。軽い実験は加湿器でやっていましたが撮影するには弱く、最終的には一般的に使われているというグリセリンを使ってみました。

しかしそれでも持っているカメラでは撮影は苦しく、やや期待と違う映像になってしまいました。静止画の方が良い感じです。

レーザーは足元に置いて鏡で反射させ、ピアノの正面に弦のイメージで放射しています。CG でないリアルなものを連動させるのは面白く、ちょっと新しい感じの映像になりました。

カーテンを閉め切り、煙の充満する室内でマスク着用して異様な感触の鍵盤を叩く変態が作った動画です。

SoundMage2 Ver.1.200

公開版の SoundMage2 を更新しました。1年ぶりくらいかと思ったら３年ぶりでした。



少しずつ機能が増えていたのでリリースしようと思いつつ、延び延びになっていたようです。今回の新機能は大きく３つ。

カメラ映像背景
ときどきリクエストのあった機能です。もうプロジェクションマッピング用ではないですが、生配信などで使う場合はこちらの方が向いているかもしれません。というかプロジェクタを設置して使う方の方が少数派だったと思います。
AR 動画のとき作ったカメラ部分を整えて取り込んでいます。OpenCV を静的に抱え込んで作ったのでアプリのサイズが一気に膨らみましたが、導入しやすさ重視で。

メロディトリガ
初期から対応していた、特定のメロディで演出モードが切り替わる機能の簡易版です。実は自分のソフトで一番の特徴はこれではないかと思っています。設定ファイルで自由に定義できるようにするのが面倒で今までリリース版には入れていませんでしたが、簡易的に設定できるようにしてみました。
とはいえデザインの作りこみとか設定はややこしく、使いこなす人がいるのか疑問です。

楽譜モード
最も基本的なデザインだと思いますがようやく導入。



このモード自体はだいぶ前から作っていたもので、今年に入って時々生配信で使ったりしていました。
先日まらしぃさんの幕張ライブでまたプロジェクション演出をさせていただき、この楽譜モードの一部を拡張して取り込みました。そちらは非常にお気に入りです。そのライブの前に個人的にこれを公開してしまうのはためらわれ、ちょっとリリースを待機していました。

ときどき使用動画を目にしたり相談をいただくことなどあり、嬉しいです。
よかったら遊んでください。

ピアノプロジェクションコラボ ～ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。

AR ピアノ - モバイル版

先日の AR ピアノを Android 版に拡張してみました。

またちゃんとした動画を作るのは大変なので、突貫で実験動画だけ撮影しました。

今回のシステムはこんな感じです。ハウルの動く城の動画で使ったシステムの応用で、画面は出していませんが以前のプロジェクションマッピング用の SoundMage2 をそのまま使っています。

PC 版の AR Piano アプリを Android 用に出力してみたらわりとあっさり動いたので、あらためて Unity は完成度が高いと思いました。主な変更点は WebSocket の通信部分だけです。遅延が気になりますが、今回は軽い試作ということで改善はさぼっています。
複数の観客がそれぞれの端末で同時に見られるのは面白いかもしれません。

AR ネタでやってみたかったことは一通りできました。
最後に、先日の動画の記事がねとらぼに掲載されました。製作物のねとらぼ掲載はこれで四度目で、ありがたいことです。
http://nlab.itmedia.co.jp/nl/articles/1804/06/news109.html

AR ピアノ - 魔女の宅急便

AR を使ったピアノ演出動画を作りました。

簡単なAR の実験は以前にもやっていたのですが、動画にするとリアルタイムでなく後から CG 合成しただけのように見えそうだったので興味は低めでした。
ですが今年の正月に 3D CG への興味から Unity と SmartAR を試してみたら、思った以上に使いやすく面白い効果も作れそうだったので、作品にしてみたくなりました。

中央のマーカーを SmartAR で検出してピアノの位置推定をしています。マーカーの柄や大きさは試行錯誤がありましたが、自分のアイコンでも上々だったのでそれを使うことにしました。大きさはこの距離だとこれがギリギリくらいでした。

今回は Unity, SmartAR, C# すべてが初めてだったので大変でしたが勉強にはなったと思います。これまでプロジェクションマッピング用に作ってきたものをなるべく活用したかったので、MIDI 検出、テスト用の MIDI 録音/再生、メロディ検出、WebSocket 通信等の基本機能は SoundMage のコア部分を C++ のまま dll 化して使っています。

動画の真ん中くらいで青の音符がピアノの周りを回るあたりが、やさしさに包まれた感じで気に入っています。

Unity で色々調べてみたら、立体のマスクを作ればこういう演出ができそうだったので導入してみました。ラフにピアノの形状を定義したモデルで、”後ろにある背景は透過して見えるけれど後ろにある他のオブジェクトは隠れて見えなくなる" という性質になっています。

撮影に使ったレゴ車はずっと前から細々遊んでいたものを大改造して実戦投入しました。今回の動画も一度友人にテスト撮影してもらったのですが、毎度お願いするのは大変だし、なにより自分の駄目な演奏は撮り直しが多すぎるのとで、機械撮影という変態的なことをやってみました。PC と WiFi で接続し、今までと同様 WebSocket でシーン切換コマンドを送って制御しています。

今回の曲は昔から好きだったけれど動画にはしていなかった魔女の宅急便から。Unity のインストールをしているときたまたまテレビで魔女の宅急便をやっていたので、動画制作の最初からその曲を考えていました。

なお、解説パートで弾いているのは自作の曲です。(言うまでもないか…)

映像で形を作りつつも、なんとか音楽っぽく聞こえるようなものをと考えました。

ピアノプロジェクション 3D改 - The Phantom of the Opera

久しぶりにピアノプロジェクションの演奏動画を作りました。



リアルタイムでカメラの位置を計測して動画の視点を追従させるシステムを導入し、昔作った 3D 錯視を改良してみました。思ったよりうまくいき、自分で眺めていても面白かったです。

原案は昔ラピュタの 3D 動画を作ったとき既にあったのですが、当時はカメラの位置を正確・高速に測定するのが難しそうだったのでやめました。
ですが最近別件で初めて OpenCV に触り、AR marker を試していたら簡単に位置計測が実現できそうだったので計画が始まりました。

ちょっと厄介だったのは計測結果が不安定なことで、誤差を抑えるフィルタを作ったりマーカーを2枚にしてエラー率を下げたり色々と対策を入れて安定化を図りました。

結局位置計測システムは家にあった Web カメラと木材の切れ端だけで作れたので、今回の製作費はマーカー印刷代の50円くらいです。(我が家にプリンタがあったらゼロだったかも…)

◆

既におまけのような感じのピアノ演奏ですが、今回は友人に撮影してもらったためこれまでのように何日もかけて撮りなおせないのが苦しいところです。いつもより練習してから撮影しましたが緊張しました。
オペラ座の怪人は大学時代にロンドンの劇場で見て以来愛してやまない作品で、作品中の曲は他にもよく弾いています。今回は迷いましたが一番有名そうな曲にしました。
肉声の歌のすばらしさは到底表現できませんが、動画前半の黄色と青の光の演出は女声と男声に対応させたイメージです。

◆

何よりも圧倒的に大変だったのはデザインの地味な作りこみです。製作期間全体の8割くらいは曲に合わせたデザインを構想して実装したり動きや色の調整を繰り返す作業でした。今回は映像が面白くなりそうだったのであまり妥協せず、作ってからボツにしたパターンも何種類かあります。以下は攻撃力が高すぎてボツにしたパターンの例です。これはこれで別の曲なら…

久しぶりの動画ということでわりと細部にこだわり、ダラダラ4ヶ月くらい作っていました。