2019年7月21日日曜日

レーザーピアノ - Phantom of the Opera Overture

一度やってみたかったリアルレーザー連動ピアノのシステムを作ってみました。


今回の製作のきっかけはまらしぃさんの幕張ライブで見たレーザー演出でした。頭上の空間に線が浮かぶ、ある種の立体映像のような見え方があらためて面白かったので興味を持ちました。通勤電車の中で少しずつ機器や規格の情報を調べていたら、市販の機器の組み合わせで安価で実現できそうだったのでやってみることにしました。

製作を振り返って、苦労順の下位から要素を並べてみます。

3.ピアノ
ピアノは近年ますます練習不足で新曲も練習していなかったので、元々弾いたことのある曲を弾くだけにしました。ピアノはそえるだけ。

2.レーザー制御
事前にある程度調べていたので、機器が届いてからピアノに連動して光らせるまでは簡単でした。EtherDream2 というデバイスを介し、公開されているドライバを PC で叩くだけでつなげられました。
しかし、イメージしていたデザインで描くのには少々苦労しました。一般にレーザー機器が出せるレーザーの光は一本だけなので、それを高速で分身の術のように制御して図形を描きます。


しかし今回使った機器の性能的に思い通りに動いてくれないところも多く、その調整に時間がかかりました。当初考えていたデザインからいくつか妥協して現在の形に至っています。大きなライブで使われる高級な機器ならばもっと制御の幅が広がるのかも。

1.撮影 (スモーク、掃除)
レーザーは反射させるためのスモークがないと見えないので、どうするか悩みました。軽い実験は加湿器でやっていましたが撮影するには弱く、最終的には一般的なグリセリンを使ってみました。


しかしそれでも持っているカメラでは撮影は苦しく、やや期待と違う映像になってしまいました。静止画の方が良い感じです。


レーザーは足元に置いて鏡で反射させ、ピアノの正面に弦のイメージで放射しています。CG でないリアルなものを連動させるのは面白く、ちょっと新しい感じの映像になりました。
カーテンを閉め切り、煙の充満する室内でマスク着用して異様な感触の鍵盤を叩く変態が作った動画です。

2019年6月18日火曜日

SoundMage2 Ver.1.200

公開版の SoundMage2 を更新しました。1年ぶりくらいかと思ったら3年ぶりでした。



少しずつ機能が増えていたのでリリースしようと思いつつ、延び延びになっていたようです。今回の新機能は大きく3つ。

カメラ映像背景
ときどきリクエストのあった機能です。もうプロジェクションマッピング用ではないですが、生配信などで使う場合はこちらの方が向いているかもしれません。というかプロジェクタを設置して使う方の方が少数派だったと思います。
AR 動画のとき作ったカメラ部分を整えて取り込んでいます。OpenCV を静的に抱え込んで作ったのでアプリのサイズが一気に膨らみましたが、導入しやすさ重視で。

メロディトリガ
初期から対応していた、特定のメロディで演出モードが切り替わる機能の簡易版です。実は自分のソフトで一番の特徴はこれではないかと思っています。設定ファイルで自由に定義できるようにするのが面倒で今までリリース版には入れていませんでしたが、簡易的に設定できるようにしてみました。
とはいえデザインの作りこみとか設定はややこしく、使いこなす人がいるのか疑問です。

楽譜モード
最も基本的なデザインだと思いますがようやく導入。



このモード自体はだいぶ前から作っていたもので、今年に入って時々生配信で使ったりしていました。
先日まらしぃさんの幕張ライブでまたプロジェクション演出をさせていただき、この楽譜モードの一部を拡張して取り込みました。そちらは非常にお気に入りです。そのライブの前に個人的にこれを公開してしまうのはためらわれ、ちょっとリリースを待機していました。

ときどき使用動画を目にしたり相談をいただくことなどあり、嬉しいです。
よかったら遊んでください。

2019年2月17日日曜日

AR Piano 生配信

もう1年近く前ですが、ピアノにARする動画を作りました。リアルタイム合成は動画よりライブの方が活かせそうだと感じていたので、今回は環境を作って生配信をしてみました。


内容はボロボロですがアーカイブはこちらに。


位置認識用のマーカーをピアノに貼り、カメラで撮影、位置認識、映像合成、配信、の流れで処理しています。配信の際にマーカーは目立つので映像合成で雑に塗りつぶしています。



今回のソフトはこれまでプロジェクションマッピング用に使っていた SoundMage2 の機能拡張版です。カメラ入力とマーカー認識、映像出力モードを追加して、演出を3D空間に合成するようにしました。設定次第でこれまでのプロジェクションマッピング用の出力にもなります。プロジェクション用に作ってきた演出を AR 用に配置して使えるので遊びやすいのがポイントです。座標系処理はまた一段とカオスに…

システムは無計画に増築を繰り返しており、今はこんな感じです。



基本システムは映像の品質を考えたら前回 AR に使った Unity が良いかなと思いつつも、何より今手軽に遊べりゃいいやというアーキテクチャに傾き、DirectX に回帰しました。慣れた軽いシステム、画像の手軽な変更、過去資産の流用、そもそも Unity を活用した高度なデザインは自分には無理、と判断理由は色々です。


作ってみると音と映像のずれが目立ちました。PCがカメラから受け取る画像が既に100[msec] 以上遅れているようだったので限界はありますが、少しでも改善するよう対策を入れています。
  • 配信ソフトの OBS でディレイ調整。配信時は結局これで何とかなるのですが、今後の応用も想定して他の改善も検討しました。
  • マーカー検出 on/off 切り替え。位置認識は処理が重いので起動時だけおこない、その後は追跡しないようにしています。カメラ固定を前提にした簡易ARです。
  • カメラ入力をトリガにして映像処理をカメラに同期するモードを追加しました。スレッド構成などを見直して、次々と重いバグが生成されて泣きました。というかまだ残っています。
  • 速い PC やカメラの使用。本当はなるべく環境を選ばないシステムが好きなのですが。

配信中の解説用にいつもの動画と同様アイコンを使いました。せっかくなので AR空間で動かしつつ、音声合成で喋らせてみました。音声合成の入力を早くするため音声認識にも対応しています。このあたりの機能やモード切替は、使いやすいように別 PC やスマホからも操作できるようにしています。


などなど、小ネタを色々盛り込んでいてなかなか実行に移さず、当初の配信予定から何か月も遅れました。そしていざ生配信してみると無残なもので、練習不足と緊張で演奏は崩壊するしトークのテンポも最悪だったりシステムトラブルもあったり。
でも視聴者とのリアルタイムなやりとりなど今までにない楽しさがあったので、懲りずにまた遊んでみようと思います。

2018年8月24日金曜日

ピアノプロジェクションコラボ ~ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。




2018年4月7日土曜日

AR ピアノ - モバイル版

先日の AR ピアノを Android 版に拡張してみました。
またちゃんとした動画を作るのは大変なので、突貫で実験動画だけ撮影しました。


今回のシステムはこんな感じです。ハウルの動く城の動画で使ったシステムの応用で、画面は出していませんが以前のプロジェクションマッピング用の SoundMage2 をそのまま使っています。


PC 版の AR Piano アプリを Android 用に出力してみたらわりとあっさり動いたので、あらためて Unity は完成度が高いと思いました。主な変更点は WebSocket の通信部分だけです。遅延が気になりますが、今回は軽い試作ということで改善はさぼっています。
複数の観客がそれぞれの端末で同時に見られるのは面白いかもしれません。

AR ネタでやってみたかったことは一通りできました。
最後に、先日の動画の記事がねとらぼに掲載されました。製作物のねとらぼ掲載はこれで四度目で、ありがたいことです。
http://nlab.itmedia.co.jp/nl/articles/1804/06/news109.html

2018年3月26日月曜日

AR ピアノ - 魔女の宅急便

AR を使ったピアノ演出動画を作りました。



簡単なAR の実験は以前にもやっていたのですが、動画にするとリアルタイムでなく後から CG 合成しただけのように見えそうだったので興味は低めでした。
ですが今年の正月に 3D CG への興味から Unity と SmartAR を試してみたら、思った以上に使いやすく面白い効果も作れそうだったので、作品にしてみたくなりました。

中央のマーカーを SmartAR で検出してピアノの位置推定をしています。マーカーの柄や大きさは試行錯誤がありましたが、自分のアイコンでも上々だったのでそれを使うことにしました。大きさはこの距離だとこれがギリギリくらいでした。

今回は Unity, SmartAR, C# すべてが初めてだったので苦しかったですが勉強にはなったと思います。これまでプロジェクションマッピング用に作ってきたものをなるべく活用したかったので、MIDI 検出、テスト用の MIDI 録音/再生、メロディ検出、WebSocket 通信等の基本機能は SoundMage のコア部分を C++ のまま dll 化して使っています。

動画の真ん中くらいで青の音符がピアノの周りを回るあたりが、やさしさに包まれた感じで気に入っています。


Unity で色々調べてみたら、立体のマスクを作ればこういう演出ができそうだったので導入してみました。ラフにピアノの形状を定義したモデルで、”後ろにある背景は透過して見えるけれど後ろにある他のオブジェクトは隠れて見えなくなる" という性質になっています。


撮影に使ったレゴ車はずっと前から細々遊んでいたものを大改造して実戦投入しました。今回の動画も一度友人にテスト撮影してもらったのですが、毎度お願いするのは大変だし、なにより自分の駄目な演奏は撮り直しが多すぎるのとで、機械撮影という変態的なことをやってみました。PC と WiFi で接続し、今までと同様 WebSocket でシーン切換コマンドを送って制御しています。


今回の曲は昔から好きだったけれど動画にはしていなかった魔女の宅急便から。Unity のインストールをしているときたまたまテレビで魔女の宅急便をやっていたので、動画制作の最初からその曲を考えていました。

なお、解説パートで弾いているのは自作の曲です。(言うまでもないか…)
映像で形を作りつつも、なんとか音楽っぽく聞こえるようなものをと考えました。撮影日まで解説パートの曲を忘れていたので適当に作ったものですが、気力があればもっと凝ったことをやってみたかったです。

2017年12月28日木曜日

ピアノプロジェクション 3D改 - The Phantom of the Opera

久しぶりにピアノプロジェクションの演奏動画を作りました。



リアルタイムでカメラの位置を計測して動画の視点を追従させるシステムを導入し、昔作った 3D 錯視を改良してみました。思ったよりうまくいき、自分で眺めていても面白かったです。

原案は昔ラピュタの 3D 動画を作ったとき既にあったのですが、カメラの位置を正確・高速に測定するために色々機材を導入するのが面倒そうでやめました。
ですが最近別件で初めて OpenCV に触り、AR marker を試していたら簡単に位置計測が実現できそうだったので計画が始まりました。

ちょっと厄介だったのは計測結果が不安定なことで、誤差を抑えるフィルタを作ったりマーカーを2枚にしてエラー率を下げたり色々と対策を入れて安定化を図りました。
以下は開発中の様子で、静止したカメラ位置の計測結果を出力したものです。紫が座標の計測値で黄色がフィルタをかけた後です。多少安定化していますが z 方向はそれでも対応できないくらい荒れています。その後対策を改善して安定化しました。


結局位置計測システムは家にあった Web カメラと木材の切れ端だけで作れたので、今回の製作費はマーカー印刷代の50円くらいです。(我が家にプリンタがあったらゼロだったかも…)


既におまけのような感じのピアノ演奏ですが、今回は友人に撮影してもらったためこれまでのように何日もかけて撮りなおせないのが苦しいところです。いつもより練習してから撮影しましたが緊張しました。
オペラ座の怪人は大学時代にロンドンの劇場で見て以来愛してやまない作品で、作品中の曲は他にもよく弾いています。今回は迷いましたが一番有名そうな曲にしました。
肉声の歌のすばらしさは到底表現できませんが、動画前半の黄色と青の光の演出は女声と男声に対応させたイメージにしています。


と、苦労話をいくつか書きましたが、それらよりも何よりも圧倒的に大変だったのはデザインの地味な作りこみです。製作期間全体の8割くらいは曲に合わせたデザインを構想して実装したり動きや色の調整を繰り返す作業でした。今回は映像が面白くなりそうだったのであまり妥協せず、作ってからボツにしたパターンも何種類かあります。以下は攻撃力が高すぎてボツにしたパターンの例です。これはこれで別の曲なら…


久しぶりの動画ということでわりと細部にこだわり、ダラダラ4ヶ月くらい作っていました。あわよくばインフルエンサーの目に留まって拡散されることを願いつつ…