SoundMage2 Ver.1.200

公開版の SoundMage2 を更新しました。1年ぶりくらいかと思ったら３年ぶりでした。



少しずつ機能が増えていたのでリリースしようと思いつつ、延び延びになっていたようです。今回の新機能は大きく３つ。

カメラ映像背景
ときどきリクエストのあった機能です。もうプロジェクションマッピング用ではないですが、生配信などで使う場合はこちらの方が向いているかもしれません。というかプロジェクタを設置して使う方の方が少数派だったと思います。
AR 動画のとき作ったカメラ部分を整えて取り込んでいます。OpenCV を静的に抱え込んで作ったのでアプリのサイズが一気に膨らみましたが、導入しやすさ重視で。

メロディトリガ
初期から対応していた、特定のメロディで演出モードが切り替わる機能の簡易版です。実は自分のソフトで一番の特徴はこれではないかと思っています。設定ファイルで自由に定義できるようにするのが面倒で今までリリース版には入れていませんでしたが、簡易的に設定できるようにしてみました。
とはいえデザインの作りこみとか設定はややこしく、使いこなす人がいるのか疑問です。

楽譜モード
最も基本的なデザインだと思いますがようやく導入。



このモード自体はだいぶ前から作っていたもので、今年に入って時々生配信で使ったりしていました。
先日まらしぃさんの幕張ライブでまたプロジェクション演出をさせていただき、この楽譜モードの一部を拡張して取り込みました。そちらは非常にお気に入りです。そのライブの前に個人的にこれを公開してしまうのはためらわれ、ちょっとリリースを待機していました。

ときどき使用動画を目にしたり相談をいただくことなどあり、嬉しいです。
よかったら遊んでください。

ピアノプロジェクションコラボ ～ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。

ピアノプロジェクションコラボ ～ まらしぃ様 2

春の sakura wishes に続き、ピアニストまらしぃさんのパフォーマンス用に演出製作をさせてもらいました。しかも動画ではなくライブツアー用という大きなお話で、一介の中年サラリーマンの趣味がそんなことになるとは…
ツアー中はネタバレを避けて伏せていましたが、昨日東京の最終公演が無事終了したので振り返りです。

今回はプロジェクションマッピングではなくピアノに連動した映像を大スクリーンに映す構成ということでした。いつものような見せ方はできないですが、映像をピアノ位置に合わせる必要がないため、曲のテーマだった水と龍のイメージで鍵盤を躍らせたりして遊んでみました。

また、今回の企画ではパズドラの公式画像を提供いただけたのでフル活用しました。
全体の構成はいつも通りの素人デザインでしたが、画像素材に高品質なものが入ると締まった気がします。例によってデザイン構想やら試作やら作り直しやら微調整やらリハやらで想定の倍以上時間がかかって泣けましたが、特別な機会なので楽しみながらやらせてもらいました。(実は試作版でトリッキーな画像の使い方をしたら一部の演出が没になって作り直しに…)

と、言葉で説明しても伝わらないと思いますが、パズドラのステージ映像など載せると全方位から怒られそうなので、リハーサル中の一コマだけ。まらしぃさんのイメージキャラであるサルのデモ演出。他の曲もこんな大スクリーンで展開されました。

このサル画像のパターンは、ツアー直前の打ち合わせのとき話の流れで急遽追加することにしたデモパターンです。製作時間30分以下でしたがサル人気は自分の想像以上で、本番ではまらしぃさんのトークもあって大いに盛り上がっていたので作って良かったです。

最後に、この製作を抜きにしても本当に楽しいライブですっかり堪能させてもらいました。

(追記) ライブの記事が出ていました。良い写真たくさんで嬉しいです。
音楽ナタリー [まらしぃ全国ツアー完走、ピアノプロジェクションやニコ生中継で女子大沸かす]

リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。

"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的良さそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。

黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。

LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件：
・速い曲だと解析が追い付かないので適度なテンポの曲
・およそ四半世紀ぶりのリコーダーでも吹けてリコーダーの音域に収まる曲

TV で懐かしい映画をやっていたのでそれにしました。
いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

SoundMage2 Ver.1.100

公開していたことを思い出した SoundMage2 を、およそ一年ぶりにバージョンアップしました。
ハウルの動画で使用したサブアプリ連携機能などを追加しています。

http://soundmage.funnyfaith.net/

サンプルにはハウルで使用した素材は含まれていませんが、サブアプリは JavaScript なので適当に書き直せば自由なオリジナルアプリに改造できる、はず…

かぶちゃん村イベント

プロジェクションマッピングのイベント企画をしている会社の方からご相談をいただき、短期間ですがサポート開発をしていました。最初は公開中のソフトをご自由にどうぞというつもりだったのですが、追加開発のご相談や出張依頼もあったので、業務の形にさせてもらいました。

場所はこちらの村テーマパークの門。のどかで良いところでした。
http://kabuchanmura.jp/

過去に普通のプロジェクションマッピングもおこなっていたそうですが、今回はピアノ連動を取り入れた演出をしたいというお話でした。自分としても、ピアノ上ではなく背後の建物に大きな映像を出すような見せ方は初めてで、プロの方が演奏したりお客様に遊んでもらうというあたりも興味があったので、やってみることにしました。

数週間かけてレイアウトとデザインの変更を中心にあれこれ修正しましたが、あまりに時間が足りないため妥協の嵐になりました。ほぼぶっつけ本番だったので、当日微調整しやすいように工夫しておきました。

技術面で新しく追加した大きな機能はコーナーピン補正です。
映写機材の配置に自由度を持たせ、映像が歪んでも四頂点を指定して補正できる機能で、一般的なプロジェクションマッピングでも使われます。非アフィン変換とやらのため、もはや自分でも理解不能な四次元行列を突っ込んでぐにゃぐにゃ変換しています。幸運にも 3D 演出のとき作った構造が役立ち、何とか間に合いました。それがなければ無理だったと思います。テスト例↓

のどかな山奥の村の門にプロジェクションマッピングという想像不能な世界で、そもそも建物がどう見ても映写向きでないという大問題もありましたが、結果的には思った以上に面白いものになりました。何よりプロの方の生演奏のおかげで、自分のシステムを使ってもらえたのは嬉しかったです。

準備中は最後まで微妙な仕様変更が止まらずバタバタしていました。ともあれ今回は色々刺激的な体験ができて良かったです。

SoundMage2 Ver1.010

SoundMage2 バージョンアップしました。
MFT 用に作ったパターンがいくつか使えるようになっています。

http://soundmage.funnyfaith.net/

よほど奇特な方しか使わないと思いますが、リリース作業は簡単 (=ろくに動作確認もしていない) なので、一応更新しておきました。

SoundMage2

ピアノプロジェクション用の公開版アプリを久しぶりに更新しました。
背景に動画ファイルを流せるなど、多少機能が増えています。

http://soundmage.funnyfaith.net/

サンプルプログラム使用例

ソフト名は SoundMage2 です。当初は公開を考えておらず MIDImage という適当な名前をつけていて、以前のテスト版もその名前で出していましたが、もっとメジャーなソフトと被っていたようなので変更しました。

ようやく公開版と自分版のソフトを一本化し、開発しやすくなりました。ただ、自分の動画に使った映像パターンは公開版には入れていないので、ユーザが新しい映像を作ってくれることに期待です。