SoundMage2

ピアノプロジェクション用の公開版アプリを久しぶりに更新しました。
背景に動画ファイルを流せるなど、多少機能が増えています。

http://soundmage.funnyfaith.net/

サンプルプログラム使用例

ソフト名は SoundMage2 です。当初は公開を考えておらず MIDImage という適当な名前をつけていて、以前のテスト版もその名前で出していましたが、もっとメジャーなソフトと被っていたようなので変更しました。

ようやく公開版と自分版のソフトを一本化し、開発しやすくなりました。ただ、自分の動画に使った映像パターンは公開版には入れていないので、ユーザが新しい映像を作ってくれることに期待です。

一年カメラ

簡単な定点撮影カメラを作って設置してみました。

システムは色々考えられますが、いくつか入れたい条件がありました。

・長期に渡って写真を撮り溜めたい
・メンテナンスフリーで実家の屋外に設置
・PC を使うような大袈裟なシステムにしたくない
・ある程度高画質

そのあたりを考えて、今回は WiFi 接続できるアクションカムと使っていない古いスマホを利用しました。カメラを玄関先に設置し、屋内のスマホから制御して 3分毎に定期撮影し、Flickr に片っ端からアップロードします。状態通知は時々 Twitter に呟くようにしてみました。

制御は WiFi ですが電源供給だけは有線でおこなう必要があるので、やむをえずフラットな USB ケーブルを扉の隙間から通しました。

 

制御用に適当な Android アプリを作ります。カメラも Flickr も Twitter も、公開されている Web API 情報を元にちょこちょこ叩いていけば一連の流れができます。面倒なのはエラー処理などで、

・通信エラー時は写真をバッファしておいて時間差でアップロード
・カメラやスマホ内に溜まった写真はメモリが溢れないように定期的に削除
・たまに端末が WiFi につながらなくなる謎の症状が出るので、やむをえず端末再起動
・アプリから端末再起動するために端末を Root 化
・起動 intent でアプリ自動復帰

等、安定するまで時間がかかりました。
今のところ一週間くらいは無事に動いていますが、目標は一年間。ソフトバグ、ハード劣化、Flickr の API 仕様変更、台風、等々懸念は山ほどあって、さていつまで動くか…

NicoMonitor

ニコニコ動画投稿者が、自分のアプリの再生状況を手軽に眺めるアプリを公開しました。ニッチな上に機能は少ないので、お勧めはしません。自分用。

https://play.google.com/store/apps/details?id=net.funnyfaith.nicomonitor

ニコニコのページを開けば見られる情報ですが、手軽に一覧確認したくてずっと前に作ったアプリで、動画投稿直後などに眺めています。

ピアノにプロジェクションマッピング - 反響

ラピュタと Let It Go あわせて、フジテレビのめざましどようび番組内で紹介していただきました。
事前の問い合わせに細かく回答し、長尺で恥ずかしいくらいしっかり紹介していただいて驚きました。ありがたく記念撮影。

放映前後の再生数をウォッチしてみました。ほぼ消えかけていたアクセスが一気に伸びています。数千くらいの伸びだったので、ネットの有名サイトの方が爆発力は大きいかもしれませんが、放送時間中の瞬間最大風速はなかなかです。曲の流行のためか、Let It Go の方が伸びていました。

その他、投稿直後に取り上げていただけたサイト

• ねとらぼ

今回は以下のようなサイトに取り上げられて海外からのアクセスも多少増えてきています。

• rocketnews
• gadgetify

ニコニコはコメントが面白いですがユーザ層に偏りがあるため、こうやって Youtube 側が伸びて海外含めた広い層からフィードバックをいただけるのは嬉しいです。

公開から一週間で反響が嬉しかったので振り返りでした。

ピアノにプロジェクションマッピング - ラピュタ (2)

今回は技術の話を少し。DirectX の 3D グラフィックスはおおまかに言うと

(1) 空間上の座標を決めてテクスチャをペタペタ配置する
(2) 視点の座標を決める
(3) (2) の視点と (1) の間にスクリーンを置いて、そのスクリーンを通して見える映像を出力

という形になります。
普通は (2) の視点を (3) のスクリーンと垂直の位置(スクリーンを正面から見る位置)にして映像を描かせると思いますが、この動画ではそれをずらしています。

実環境でピアノ上に表示される映像サイズと撮影カメラの位置から座標を計算すれば、あとは DirectX が描いてくれます。
視点の位置は簡単に調整できるようにしてあり、動画に使った設定と真正面の設定で出力を比較するとこうなります。

上の画像は視点を左下に設定しているので、左下方向から眺めるとちょうど良く見えます。

また、後半の二重奏部分も新しいチャレンジで、3D 空間上に動画ファイルの変速再生を追加しました。速度を調整しながら動画ファイルから1フレームずつ取り出し、表示位置を決めて貼り付けてみました。

今回は作っていて技術的にわりと楽しかったので勢いで色々書いてしまいましたが、意味不明かも。

ピアノにプロジェクションマッピング - ラピュタ

【Youtube】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

【ニコニコ動画】ピアノにプロジェクションマッピング --- ラピュタ・アレンジ

ピアノのプロジェクションマッピングシステムはリアルで演奏したり見たりするのが楽しいのですが、今回は逆に動画ならではの特性を活かしたものを作りました。

実は動画の製作途中で方針転換して丸々作り直したので、かなり遠回りしています。
初期版をテスト撮影したものはこんな感じです。

空を飛んでいるイメージで、ノーマルアレンジのラピュタを演奏していました。
これも気に入っていましたが、板状の物を回転させる処理を試していたら、わりとリアルな 3D 表現ができることに気づき、興味がそちらに傾いて作り直すことにしました。
一応ノーマルアレンジの演奏は後半の解説で再利用しています。

ソフトは前回と同様で、Windows7 + Visual C++ + DirectX + 標準 MIDI lib です。3D の技術としては DirectX のテクスチャ非線形変換・レンダリングだけ使用しています。3D グラフィックスの領域では基礎だけですが、凝りだすと悩んで進まなくなりそうなので割り切りました。初期テストの画像がこちら。雑です。

例によって画力不足なので、最初の石版や中盤背景のロゼッタストーン、最後の羽根などは実写画像を取り込んで加工しました。最初の石版は昔カンボジアの遺跡で撮影したもので、お気に入りです。

一番悩んだのはソフト設計でもピアノ演奏でもなく全体のデザインで、空間上の物体のアニメーションとか色とかの微調整で試行錯誤しました。鍵盤が透けて下が見えている感じは伝わるでしょうか。自分の 3D オブジェクトデザインの限界が正八面体程度だったので、全編にわたって飛行石をフル活用…

(多分つづく)

演奏者たち

ピアノ奏者の知人たちを招いて遊びました。
ピアノ連動プロジェクションの実物を触ってもらい、動画とは違う演奏者自身の楽しさを感じてもらえて好評価。自分にはできないハイレベルな演奏でソフトが破綻しないか心配でしたが、見たことのない映像が見られて痛快でした。

多くの演奏者に実物を体験してほしいと以前から思っていたものの、環境構築が面倒でなかなか実現しなかったので、今日は良い機会でした。

完成間近だった次の動画の試作も見てもらい、新技術ネタで驚きは与えられた模様。
あいかわらず製作にかなり手間取っていますが、近々公開します。