ピアノにプロジェクションマッピング改

【Youtube】Let It Go ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- Let It Go

以前 MIDI を使った CG 合成動画を作りましたが、あれは撮影後に時間をかけて画像処理したものでした。
本当は演奏中にリアルタイムで映像を作りたかったのですが、リアルタイムで派手な映像を作るのは、家の PC 程度ではパフォーマンス的に無理だと思っていました。
…そういう思い込みは技術屋として駄目だと反省。

あるとき Direct X を試してみたら、想像以上の描画パフォーマンスで驚きました。
PC への MIDI 入力遅延や、プロジェクタの映像出力遅延など、他にもいくつか懸念材料がありましたが、一通り接続した仮システムでほとんど遅延がなかったので、これは行けると思って動画を作ることにしました。

2ヶ月ほど前、会社内で小さな技術発表をする機会があったので、ちょうど実験中だったこのネタを紹介してみました。そのときのデモ映像がこちら。

わりと反応は良かったので自信向上。これはプロトタイプの映像なのでしょぼいものですが、これが実現できるならば面白いものも作れそうだと思いました。

絵を描く技術がないので、無機的な素材のつなぎあわせでアニメーションを派手にしました。ピアノやソフトは自力でがんばりたいですが、CG は得意な方に委託したくなってきました。
プロジェクタや撮影を通すと劣化しますが、元はこのくらいくっきりしています。この映像では黒鍵の形の処理をしていませんが、黒鍵には映像が映らないので大丈夫です。

今までの動画では、元々興味があって聴いたり弾いたりしたことのある曲を使っていましたが、今回の Let It Go はこの動画のために新しく弾き始めたものです。人気のある曲だし、手から雪が出る映像など映画のイメージと近いものにしたら面白いかと思って選びました。

製作のほか、プロジェクタや撮影の微調整もかなり面倒で学びが多かったです。

ピアノにプロジェクションマッピング

【ニコニコ動画】ピアノにプロジェクションマッピング --- 紅蓮の弓矢

 およそ一年ぶりの動画製作になりました。
プロジェクタで音楽に同期した演出を重ねるのは、実は4年前に考えていたことでしたが、当時は面白いアイディアがなく、結局プロジェクタでなく撮影後の動画に CG を合成する方向に向かいました。

そんな CG 動画にも飽きてきて制作もしていなかったのですが、最近プロジェクションマッピング演出を色々見ていて、やはり音楽と組み合わせるのは面白そうだと思い作ってみました。4年前より CG 動画作りに慣れていて構想しやすかったのが大きいと思います。

まず天井の照明を外し、そのコネクタからプロジェクタ用の台を吊るして固定しました。下向きに固定するのは面倒そうなので、鏡の部品を作って反射させます。

サイズ合わせのため、格子状の画像を作って照射し、写真撮影しました。

曲は最近練習していた紅蓮の弓矢にしました。派手な人気曲なのでちょうど良かったです。
ピアノ演奏を録音し、そのタイミングに合わせた動画を作成します。鏡に映すため反転します。
作った動画はこのように安っぽい味気ないものですが、これを物体に照射するとそれなりの見栄えになるのがプロジェクションマッピングの面白さでしょうか。

この動画を照射し、音を聴きながらそれに合わせて再度演奏して撮影します。予想はしていましたが、ギラギラして弾きにくいこと…

色々心残りもありますが、わりと面白いものになりました。今回は工作に苦労したので、できればもう少し改善して何か作りたいと思っています。

Twitter bot: dekamoji

GAE と Twitter API の実験がてら bot を作ってみました。

https://twitter.com/dekamoji

@dekamoji 龍

このように何か文字をメンションで送ると、こんな返事が返ってきます。

@faithroom
　　龍　　　龍
龍龍龍龍龍　龍龍龍龍龍
　龍　龍　　龍
龍龍龍龍龍　龍龍龍龍
　　　　　　　　　龍
　龍龍龍龍　龍龍龍龍
　龍　　龍　龍
　龍龍龍龍　龍龍龍龍
　龍　　龍　龍
　龍龍龍龍　龍　　　龍
　龍　　龍　龍龍龍龍龍

特に使い道もないですが、うざいツイートを作成したいときにどうぞ。

GAE で一定時間毎にサービスを起動して、自分宛メンションをチェックし、フォントのデータベースからパターンを引いて文字を並べて返信しています。
慣れている java で作ったので一日でできるだろうと思っていましたが、文字のデータベース作りやフォントの問題とか Twitter の制限とかで無駄にはまりました。

最近になって Twitter で改行がサポートされたので、こういう AA も作れるようになりました
bot としては自発的に何か呟かないとフォロワーもつかないので、もう一歩工夫したいところです。

木時計



近頃ソフトも音楽もあまり触っておらず、部屋の模様替えついでに手作り時計など。
切ってボンドでベタベタ貼っただけです。



 

採譜ソフト

音解析ソフトを作って実験してみました。

公開用のアイディアはまだありませんが、せっかくなので実験の様子をまとめます。

 

■ピアノだけでニュースキャスターの声をどれだけ表現できるか？

(1)ニュース放送をフーリエ変換で周波数解析

(2)ノイズや倍音など不要な要素を除去（←ここ奥が深そうなので適当)
(3)ピアノ音階への丸め込み、補正
(4)MIDI 形式でファイル出力
(5)(PC でも再生できるけれど)、愛用の電子ピアノにMIDIを出力して演奏させる

 

自分で演奏するのは到底無理な凶悪な楽譜になりましたが、自動演奏だと思ったより声っぽく聞けて面白かったです。→Youtube: http://www.youtube.com/watch?v=-M4udTVy3kA



 







家にあった物だけで超簡易3Dスキャナを作ってみた

ここのところ無形のソフトばかりいじっていましたが、久々にリアルな工作で、とことん手抜きをした即席品です。動画のネタとしても面白いかと思ったのですが、探してみたら似たネタでもっと凝った動画があったので、やめて blog だけにします。

材料は以下です。どれも家にあったものです。
上の二つは若干特殊かもしれませんが、他はいたって普通なものでしょう。

・レーザーポインタ
・電動ドライバ
・カメラ
・ワイングラス
・板切れ
・ガムテープ
・紐
・新聞紙

レーザーポインタの光を透明の円柱にあてると光が屈折して直線状にできるので、これを照射したものをカメラで撮影してスキャンをします。この方法で3Dスキャナを作っている事例をネットで目にしたのが工作のきっかけです。

今回は、ワイングラスの柄の部分で試してみました。
板の上に、位置調整用に丸めた新聞紙を挟んでワイングラスとレーザーポインタを貼り付けるだけです。知人にゴミと評された設計ですが一応動きます。

本当にゴミですね。
このゴミを紐で吊るし、電動ドライバの軸で紐を巻き上げてゆっくり上から下へ動かしました。自動で等速直線運動させることによって、撮影も画像処理も楽にできます。

レーザーの線が物体をなぞっていく動画が撮影できるので、フレームごとに赤色検出するソフトを作り、計算して3Dの情報にします。このあたりは昔作ったソフトを再利用できたので意外と楽でしたが、そうでないとわりと苦労しそうです。

今回は一方向からしか撮影していないのでほんの一部の情報しかありませんが、一応3Dモデルらしくなりました。

実験台は自分自身です。目を閉じていても、瞼の上をレーザーが通る感覚が怖かったです。

Android - 文字顔カメラ Version up

Android 文字顔カメラを半年ぶりくらいにバージョンアップしました。
きっかけがあってソースを見直したら色々機能追加したくなり、最終的に大変更になりました。
その変更の一つで半角文字モードに対応してみたのですが、予想通り日本語フォントに比べると表現力がいまいちでした。なおかつ、メール添付など別ソフトに貼り付けた場合、携帯の半角文字は等幅でないのが普通なので混乱しそうです。

でもせっかく作ったのでリリースしました。