2018年8月24日金曜日

ピアノプロジェクションコラボ ~ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。




2018年4月7日土曜日

AR ピアノ - モバイル版

先日の AR ピアノを Android 版に拡張してみました。
またちゃんとした動画を作るのは大変なので、突貫で実験動画だけ撮影しました。


今回のシステムはこんな感じです。ハウルの動く城の動画で使ったシステムの応用で、画面は出していませんが以前のプロジェクションマッピング用の SoundMage2 をそのまま使っています。


PC 版の AR Piano アプリを Android 用に出力してみたらわりとあっさり動いたので、あらためて Unity は完成度が高いと思いました。主な変更点は WebSocket の通信部分だけです。遅延が気になりますが、今回は軽い試作ということで改善はさぼっています。
複数の観客がそれぞれの端末で同時に見られるのは面白いかもしれません。

AR ネタでやってみたかったことは一通りできました。
最後に、先日の動画の記事がねとらぼに掲載されました。製作物のねとらぼ掲載はこれで四度目で、ありがたいことです。
http://nlab.itmedia.co.jp/nl/articles/1804/06/news109.html

2018年3月26日月曜日

AR ピアノ - 魔女の宅急便

AR を使ったピアノ演出動画を作りました。



簡単なAR の実験は以前にもやっていたのですが、動画にするとリアルタイムでなく後から CG 合成しただけのように見えそうだったので興味は低めでした。
ですが今年の正月に 3D CG への興味から Unity と SmartAR を試してみたら、思った以上に使いやすく面白い効果も作れそうだったので、作品にしてみたくなりました。

中央のマーカーを SmartAR で検出してピアノの位置推定をしています。マーカーの柄や大きさは試行錯誤がありましたが、自分のアイコンでも上々だったのでそれを使うことにしました。大きさはこの距離だとこれがギリギリくらいでした。

今回は Unity, SmartAR, C# すべてが初めてだったので苦しかったですが勉強にはなったと思います。これまでプロジェクションマッピング用に作ってきたものをなるべく活用したかったので、MIDI 検出、テスト用の MIDI 録音/再生、メロディ検出、WebSocket 通信等の基本機能は SoundMage のコア部分を C++ のまま dll 化して使っています。

動画の真ん中くらいで青の音符がピアノの周りを回るあたりが、やさしさに包まれた感じで気に入っています。


Unity で色々調べてみたら、立体のマスクを作ればこういう演出ができそうだったので導入してみました。ラフにピアノの形状を定義したモデルで、”後ろにある背景は透過して見えるけれど後ろにある他のオブジェクトは隠れて見えなくなる" という性質になっています。


撮影に使ったレゴ車はずっと前から細々遊んでいたものを大改造して実戦投入しました。今回の動画も一度友人にテスト撮影してもらったのですが、毎度お願いするのは大変だし、なにより自分の駄目な演奏は撮り直しが多すぎるのとで、機械撮影という変態的なことをやってみました。PC と WiFi で接続し、今までと同様 WebSocket でシーン切換コマンドを送って制御しています。


今回の曲は昔から好きだったけれど動画にはしていなかった魔女の宅急便から。Unity のインストールをしているときたまたまテレビで魔女の宅急便をやっていたので、動画制作の最初からその曲を考えていました。

なお、解説パートで弾いているのは自作の曲です。(言うまでもないか…)
映像で形を作りつつも、なんとか音楽っぽく聞こえるようなものをと考えました。撮影日まで解説パートの曲を忘れていたので適当に作ったものですが、気力があればもっと凝ったことをやってみたかったです。

2017年12月28日木曜日

ピアノプロジェクション 3D改 - The Phantom of the Opera

久しぶりにピアノプロジェクションの演奏動画を作りました。



リアルタイムでカメラの位置を計測して動画の視点を追従させるシステムを導入し、昔作った 3D 錯視を改良してみました。思ったよりうまくいき、自分で眺めていても面白かったです。

原案は昔ラピュタの 3D 動画を作ったとき既にあったのですが、カメラの位置を正確・高速に測定するために色々機材を導入するのが面倒そうでやめました。
ですが最近別件で初めて OpenCV に触り、AR marker を試していたら簡単に位置計測が実現できそうだったので計画が始まりました。

ちょっと厄介だったのは計測結果が不安定なことで、誤差を抑えるフィルタを作ったりマーカーを2枚にしてエラー率を下げたり色々と対策を入れて安定化を図りました。
以下は開発中の様子で、静止したカメラ位置の計測結果を出力したものです。紫が座標の計測値で黄色がフィルタをかけた後です。多少安定化していますが z 方向はそれでも対応できないくらい荒れています。その後対策を改善して安定化しました。


結局位置計測システムは家にあった Web カメラと木材の切れ端だけで作れたので、今回の製作費はマーカー印刷代の50円くらいです。(我が家にプリンタがあったらゼロだったかも…)


既におまけのような感じのピアノ演奏ですが、今回は友人に撮影してもらったためこれまでのように何日もかけて撮りなおせないのが苦しいところです。いつもより練習してから撮影しましたが緊張しました。
オペラ座の怪人は大学時代にロンドンの劇場で見て以来愛してやまない作品で、作品中の曲は他にもよく弾いています。今回は迷いましたが一番有名そうな曲にしました。
肉声の歌のすばらしさは到底表現できませんが、動画前半の黄色と青の光の演出は女声と男声に対応させたイメージにしています。


と、苦労話をいくつか書きましたが、それらよりも何よりも圧倒的に大変だったのはデザインの地味な作りこみです。製作期間全体の8割くらいは曲に合わせたデザインを構想して実装したり動きや色の調整を繰り返す作業でした。今回は映像が面白くなりそうだったのであまり妥協せず、作ってからボツにしたパターンも何種類かあります。以下は攻撃力が高すぎてボツにしたパターンの例です。これはこれで別の曲なら…


久しぶりの動画ということでわりと細部にこだわり、ダラダラ4ヶ月くらい作っていました。あわよくばインフルエンサーの目に留まって拡散されることを願いつつ…

2017年11月6日月曜日

ピアノプロジェクションコラボ ~ まらしぃ様 2

春の sakura wishes に続き、ピアニストまらしぃさんのパフォーマンス用に演出製作をさせてもらいました。しかも動画ではなくライブツアー用という大きなお話で、一介の中年サラリーマンの趣味がそんなことになるとは…
ツアー中はネタバレを避けて伏せていましたが、昨日東京の最終公演が無事終了したので簡単に振り返りです。

今回はプロジェクションマッピングではなくピアノに連動した映像を大スクリーンに映す構成ということでした。いつものような見せ方はできないですが、映像をピアノ位置に合わせる必要がないため、曲のテーマだった水と龍のイメージで鍵盤を躍らせたりして遊んでみました。

また、今回の企画ではパズドラの公式画像を提供いただけたのでフル活用しました。
全体の構成はいつも通りの素人デザインでしたが、画像素材に高品質なものが入ると締まった気がします。例によってデザイン構想やら試作やら作り直しやら微調整やらリハで想定の倍以上時間がかかって泣けましたが、特別な機会なので楽しみながらやらせてもらいました。(実は試作版でトリッキーな画像の使い方をしたら一部の演出が没になって作り直しに…)

と、言葉で説明しても伝わらないと思いますが、パズドラのステージ映像など載せると全方位から怒られそうなので、リハーサル中の一コマだけ。まらしぃさんのイメージキャラであるサルのデモ演出。他の曲もこんな大スクリーンで展開されました。


このサル画像のパターンは、ツアー直前の打ち合わせのとき話の流れで急遽追加することにしたデモパターンです。製作時間30分以下でしたがサル人気は自分の想像以上で、本番ではまらしぃさんのトークもあって大いに盛り上がっていたので作って良かったと思いました。

最後に、この製作を抜きにしても本当に楽しいライブですっかり堪能させてもらいました。

(追記) ライブの記事が出ていました。良い写真たくさんで嬉しいです。
音楽ナタリー [まらしぃ全国ツアー完走、ピアノプロジェクションやニコ生中継で女子大沸かす]



2017年6月9日金曜日

凧で空撮

イタリアの美しい田園地域トスカーナに旅行を計画していて、空撮をしてみたいと考えました。今時ならばドローンが定番なのかもしれませんが、

・写真は旅行のついでなので、とにかく邪魔にならないよう軽くて小さいこと
・ドローンは日本で試せる場所が少ないし、海外でメンテや故障も気になる

という点からドローンは却下で、凧で撮影できないかと考えました。弱点として広い場所と風が必要という条件がありますが、旅先ならばチャンスはあるだろうと思いました。
調べてみると、凧による撮影は KAP という用語で昔からある手法のようで、大型の凧で 1kg 程度のカメラを持ち上げるような事例もありました。でも自分はサイズと重量をなるべく抑えたかったので、このようなものになりました。


市販の小型の凧とアクションカムを用意し、先人たちの事例を参考にしながら凧の糸にカメラを吊るすユニットを作りました。木とアルミを加工した簡単なもので、取り付けや角度調整は工具不要でできるようにしています。
これら全てでケースも含めても 300g 程度に収められました。畳めば鞄の隙間に入るくらいコンパクトで、旅行に持って行っても良いかなと思えるサイズです。すばらしい。(実際はもうひとつ使いやすい糸巻きも追加で持って行ったので、そちらの方が重かったです)

事前に近くの多摩川で実験。凧あげ自体の練習はわりとすぐ慣れましたが、カメラを吊るした撮影は少々コツがいりました。また、自動で回転しながら360度を撮影するモーター付きのユニットも作ってみたのですが、そちらは重くて不安定だったのでやめました。


そしてトスカーナへ。風が吹いた時間が少なかったので一地点だけでしたが、なんとか撮影できました。雄大。



ギリギリ見える程度の自撮り。


下から見た様子。タブレットから接続して上空の画像をリアルタイムでも見られますが、高度が高いと無線が届きませんでした。


爽やかな工作でした。
またどこかで凧あげするかもしれません。

2017年3月30日木曜日

ピアノプロジェクションコラボ ~ まらしぃ様

しばらく音楽や動画でなく地味な物作り趣味に勤しんでいたところ、ある日驚きのお話が。




ピアニストまらしぃ氏の動画でピアノプロジェクションを使ってみたいというご相談を受けました。我が家の電子ピアノと素人演出でこんな本格的なお仕事に参加して良いものかと戸惑いましたが、微力ながら参加させていただきました。
今回の曲 sakura wishes はまらしぃ氏自らの作曲で CM に使用されている素敵な曲です。→ http://natalie.mu/music/news/222962

いただいた曲とリクエストの中でデザインを考えるのは苦手な作業で時間もかかり、やはりデザイナーにアウトソーシングする形に持って行かないとやばいなどと思いつつ、自分なりに丁寧に作りました。まあ多くの時間は版権フリーの画像をダラダラ検索する作業なのですが…


今回は正統派な演出で、技術的に新しいギミックは見えないかもしれませんが、曲で使用する音域が広かったため映写範囲を広げ、鍵盤のサイズを微調整できるように修正を入れています。過去の作品と互換性を保つのが少々厄介でした。

我が家での収録ということで念入りに準備しておいたのですが、一つ誤算だったのは、いざまらしぃ氏が演奏したらアタックの強い部分でスクリーンが思ったより揺れてしまったことです。強弱のメリハリがない自分の演奏では目立たなかった脆さで、演奏と設計をダブルで反省。

動画は先ほど公開されたばかりですが、まらしぃ氏の影響力で普段の自分の動画では考えられないくらい多くの方に見ていただけています。

7年くらい前、初めてピアノ動画を作り始めた頃ニコニコでまらしぃ氏をはじめとする凄腕の方々が弾いているのを見て、自分が普通に演奏動画を公開しても誰も見ないかなあと考えて全力でギミック堕ちして行きました。それが巡り巡ってこういう企画に至ったと思うとなかなか面白いです。