2017年12月28日木曜日

ピアノプロジェクション 3D改 - The Phantom of the Opera

久しぶりにピアノプロジェクションの演奏動画を作りました。



リアルタイムでカメラの位置を計測して動画の視点を追従させるシステムを導入し、昔作った 3D 錯視を改良してみました。思ったよりうまくいき、自分で眺めていても面白かったです。

原案は昔ラピュタの 3D 動画を作ったとき既にあったのですが、カメラの位置を正確・高速に測定するために色々機材を導入するのが面倒そうでやめました。
ですが最近別件で初めて OpenCV に触り、AR marker を試していたら簡単に位置計測が実現できそうだったので計画が始まりました。

ちょっと厄介だったのは計測結果が不安定なことで、誤差を抑えるフィルタを作ったりマーカーを2枚にしてエラー率を下げたり色々と対策を入れて安定化を図りました。
以下は開発中の様子で、静止したカメラ位置の計測結果を出力したものです。紫が座標の計測値で黄色がフィルタをかけた後です。多少安定化していますが z 方向はそれでも対応できないくらい荒れています。その後対策を改善して安定化しました。


結局位置計測システムは家にあった Web カメラと木材の切れ端だけで作れたので、今回の製作費はマーカー印刷代の50円くらいです。(我が家にプリンタがあったらゼロだったかも…)


既におまけのような感じのピアノ演奏ですが、今回は友人に撮影してもらったためこれまでのように何日もかけて撮りなおせないのが苦しいところです。いつもより練習してから撮影しましたが緊張しました。
オペラ座の怪人は大学時代にロンドンの劇場で見て以来愛してやまない作品で、作品中の曲は他にもよく弾いています。今回は迷いましたが一番有名そうな曲にしました。
肉声の歌のすばらしさは到底表現できませんが、動画前半の黄色と青の光の演出は女声と男声に対応させたイメージにしています。


と、苦労話をいくつか書きましたが、それらよりも何よりも圧倒的に大変だったのはデザインの地味な作りこみです。製作期間全体の8割くらいは曲に合わせたデザインを構想して実装したり動きや色の調整を繰り返す作業でした。今回は映像が面白くなりそうだったのであまり妥協せず、作ってからボツにしたパターンも何種類かあります。以下は攻撃力が高すぎてボツにしたパターンの例です。これはこれで別の曲なら…


久しぶりの動画ということでわりと細部にこだわり、ダラダラ4ヶ月くらい作っていました。あわよくばインフルエンサーの目に留まって拡散されることを願いつつ…

2017年11月6日月曜日

ピアノプロジェクションコラボ ~ まらしぃ様 2

春の sakura wishes に続き、ピアニストまらしぃさんのパフォーマンス用に演出製作をさせてもらいました。しかも動画ではなくライブツアー用という大きなお話で、一介の中年サラリーマンの趣味がそんなことになるとは…
ツアー中はネタバレを避けて伏せていましたが、昨日東京の最終公演が無事終了したので簡単に振り返りです。

今回はプロジェクションマッピングではなくピアノに連動した映像を大スクリーンに映す構成ということでした。いつものような見せ方はできないですが、映像をピアノ位置に合わせる必要がないため、曲のテーマだった水と龍のイメージで鍵盤を躍らせたりして遊んでみました。

また、今回の企画ではパズドラの公式画像を提供いただけたのでフル活用しました。
全体の構成はいつも通りの素人デザインでしたが、画像素材に高品質なものが入ると締まった気がします。例によってデザイン構想やら試作やら作り直しやら微調整やらリハで想定の倍以上時間がかかって泣けましたが、特別な機会なので楽しみながらやらせてもらいました。(実は試作版でトリッキーな画像の使い方をしたら一部の演出が没になって作り直しに…)

と、言葉で説明しても伝わらないと思いますが、パズドラのステージ映像など載せると全方位から怒られそうなので、リハーサル中の一コマだけ。まらしぃさんのイメージキャラであるサルのデモ演出。他の曲もこんな大スクリーンで展開されました。


このサル画像のパターンは、ツアー直前の打ち合わせのとき話の流れで急遽追加することにしたデモパターンです。製作時間30分以下でしたがサル人気は自分の想像以上で、本番ではまらしぃさんのトークもあって大いに盛り上がっていたので作って良かったと思いました。

最後に、この製作を抜きにしても本当に楽しいライブですっかり堪能させてもらいました。

(追記) ライブの記事が出ていました。良い写真たくさんで嬉しいです。
音楽ナタリー [まらしぃ全国ツアー完走、ピアノプロジェクションやニコ生中継で女子大沸かす]



2017年6月9日金曜日

凧で空撮

イタリアの美しい田園地域トスカーナに旅行を計画していて、空撮をしてみたいと考えました。今時ならばドローンが定番なのかもしれませんが、

・写真は旅行のついでなので、とにかく邪魔にならないよう軽くて小さいこと
・ドローンは日本で試せる場所が少ないし、海外でメンテや故障も気になる

という点からドローンは却下で、凧で撮影できないかと考えました。弱点として広い場所と風が必要という条件がありますが、旅先ならばチャンスはあるだろうと思いました。
調べてみると、凧による撮影は KAP という用語で昔からある手法のようで、大型の凧で 1kg 程度のカメラを持ち上げるような事例もありました。でも自分はサイズと重量をなるべく抑えたかったので、このようなものになりました。


市販の小型の凧とアクションカムを用意し、先人たちの事例を参考にしながら凧の糸にカメラを吊るすユニットを作りました。木とアルミを加工した簡単なもので、取り付けや角度調整は工具不要でできるようにしています。
これら全てでケースも含めても 300g 程度に収められました。畳めば鞄の隙間に入るくらいコンパクトで、旅行に持って行っても良いかなと思えるサイズです。すばらしい。(実際はもうひとつ使いやすい糸巻きも追加で持って行ったので、そちらの方が重かったです)

事前に近くの多摩川で実験。凧あげ自体の練習はわりとすぐ慣れましたが、カメラを吊るした撮影は少々コツがいりました。また、自動で回転しながら360度を撮影するモーター付きのユニットも作ってみたのですが、そちらは重くて不安定だったのでやめました。


そしてトスカーナへ。風が吹いた時間が少なかったので一地点だけでしたが、なんとか撮影できました。雄大。



ギリギリ見える程度の自撮り。


下から見た様子。タブレットから接続して上空の画像をリアルタイムでも見られますが、高度が高いと無線が届きませんでした。


爽やかな工作でした。
またどこかで凧あげするかもしれません。

2017年3月30日木曜日

ピアノプロジェクションコラボ ~ まらしぃ様

しばらく音楽や動画でなく地味な物作り趣味に勤しんでいたところ、ある日驚きのお話が。




ピアニストまらしぃ氏の動画でピアノプロジェクションを使ってみたいというご相談を受けました。我が家の電子ピアノと素人演出でこんな本格的なお仕事に参加して良いものかと戸惑いましたが、微力ながら参加させていただきました。
今回の曲 sakura wishes はまらしぃ氏自らの作曲で CM に使用されている素敵な曲です。→ http://natalie.mu/music/news/222962

いただいた曲とリクエストの中でデザインを考えるのは苦手な作業で時間もかかり、やはりデザイナーにアウトソーシングする形に持って行かないとやばいなどと思いつつ、自分なりに丁寧に作りました。まあ多くの時間は版権フリーの画像をダラダラ検索する作業なのですが…


今回は正統派な演出で、技術的に新しいギミックは見えないかもしれませんが、曲で使用する音域が広かったため映写範囲を広げ、鍵盤のサイズを微調整できるように修正を入れています。過去の作品と互換性を保つのが少々厄介でした。

我が家での収録ということで念入りに準備しておいたのですが、一つ誤算だったのは、いざまらしぃ氏が演奏したらアタックの強い部分でスクリーンが思ったより揺れてしまったことです。強弱のメリハリがない自分の演奏では目立たなかった脆さで、演奏と設計をダブルで反省。

動画は先ほど公開されたばかりですが、まらしぃ氏の影響力で普段の自分の動画では考えられないくらい多くの方に見ていただけています。

7年くらい前、初めてピアノ動画を作り始めた頃ニコニコでまらしぃ氏をはじめとする凄腕の方々が弾いているのを見て、自分が普通に演奏動画を公開しても誰も見ないかなあと考えて全力でギミック堕ちして行きました。それが巡り巡ってこういう企画に至ったと思うとなかなか面白いです。