2017年6月9日金曜日

凧で空撮

イタリアの美しい田園地域トスカーナに旅行を計画していて、空撮をしてみたいと考えました。今時ならばドローンが定番なのかもしれませんが、

・写真は旅行のついでなので、とにかく邪魔にならないよう軽くて小さいこと
・ドローンは日本で試せる場所が少ないし、海外でメンテや故障も気になる

という点からドローンは却下で、凧で撮影できないかと考えました。弱点として広い場所と風が必要という条件がありますが、旅先ならばチャンスはあるだろうと思いました。
調べてみると、凧による撮影は KAP という用語で昔からある手法のようで、大型の凧で 1kg 程度のカメラを持ち上げるような事例もありました。でも自分はサイズと重量をなるべく抑えたかったので、このようなものになりました。


市販の小型の凧とアクションカムを用意し、先人たちの事例を参考にしながら凧の糸にカメラを吊るすユニットを作りました。木とアルミを加工した簡単なもので、取り付けや角度調整は工具不要でできるようにしています。
これら全てでケースも含めても 300g 程度に収められました。畳めば鞄の隙間に入るくらいコンパクトで、旅行に持って行っても良いかなと思えるサイズです。すばらしい。(実際はもうひとつ使いやすい糸巻きも追加で持って行ったので、そちらの方が重かったです)

事前に近くの多摩川で実験。凧あげ自体の練習はわりとすぐ慣れましたが、カメラを吊るした撮影は少々コツがいりました。また、自動で回転しながら360度を撮影するモーター付きのユニットも作ってみたのですが、そちらは重くて不安定だったのでやめました。


そしてトスカーナへ。風が吹いた時間が少なかったので一地点だけでしたが、なんとか撮影できました。雄大。



ギリギリ見える程度の自撮り。


下から見た様子。タブレットから接続して上空の画像をリアルタイムでも見られますが、高度が高いと無線が届きませんでした。


爽やかな工作でした。
またどこかで凧あげするかもしれません。

2017年3月30日木曜日

ピアノプロジェクションコラボ ~ まらしぃ様

しばらく音楽や動画でなく地味な物作り趣味に勤しんでいたところ、ある日驚きのお話が。




ピアニストまらしぃ氏の動画でピアノプロジェクションを使ってみたいというご相談を受けました。我が家の電子ピアノと素人演出でこんな本格的なお仕事に参加して良いものかと戸惑いましたが、微力ながら参加させていただきました。
今回の曲 sakura wishes はまらしぃ氏自らの作曲で CM に使用されている素敵な曲です。→ http://natalie.mu/music/news/222962

いただいた曲とリクエストの中でデザインを考えるのは苦手な作業で時間もかかり、やはりデザイナーにアウトソーシングする形に持って行かないとやばいなどと思いつつ、自分なりに丁寧に作りました。まあ多くの時間は版権フリーの画像をダラダラ検索する作業なのですが…


今回は正統派な演出で、技術的に新しいギミックは見えないかもしれませんが、曲で使用する音域が広かったため映写範囲を広げ、鍵盤のサイズを微調整できるように修正を入れています。過去の作品と互換性を保つのが少々厄介でした。

我が家での収録ということで念入りに準備しておいたのですが、一つ誤算だったのは、いざまらしぃ氏が演奏したらアタックの強い部分でスクリーンが思ったより揺れてしまったことです。強弱のメリハリがない自分の演奏では目立たなかった脆さで、演奏と設計をダブルで反省。

動画は先ほど公開されたばかりですが、まらしぃ氏の影響力で普段の自分の動画では考えられないくらい多くの方に見ていただけています。

7年くらい前、初めてピアノ動画を作り始めた頃ニコニコでまらしぃ氏をはじめとする凄腕の方々が弾いているのを見て、自分が普通に演奏動画を公開しても誰も見ないかなあと考えて全力でギミック堕ちして行きました。それが巡り巡ってこういう企画に至ったと思うとなかなか面白いです。

2016年11月13日日曜日

リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。


"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的扱いやすそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。


黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。
LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件:
・速い曲だと解析が追い付かないので適度なテンポの曲
・リコーダーの音域に収まる曲
・およそ四半世紀ぶりのリコーダーでも吹けそうな曲

という条件で何にしようかと考えていた頃、TV で懐かしい映画をやっていたのでそれにしました。なお、以前吹いたオカリナでなくリコーダーにしたのは、私のオカリナ演奏だと不安定すぎて論外だったからです。

いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

ということで、新しい技術が多くて開発はなかなか楽しかったです。
撮影と編集がかなり面倒だったので今回限り、と思いつつも色々応用できそうな気もしています。


2016年7月18日月曜日

SoundMage2 Ver.1.100

公開していたことを思い出した SoundMage2 を、およそ一年ぶりにバージョンアップしました。
ハウルの動画で使用したサブアプリ連携機能などを追加しています。

http://soundmage.funnyfaith.net/



サンプルにはハウルで使用した素材は含まれていませんが、サブアプリは JavaScript なので適当に書き直せば自由なオリジナルアプリに改造できる、はず…

2016年7月15日金曜日

ピアノプロジェクション & bit

久しぶりに動画を作りました。ハウルの動く城より 人生のメリーゴーランド


Youtube: https://youtu.be/uCwP1p7oTkU
Nico: http://nico.ms/sm29246504

しばらくプロジェクションマッピングばかりだったので、何か手軽に遊びやすいものでも作ってみようと思ってタブレット連動を試したところから始まりました。
前回 Unreal Engine で高度な 3D CG 技術をかじってみたら手に負えなかったので、今回は一転して手軽な方向に傾倒して Web アプリにしました。描画には Pixi.js というライブラリを使っています。サブアプリはメインアプリに比べて開発が早くて楽でした。
システムはこんな感じに。


サブアプリも PC から配信しているので、適当な機器のブラウザからつなぐだけで使えます。演奏の通信は WebSocket を使いました。今までのシステムにサーバを追加して適当にプロトコルを決め、打鍵やシーンの情報を送っています。
一部のブラウザでは動きませんでしたが、Chrome ならばどの機器でも動いていました。試しに PC やタブレットなど複数機器をつないで動かしてみたら、若干不安定ながらも遅延は少なくて良い感じでした。

と、ここまでが半年くらい前の話で、その頃はまだ動画を作る予定もありませんでした。

その後、旅行やらかぶちゃん村やら庭動画やらで何度も中断しながら少しずつ企画を考えました。(演奏や構成が決まったあとで一度企画中止を考えました。試しに画面デバイスを並べてみたら、ただの駄目人間の部屋にしか見えず絵的に酷かったからです…)
最近になって CG を少し作りこみ部屋を暗くしてカメラを通したら、暗い空間に画面が浮かび上がるような感じで面白かったので、ようやく動画を作ってみることにしました。

利用可能な画面機器をかき集めて、最終的には以下のようになりました。


また、最近の動画でときどき使っている手法で、カメラのアングル切り替えがあります。今回は特に立体的な構造を見せたかったので手間をかけて6視点で撮影して編集しています。以前作った 3D のラピュタ動画と対照的です。
もちろん6台ものカメラは持っていないので 6回撮影しました。初回に撮った演奏を聴きながら、残り5回はタイミングを合わせて弾いて撮影しています。ですので、初回撮影の構図以外は若干タイミングがずれている個所があります。まあ動画上の問題なので妥協…


今回演奏した人生のメリーゴーランドは前から好きな曲でしたが、難しくて最後まで弾いたことがなかったので、わりと苦労しました。演出のデザインは曲のイメージに合わせて考え、自分ではわりと気に入っています。最後の風景写真の窓は例によって趣味の旅行写真を使いました。

久しぶりにがんばったので解説もダラダラ書いてしまいました。今回のシステムは手軽に遊べるものですが、動画の作成は映像の調整や機器のレイアウトや撮影編集など、やたら面倒でした。このネタは今回限りでしょう。

ご視聴・コメントありがとうございます

2016年4月30日土曜日

一年カメラ(2) ~ 庭

一年前、実家の庭に定点カメラを設置しました。
こちらの記事参照 ⇒ 一年カメラ

案の定次々と問題が出ました。
  • 連続稼働しているとカメラがハングアップするため定期的に電源 off/on
  • Flickr のアルバム写真一覧を取得すると結果が異常になる
  • 天気によって(?) 画質が落ちる

など、途中で対策も必要でしたが、なんとか一年撮影を続けられました。あちこち撮り逃している期間もあるため、やはり遊び用ですね。
大量 18 万枚の写真が撮れたので編集して動画を作ることにしましたが、とても全部手動で編集できる規模ではなく、テーマ別に自動編集や画像検出を使いました。

猫検出の例
⇒ 撮影時間が昼のものだけ抽出
⇒ 近くの時間帯の画像と差分があるものの抽出
⇒ 差分のサイズが一定の位置・形・サイズ・色に収まっているものを抽出

これである程度絞り込んで位置情報も取れたので、あとは人力で選びました。

できた動画がこちら。




2年目も似たような映像になりそうですが、リアルタイムの映像も見られるのが面白いので、もうしばらく動かしてみるつもりです。


2016年4月3日日曜日

かぶちゃん村イベント

video

プロジェクションマッピングのイベント企画をしている会社の方からご相談をいただき、短期間ですがサポート開発をしていました。最初は公開中のソフトをご自由にどうぞというつもりだったのですが、追加開発のご相談や出張依頼もあったので、業務の形にさせてもらいました。

場所はこちらの村テーマパークの門。のどかで良いところでした。
http://kabuchanmura.jp/


過去に普通のプロジェクションマッピングもおこなっていたそうですが、今回はピアノ連動を取り入れた演出をしたいというお話でした。自分としても、ピアノ上ではなく背後の建物に大きな映像を出すような見せ方は初めてで、プロの方が演奏したりお客様に遊んでもらうというあたりも興味があったので、やってみることにしました。

数週間かけてレイアウトとデザインの変更を中心にあれこれ修正しましたが、あまりに時間が足りないため妥協の嵐になりました。ほぼぶっつけ本番だったので、当日微調整しやすいように工夫しておきました。

技術面で新しく追加した大きな機能はコーナーピン補正です。
映写機材の配置に自由を持たせ、映像が歪んでも四頂点を指定して補正できる機能で、一般的なプロジェクションマッピングでも使われます。非アフィン変換とやらのため、もはや自分でも理解不能な四次元行列を突っ込んでぐにゃぐにゃ変換しています。幸運にも 3D 演出のとき作った構造が役立ち、何とか間に合いました。それがなければ無理だったと思います。テスト例↓


のどかな山奥の村の門にプロジェクションマッピングという想像不能な世界で、そもそも建物がどう見ても映写向きでないという大問題もありましたが、結果的には思った以上に面白いものになりました。何よりプロの方の生演奏のおかげで、自分のシステムを使ってもらえたのは嬉しかったです。

準備中は最後まで微妙な仕様変更が止まらずバタバタしていました。何より本業で燃え尽きている所に休日の時間を割くのは苦しかったので、しばらくは自分の時間を大事に…
ともあれ今回は色々刺激的な体験ができて良かったです
しばらくは毎週色々なアーティストの方が来るそうなので、また見に行きたい気も。