2016年11月13日日曜日

リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。


"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的扱いやすそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。


黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。
LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件:
・速い曲だと解析が追い付かないので適度なテンポの曲
・リコーダーの音域に収まる曲
・およそ四半世紀ぶりのリコーダーでも吹けそうな曲

という条件で何にしようかと考えていた頃、TV で懐かしい映画をやっていたのでそれにしました。なお、以前吹いたオカリナでなくリコーダーにしたのは、私のオカリナ演奏だと不安定すぎて論外だったからです。

いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

ということで、新しい技術が多くて開発はなかなか楽しかったです。
撮影と編集がかなり面倒だったので今回限り、と思いつつも色々応用できそうな気もしています。


0 件のコメント:

コメントを投稿