ラジオ録音サーバ

ジョギングや登山などでラジオをよく聴きます。以前はスマホの radikoアプリで聴いていましたが、アプリの品質のためか正常に聴けないことが多くて耐えられなかったのと、山の中など電波の入らない環境で聴きたいことも多いので代替策を考えていました。

最終的に自分の理想的なシステムを作ってみました。登録した番組を自動で radiko から録音して mp3 で保存し、スマホに同期されるようにしました。

構成はこんな感じで raspberry pi のサーバでスケジュール管理・ダウンロード・録音して一旦 Google Drive にアップします(あくまで個人利用)。古いファイルは自動で削除されます。一方スマホ側は DriveSync というアプリで Google Drive と同期できるので、WiFi が繋がったときに更新されます。

Rasp pi を使わずクラウド上にシステムを作ったり、それも省略してスマホアプリだけで構築したりということもできるかもしれませんが、今回は諸々都合や試しやすさなど考えてこの形にしました。

いくつか予約番組を登録しておき、帰宅時など WiFi につながると自動で更新されて合計で直近100時間分くらいの音声ファイルが溜まってオフラインで聞ける状態になります。
実際にしばらく使ってみて、想像以上に快適な状態になりました。できれば東京以外の番組も聴きたかったのですが、無料で正規手段では難しそうだったのでそれは保留です。

実装規模は小さいですが、今回も先人と AI の知見に助けられました。
動作保証は一切ありませんがソースはこちらに。
https://github.com/faithroom/radio_recorder

 

 

月探し

カメラは特に趣味ではないのでスマホしか使わないのですが、先日こんな外付けの望遠レンズを買ってみました。ポケットサイズですがスマホでもわりと遠くまで撮れました。

せっかくなのでもう少し月の写真を撮ってみようと思い、建物などの背後に月を配置した構図で撮れないかと考えました。例えば満月と東京タワーが重なって見える写真はいつどこから撮れるのかと考えると、計算はできそうですが候補はたくさんあります。

そこで、月が見える位置を地図表示する Web アプリを作ってみました。日付と対象物の位置と、月を配置したい高さ (東京タワーの場合 300m 前後) を指定すると、その背後に月が見える場所や時間がプロットされます。慣れない python でしたが今回は大部分を AIに作ってもらったらあっさり完成。

高さや日時によって見える場所も刻々と変化するのでこの中から場所を選びます。ただ、まず晴天であることと、他の建物などに邪魔されずに見える場所を探すのが大変でした。Googleストリートビューなどで当たりをつけますが、現地に行ってみたら街路樹が茂っていて見えなかったり…

撮ってみた写真たちです。三脚や望遠レンズすら使っていないものもあって写真の質は度外視ですが、簡単に構図を予測して狙えるのはなかなか楽しいです。

　

こちらは応用編です。羽田からの離陸直後で多くの飛行機がだいたい同じ位置を通る場所をターゲットにしてみました。飛行高度がまちまちなので運に左右されますが、月が昇りきるまで何度かの離陸チャンスで祈ります。期待通り飛行機が横切ってくれましたが、近すぎて大きくなりました。

どこか旅行に行ったときにでもまた試してみたいと思っています。

自動式グラスハープ

以前作った鍵盤グラスハープを時々人に見せたりしていましたが、鍵盤を叩く音がうるさいのが気になっていたので自動演奏用に拡張してみました。

今までのシステムでもやろうと思えば自動演奏は可能でしたが、外部 PCのアプリを書き換えて一曲演奏みたいな煩雑な形だったので、この機にシステムを整理しました。

• 波形生成用の Raspberry pi の一つに演奏データ配信サーバを追加
• WiFi 接続のスマホから曲の再生操作
• ついでに自己演出もできるように音連動制御の LED を追加

結局本質的ではない 26音分の LED 追加工作に製作時間の大部分を費やしました。スマホのコントローラーは、ずっと前にピアノ連動企画で作ったアプリの流用です。

曲データを2オクターブの音域に収めるよう考えるのは面白いですが、あと一音欲しくなったので最高音の A6 のシャンパングラスを購入して追加しました。グラスの属性として A6 という表現は聞き覚えがありません。

有名なジブリ曲のデータをいくつか作成してデモ動画を作りました。録音やノイズ除去がなかなか難しく、生音の方がもう少し良い気がします。

旅行の思い出

しばらく趣味の技術開発をやっていません。本業の方でおなかいっぱいなのと、気力の減衰、老化と、他の趣味が増えてきたのと…など理由はありますが、このページの更新もずっと止まっているので最近の小さな工作の話だけ。

コロナ時代になってから何年も海外に行っていませんが、昔の旅行写真を部屋に飾りたいと思い、気に入ったものをまとめて額に入れたフォトパネルを作りました。

25年分の写真から気に入ったものをがんばって選抜し、サイズを揃えるためトリミング調整などしてからプリントしました。並び順に迷いながら台紙に軽く貼り付ければ完成です。

撮影は時代と共に変わるちゃちいカメラやスマホですが、飾ってみたら思ったより満足度が高かったのでもう一枚作製。こちらは旅先の人々の特集というテーマで。

これらの写真を撮った旅行の記録を長年だらだらと書き留めていましたが、この機にスマホ対応のフォーマットに一新しました。⇒ 旅記

鍵盤グラスハープ (3) 演奏, 収録

演奏

最終的な微調整は特に語ることのない地道な作業ですが、わりと手間がかかっています。グラス毎のアームの位置、鍵盤を叩く強さに応じた波形調整、音量を揃える調整などです。グラスごとに音量が違うのでなるべく揃うように調整していますが、いまだにうまくいきません。

演奏前はグラスごとに水量を調整して音程をチューニングします。対応する周波数で加振しながら水を加えていくと、ちょうど良い量になったとき音が大きくなって水面が波立つので意外と簡単です。

完成後は期待以上に普通の楽器らしく演奏できて楽しめました。2オクターブの制約がありますが、音域の拡張を考えるより今の範囲で収まる形のアレンジを考えたり、ピアノと多重奏するなどの使い方を模索しています。

収録と照明

どんなものになるか分からなかったので当初動画作りは計画していませんでしたが、わりと楽器らしくなって面白かったので動画で公開しました。

撮影のため照明による演出も最後に追加することにしました。以前このページでも度々紹介しているピアノプロジェクションシステムの流用で、久しぶりに一式を引っ張り出して設置しました。
グラスハープだけでも邪魔なのにプロジェクタも加わって、生活空間がだいぶ浸食されています。

楽器としては内蔵マイコンで完結していましたが、これのために PC を一台挟む形にしています。

楽器の音量が小さいので、収録のときは鍵盤を叩く音とプロジェクタの冷却ファンの音が気になりました。結局一旦演奏パターンを MIDI 録音して音の収録は別撮りしています。

MIDI を再生できるので、オルゴール的に演奏させたりもできます。

◆

もはや自分用の記録ですが長々と書きました。
追加したサンプル演奏動画は過去最低の再生数を叩き出してやはりマニア向けだった模様です。

ニコニコに寄せられたコメントで笑った "人知れず死んだ博士の研究室でホコリ被ってそう" はわりとリアルな気もしてきました。

鍵盤グラスハープ (2) グラス, 音作り

グラス

マイコンやソフトの準備と並行して、キーパーツのグラス収集を始めていました。200～2000円くらいのものまで様々です。

最初は数量少な目で様子見して、だんだん数を増します。欲しい周波数と音色のグラスに当たるまで延々グラスを買い続ける熱いグラスガチャ(割れた音みたいだ)が続きました。店でグラスを見かけると周波数や音色を想像する病気になります。

本物のグラスハープでは演奏のためグラスの高さをなるべく揃えるそうですが、この製作ではその制約がないので自由に買い集めました。最終的な配置も、コーラス隊をイメージして段差をつける形にしてみました。

振動スピーカーは最初に数個買って試したあと、安かった AliExpress でまとめ買い。届くまで 1ヶ月くらいかかったので開発ペースはゆっくりです。

グラスにスピーカーを取り付ける構造は当初からわりと悩みました。レーザーカッターでアクリル加工し、ある程度の圧で振動スピーカーをグラスに押し付けられるアームを作りました。外観も良い感じにしたかったのでネジやゴムも透明なものを使いましたが、結局配線材を赤黒で妥協して台無しにした感もあります。

音作り

楽器として、打鍵からグラスを鳴らすまでの遅延の最適化にこだわっています。
実際 MIDI 受信やマイコン間通信による遅延はほとんど問題なく、リアルタイム波形生成のためのソフト設計やサウンドデバイスのバッファサイズ縮小のあたりが効きました。初期は 100[ms] 程度の遅延があってまともに演奏できませんでしたが、最終的には…正確に計測していませんが違和感なく弾けます。

音色を改善しようと指演奏の波形を周波数解析して似た波形をぶつけることを試行錯誤しましたが、期待したほど改善が見られなかったので結局今はほぼ正弦波のまま使用しています。本物のグラスハープとは違いますが、わりと楽しめる程度のアナログ的な音になってきました。

また、ピアノ音のようなアタックと減衰が欲しかったので、そのあたりの波形を作りこみました。減衰率などは曲に合わせて調整できるようにしています。

マイコン x 6, グラスと振動スピーカー x 25+予備 を大購入し、机の上に嫌がらせのように並んだあたりからはもう後には退けない状態です。その後も追加で必要になったパーツを次々買い足しながら突き進み、投資やギャンブルで破滅に向かうようなモードです。

初期の試作

演奏と収録についても書こうと思うので、もう少しだけ続きます。

(3) 演奏、収録

鍵盤グラスハープ (1) 構想, システム

大きな工作をしたので、ほぼ廃墟化していたこの blog を一年半ぶりに更新です。

鍵盤で演奏するグラスハープ(もどき)です。個人の工作では過去一で手間がかかっています。

構想

ピアノ鍵盤で別のアナログ楽器を弾けないかと考えたのは10年くらい前でしたが、良いネタがなかったので思いつきのまま眠らせていました。昨年なんとなくそれを思いだしていて、グラスハープは初心者が安定して音を鳴らすのが難しい、早いフレーズや和音も出せるが難しいなど、鍵盤化のメリットがあって向いている気がしました。単純な構造で鳴らせそうな可能性を感じられたのもきっかけで、構想が始まりました。

とは言え大規模な工作なので本気で踏み切るのはだいぶ先です。材料大購入して後悔する様子が目に浮かぶので、まず単音を弾く系の実現性検証が延々続きます。

動画の 00:30 付近に、振動スピーカーでピアノ音を与えてみても全然駄目だったというくだりがありますが、実時間ではそこで一旦諦めて4ヶ月ほど活動が止まっています。その頃はしばらく本業にうつつを抜かしていましたが、その後少し業務が落ち着いたので手法を変えて試しつつ再開しました。

楽器として遊ぶために譲れないのは、音色、音域、応答性。楽器としてわりと譲りたくないのが外観。というスタンスでした。
逆に運用性や製作費は譲りすぎて、最終的に普段使っている電子ピアノより高価な楽器になったとか。あと、地震が来たら終わりです。

でもわりと狂っていて好きです。

システム

音が混ざらないように出力を分けるためと、リアルタイム波形生成の負荷分散のために複数マイコンを前提に考え、とりあえず家にあった Raspberry pi 3B を使って試作を始めてみました。

2オクターブ25音を目標にしていたので、オーディオ 25ch をカバーするためにマイコンも25個、…はさすがに思いとどまり、オクターブ違いの出力は共用にしています。
1マイコンあたりステレオ 2出力で、12種類の音階をカバーするため、マイコンは全部で 6個使っています。

本格製作を決め、いざマイコンを追加購入しようとしたら、コロナの影響で Raspberry pi が全く手に入らない想定外の事態でモチベーションが低下します。
結局メルカリで買い集め、鍵盤グラスハープ基幹部の大部分は中古品で構成されています。

また、出力を上げるために安いアンプ基板のモジュールを量産しました。回路系の知識はまるっきりですが、なるべくシンプルな形で地道に作ってなんとかしています。
一枚作ってみたらうまく行きそうでしたが、量産して USB 充電器でまとめて給電したらノイズが荒れまくりで、電源をバラにしたら静まってくれました。このあたりも素人感全開で勉強になります。

マイコン × 3 とアンプ × 3 のモジュールです。これを2セット作成。制作中、徐々に出せる音階が増えていくのが楽しかったです。

制御システム全容。マイコン間の通信を安定させるため接続は有線にし、ケーブル類が溢れました。内部に HUB など丸々格納している変態楽器です。

(まだまだ続きそうなのでまた次回)

鍵盤グラスハープ (2)

AR ピアノ - 春よ、来い

自由に外出できない日々なので、久しぶりにがんばってピアノ動画を作りました。
"AR ピアノ - 春よ、来い"

曲もギミックも過去動画の応用ですが、この blog を書く機会も少ないので少し製作の記録を残しておきます。

昔弾いた「春よ、来い」を思い出しながら練習していたところ、前回の動画では覚え間違いなどいまいちなところが多くて作り直したくなりました。

今回は AR 演出ですが、魔女の宅急便の動画で使った Unity 版でなくプロジェクションマッピング用のソフトを拡張して作った簡易 AR です。以前生放送で少し試したことがあります。当時の説明はこちらです。http://www.funnyfaith.net/2019/02/ar-piano.html

今回はマーカー配置やフィルタなどで安定化の工夫をして、わずかながらカメラを動かしても耐えられるようになったので、一部の構図では少しカメラを動かしてみました。
また強烈な脱線で、頭の体操がてらモノレールのようなレゴマシンを作って撮影しました。レールはプロジェクションマッピング用のスタンドから抜き取ったアルミ柱。

演出用の素材は本物の桜の花弁をキャプチャしました。以前のは薔薇の造花の花弁を色補正したインチキ版だったので、今回の密かなこだわりです。ただ、散った桜から作ったので動画は季節に間に合わず。

プロジェクションマッピングと比べて AR は器材設置や撮影が楽で良かったので、また何か作ってみたいです。やはり動画だとリアルタイム合成の効果が伝わりきらないのは残念なところですが。

レーザーピアノ - Phantom of the Opera Overture

一度やってみたかったリアルレーザー連動ピアノのシステムを作ってみました。

今回の製作のきっかけはまらしぃさんの幕張ライブで見たレーザー演出でした。頭上の空間に線が浮かぶ、ある種の立体映像のような見え方があらためて面白かったので興味を持ちました。通勤電車の中で少しずつ機器や規格の情報を調べていたら、市販の機器の組み合わせで安価で実現できそうだったのでやってみることにしました。

製作を振り返って、苦労順の下位から要素を並べてみます。

3.ピアノ

ピアノは近年ますます練習不足で新曲も練習していなかったので、元々弾いたことのある曲を弾くだけにしました。ピアノはそえるだけ。

2.レーザー制御

事前にある程度調べていたので、機器が届いてからピアノに連動して光らせるまでは簡単でした。EtherDream2 というデバイスを介し、公開されているドライバを PC で叩くだけでつなげられました。

しかし、イメージしていたデザインで描くのには少々苦労しました。一般にレーザー機器が出せるレーザーの光は一本だけなので、それを高速で分身の術のように制御して図形を描きます。

しかし今回使った機器の性能的に思い通りに動いてくれないところも多く、その調整に時間がかかりました。当初考えていたデザインからいくつか妥協して現在の形に至っています。大きなライブで使われる高級な機器ならばもっと制御の幅が広がるのかも。

1.撮影 (スモーク、掃除)

レーザーは反射させるためのスモークがないと見えないので、どうするか悩みました。軽い実験は加湿器でやっていましたが撮影するには弱く、最終的には一般的に使われているというグリセリンを使ってみました。

しかしそれでも持っているカメラでは撮影は苦しく、やや期待と違う映像になってしまいました。静止画の方が良い感じです。

レーザーは足元に置いて鏡で反射させ、ピアノの正面に弦のイメージで放射しています。CG でないリアルなものを連動させるのは面白く、ちょっと新しい感じの映像になりました。

カーテンを閉め切り、煙の充満する室内でマスク着用して異様な感触の鍵盤を叩く変態が作った動画です。

SoundMage2 Ver.1.200

公開版の SoundMage2 を更新しました。1年ぶりくらいかと思ったら３年ぶりでした。



少しずつ機能が増えていたのでリリースしようと思いつつ、延び延びになっていたようです。今回の新機能は大きく３つ。

カメラ映像背景
ときどきリクエストのあった機能です。もうプロジェクションマッピング用ではないですが、生配信などで使う場合はこちらの方が向いているかもしれません。というかプロジェクタを設置して使う方の方が少数派だったと思います。
AR 動画のとき作ったカメラ部分を整えて取り込んでいます。OpenCV を静的に抱え込んで作ったのでアプリのサイズが一気に膨らみましたが、導入しやすさ重視で。

メロディトリガ
初期から対応していた、特定のメロディで演出モードが切り替わる機能の簡易版です。実は自分のソフトで一番の特徴はこれではないかと思っています。設定ファイルで自由に定義できるようにするのが面倒で今までリリース版には入れていませんでしたが、簡易的に設定できるようにしてみました。
とはいえデザインの作りこみとか設定はややこしく、使いこなす人がいるのか疑問です。

楽譜モード
最も基本的なデザインだと思いますがようやく導入。



このモード自体はだいぶ前から作っていたもので、今年に入って時々生配信で使ったりしていました。
先日まらしぃさんの幕張ライブでまたプロジェクション演出をさせていただき、この楽譜モードの一部を拡張して取り込みました。そちらは非常にお気に入りです。そのライブの前に個人的にこれを公開してしまうのはためらわれ、ちょっとリリースを待機していました。

ときどき使用動画を目にしたり相談をいただくことなどあり、嬉しいです。
よかったら遊んでください。

ピアノプロジェクションコラボ ～ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。

AR ピアノ - モバイル版

先日の AR ピアノを Android 版に拡張してみました。

またちゃんとした動画を作るのは大変なので、突貫で実験動画だけ撮影しました。

今回のシステムはこんな感じです。ハウルの動く城の動画で使ったシステムの応用で、画面は出していませんが以前のプロジェクションマッピング用の SoundMage2 をそのまま使っています。

PC 版の AR Piano アプリを Android 用に出力してみたらわりとあっさり動いたので、あらためて Unity は完成度が高いと思いました。主な変更点は WebSocket の通信部分だけです。遅延が気になりますが、今回は軽い試作ということで改善はさぼっています。
複数の観客がそれぞれの端末で同時に見られるのは面白いかもしれません。

AR ネタでやってみたかったことは一通りできました。
最後に、先日の動画の記事がねとらぼに掲載されました。製作物のねとらぼ掲載はこれで四度目で、ありがたいことです。
http://nlab.itmedia.co.jp/nl/articles/1804/06/news109.html

AR ピアノ - 魔女の宅急便

AR を使ったピアノ演出動画を作りました。

簡単なAR の実験は以前にもやっていたのですが、動画にするとリアルタイムでなく後から CG 合成しただけのように見えそうだったので興味は低めでした。
ですが今年の正月に 3D CG への興味から Unity と SmartAR を試してみたら、思った以上に使いやすく面白い効果も作れそうだったので、作品にしてみたくなりました。

中央のマーカーを SmartAR で検出してピアノの位置推定をしています。マーカーの柄や大きさは試行錯誤がありましたが、自分のアイコンでも上々だったのでそれを使うことにしました。大きさはこの距離だとこれがギリギリくらいでした。

今回は Unity, SmartAR, C# すべてが初めてだったので大変でしたが勉強にはなったと思います。これまでプロジェクションマッピング用に作ってきたものをなるべく活用したかったので、MIDI 検出、テスト用の MIDI 録音/再生、メロディ検出、WebSocket 通信等の基本機能は SoundMage のコア部分を C++ のまま dll 化して使っています。

動画の真ん中くらいで青の音符がピアノの周りを回るあたりが、やさしさに包まれた感じで気に入っています。

Unity で色々調べてみたら、立体のマスクを作ればこういう演出ができそうだったので導入してみました。ラフにピアノの形状を定義したモデルで、”後ろにある背景は透過して見えるけれど後ろにある他のオブジェクトは隠れて見えなくなる" という性質になっています。

撮影に使ったレゴ車はずっと前から細々遊んでいたものを大改造して実戦投入しました。今回の動画も一度友人にテスト撮影してもらったのですが、毎度お願いするのは大変だし、なにより自分の駄目な演奏は撮り直しが多すぎるのとで、機械撮影という変態的なことをやってみました。PC と WiFi で接続し、今までと同様 WebSocket でシーン切換コマンドを送って制御しています。

今回の曲は昔から好きだったけれど動画にはしていなかった魔女の宅急便から。Unity のインストールをしているときたまたまテレビで魔女の宅急便をやっていたので、動画制作の最初からその曲を考えていました。

なお、解説パートで弾いているのは自作の曲です。(言うまでもないか…)

映像で形を作りつつも、なんとか音楽っぽく聞こえるようなものをと考えました。

ピアノプロジェクション 3D改 - The Phantom of the Opera

久しぶりにピアノプロジェクションの演奏動画を作りました。



リアルタイムでカメラの位置を計測して動画の視点を追従させるシステムを導入し、昔作った 3D 錯視を改良してみました。思ったよりうまくいき、自分で眺めていても面白かったです。

原案は昔ラピュタの 3D 動画を作ったとき既にあったのですが、当時はカメラの位置を正確・高速に測定するのが難しそうだったのでやめました。
ですが最近別件で初めて OpenCV に触り、AR marker を試していたら簡単に位置計測が実現できそうだったので計画が始まりました。

ちょっと厄介だったのは計測結果が不安定なことで、誤差を抑えるフィルタを作ったりマーカーを2枚にしてエラー率を下げたり色々と対策を入れて安定化を図りました。

結局位置計測システムは家にあった Web カメラと木材の切れ端だけで作れたので、今回の製作費はマーカー印刷代の50円くらいです。(我が家にプリンタがあったらゼロだったかも…)

◆

既におまけのような感じのピアノ演奏ですが、今回は友人に撮影してもらったためこれまでのように何日もかけて撮りなおせないのが苦しいところです。いつもより練習してから撮影しましたが緊張しました。
オペラ座の怪人は大学時代にロンドンの劇場で見て以来愛してやまない作品で、作品中の曲は他にもよく弾いています。今回は迷いましたが一番有名そうな曲にしました。
肉声の歌のすばらしさは到底表現できませんが、動画前半の黄色と青の光の演出は女声と男声に対応させたイメージです。

◆

何よりも圧倒的に大変だったのはデザインの地味な作りこみです。製作期間全体の8割くらいは曲に合わせたデザインを構想して実装したり動きや色の調整を繰り返す作業でした。今回は映像が面白くなりそうだったのであまり妥協せず、作ってからボツにしたパターンも何種類かあります。以下は攻撃力が高すぎてボツにしたパターンの例です。これはこれで別の曲なら…

久しぶりの動画ということでわりと細部にこだわり、ダラダラ4ヶ月くらい作っていました。

ピアノプロジェクションコラボ ～ まらしぃ様 2

春の sakura wishes に続き、ピアニストまらしぃさんのパフォーマンス用に演出製作をさせてもらいました。しかも動画ではなくライブツアー用という大きなお話で、一介の中年サラリーマンの趣味がそんなことになるとは…
ツアー中はネタバレを避けて伏せていましたが、昨日東京の最終公演が無事終了したので振り返りです。

今回はプロジェクションマッピングではなくピアノに連動した映像を大スクリーンに映す構成ということでした。いつものような見せ方はできないですが、映像をピアノ位置に合わせる必要がないため、曲のテーマだった水と龍のイメージで鍵盤を躍らせたりして遊んでみました。

また、今回の企画ではパズドラの公式画像を提供いただけたのでフル活用しました。
全体の構成はいつも通りの素人デザインでしたが、画像素材に高品質なものが入ると締まった気がします。例によってデザイン構想やら試作やら作り直しやら微調整やらリハやらで想定の倍以上時間がかかって泣けましたが、特別な機会なので楽しみながらやらせてもらいました。(実は試作版でトリッキーな画像の使い方をしたら一部の演出が没になって作り直しに…)

と、言葉で説明しても伝わらないと思いますが、パズドラのステージ映像など載せると全方位から怒られそうなので、リハーサル中の一コマだけ。まらしぃさんのイメージキャラであるサルのデモ演出。他の曲もこんな大スクリーンで展開されました。

このサル画像のパターンは、ツアー直前の打ち合わせのとき話の流れで急遽追加することにしたデモパターンです。製作時間30分以下でしたがサル人気は自分の想像以上で、本番ではまらしぃさんのトークもあって大いに盛り上がっていたので作って良かったです。

最後に、この製作を抜きにしても本当に楽しいライブですっかり堪能させてもらいました。

(追記) ライブの記事が出ていました。良い写真たくさんで嬉しいです。
音楽ナタリー [まらしぃ全国ツアー完走、ピアノプロジェクションやニコ生中継で女子大沸かす]

凧で空撮

イタリアの美しい田園地域トスカーナに旅行を計画していて、空撮をしてみたいと考えました。今時ならばドローンが定番なのかもしれませんが、

・写真は旅行のついでなので、とにかく邪魔にならないよう軽くて小さいこと
・ドローンは日本で試せる場所が少ないし、海外でトラブルも気になる

という点からドローンはやめて、凧で撮影できないかと考えました。弱点として広い場所と風が必要という条件がありますが、旅先ならばチャンスはあるだろうと思いました。
調べてみると、凧による撮影は KAP という用語で昔からある手法のようで、大型の凧で 1kg 程度のカメラを持ち上げるような事例もありました。でも自分はサイズと重量をなるべく抑えたかったので、このようなものになりました。

市販の小型の凧とアクションカムを用意し、先人たちの事例を参考にしながら凧の糸にカメラを吊るすユニットを作りました。木とアルミを加工した簡単なもので、取り付けや角度調整は工具不要でできるようにしています。
これら全てでケースも含めても 300g 程度に収められました。畳めば鞄の隙間に入るくらいコンパクトで、旅行に持って行っても良いかなと思えるサイズです。すばらしい。(実際はもうひとつ使いやすい糸巻きも追加で持って行ったので、そちらの方が重かったです)

事前に多摩川で実験。凧あげ自体の練習はわりとすぐ慣れましたが、カメラを吊るした撮影は少々コツがいりました。また、自動で回転しながら360度を撮影するモーター付きのユニットも作ってみたのですが、そちらは重くて不安定だったのでやめました。

そしてトスカーナへ。風が吹いた時間が少なかったので一地点だけでしたが、なんとか撮影できました。雄大。

ギリギリ見える程度の自撮り。

下から見た様子。タブレットから接続して上空の画像をリアルタイムでも見られますが、高度が高いと無線が届きませんでした。

爽やかな工作でした。
またどこかで凧あげするかもしれません。

ピアノプロジェクションコラボ ～ まらしぃ様

しばらく音楽や動画でなく地味な物作り趣味に勤しんでいたところ、ある日驚きのお話が。




ピアニストまらしぃ氏の動画でピアノプロジェクションを使ってみたいというご相談を受けました。我が家の電子ピアノと素人演出でこんな本格的なお仕事に参加して良いものかと戸惑いましたが、微力ながら参加させていただきました。
今回の曲 sakura wishes はまらしぃ氏自らの作曲で CM に使用されている素敵な曲です。→ http://natalie.mu/music/news/222962

いただいた曲とリクエストの中でデザインを考えるのは苦手な作業で時間もかかり、やはりデザイナーにアウトソーシングする形に持って行かないとやばいなどと思いつつ、自分なりに丁寧に作りました。まあ多くの時間は版権フリーの画像をダラダラ検索する作業なのですが…

今回は正統派な演出で、技術的に新しいギミックは見えないかもしれませんが、曲で使用する音域が広かったため映写範囲を広げ、鍵盤のサイズを微調整できるように修正を入れています。過去の作品と互換性を保つのが少々厄介でした。

我が家での収録ということで念入りに準備しておいたのですが、一つ誤算だったのは、いざまらしぃ氏が演奏したらアタックの強い部分でスクリーンが思ったより揺れてしまったことです。強弱のメリハリがない自分の演奏では目立たなかった脆さで、演奏と設計をダブルで反省。

動画は公開直後からまらしぃ氏の影響力で普段の自分の動画では考えられないくらい多くの方に見ていただけています。

7年くらい前、初めてピアノ動画を作り始めた頃ニコニコでまらしぃ氏をはじめとする凄腕の方々が弾いているのを見て、自分が普通に演奏動画を公開しても誰も見ないかなあと考えて全力でギミック堕ちして行きました。それが巡り巡ってこういう企画に至ったと思うと面白いです。

リコーダー連動プロジェクション

いくつか新しい技術を使って動画を作りました。

"リコーダーに映像演出 - Fire Treasure"
YouTube: https://t.co/yTokIV0nts
Nico: https://t.co/5hQyM4wFbi

■アナログ音連動

これまでの演奏連動映像システムをアナログ楽器に応用してみました。アイディアはずっと前からあったのですが、まともに演奏できる楽器がないのでなかなか手を付けていませんでした。

Fast Fourier Transform (FFT) による音程解析をしたのちに、これまでの映像生成部につないでいます。単音であればわりと簡単かと思っていましたが、音色や演奏の乱れへの対策が苦しくて時間がかかりました。演奏する側も若干意識して音を出す必要があり、演奏者にそういう制約を課すのは残念なシステムです。

別の楽器にも応用はできますが、音色によって扱いやすいものとそうでないものがあります。ネットでいくつかの楽器の演奏データを拾って見てみましたが、リコーダーは比較的良さそうな方でした。原理上は、音叉のようにシンプルな波形かつ高音が扱いやすいです。

■位置検出

もう一つの技術ネタは楽器の位置検出です。手段は色々ありそうですが、簡単に作れて周囲の映像に惑わされないものをと考えて赤外線を使ってみました。

黒い丸が加工した赤外線フィルタで、これを貼り付けて可視光をカットします。カメラやフィルタで総材料費2000円程度でした。使ったカメラは 10fps 程度しか出ませんでしたが、今回の用途には十分でした。

LED の映像が期待以上に鮮明かつ低負荷で撮れたので、ソフトは簡単でした。簡単にキャリブレーションできるモードも仕込んでいます。

曲の途中、Dの音を長く伸ばす箇所で笛を動かして線を描いていますが、ああやって模様のような映像を作れるのは実際に使ってみて気付いた発見で、面白かったです。ただ、位置検出カメラや撮影カメラの位置関係から、なるべく壁際にいないと位置がずれて見えます。

■デモ演奏

今回の選曲条件：
・速い曲だと解析が追い付かないので適度なテンポの曲
・およそ四半世紀ぶりのリコーダーでも吹けてリコーダーの音域に収まる曲

TV で懐かしい映画をやっていたのでそれにしました。
いざ撮影すると予想外の苦労も多く、えらく時間がかかりました。リコーダーに LED やマイクを取り付けたり、配線が目ざわりなので袖の中を通したりしています。正面からプロジェクタで映写しているため黒っぽい服で映像が映らないようにしました。

SoundMage2 Ver.1.100

公開していたことを思い出した SoundMage2 を、およそ一年ぶりにバージョンアップしました。
ハウルの動画で使用したサブアプリ連携機能などを追加しています。

http://soundmage.funnyfaith.net/

サンプルにはハウルで使用した素材は含まれていませんが、サブアプリは JavaScript なので適当に書き直せば自由なオリジナルアプリに改造できる、はず…

ピアノプロジェクション & bit

久しぶりに動画を作りました。ハウルの動く城より 人生のメリーゴーランド

Youtube: https://youtu.be/uCwP1p7oTkU
Nico: http://nico.ms/sm29246504

しばらくプロジェクションマッピングばかりだったので、何か手軽に遊びやすいものでも作ってみようと思ってタブレット連動を試したところから始まりました。
前回 Unreal Engine で高度な 3D CG 技術をかじってみたら手に負えなかったので、今回は一転して手軽な方向に傾倒して Web アプリにしました。描画には Pixi.js というライブラリを使っています。サブアプリはメインアプリに比べて開発が早くて楽でした。
システムはこんな感じに。

サブアプリも PC から配信しているので、適当な機器のブラウザからつなぐだけで使えます。演奏の通信は WebSocket を使いました。今までのシステムにサーバを追加して適当にプロトコルを決め、打鍵やシーンの情報を送っています。
一部のブラウザでは動きませんでしたが、Chrome ならばどの機器でも動いていました。試しに PC やタブレットなど複数機器をつないで動かしてみたら、若干不安定ながらも遅延は少なくて良い感じでした。

と、ここまでが半年くらい前の話で、その頃はまだ動画を作る予定もありませんでした。

その後、旅行やらかぶちゃん村やら庭動画やらで何度も中断しながら少しずつ企画を考えました。試しに画面デバイスを並べてみたら、ただの駄目人間の部屋にしか見えず絵的に酷かったからです…
最近になって CG を少し作りこみ部屋を暗くしてカメラを通したら、暗い空間に画面が浮かび上がるような感じで面白かったので、ようやく動画を作ってみることにしました。

利用可能な画面機器をかき集めて、最終的には以下のようになりました。

また、最近の動画でときどき使っている手法で、カメラのアングル切り替えがあります。今回は特に立体的な構造を見せたかったので手間をかけて6視点で撮影して編集しています。以前作った 3D のラピュタ動画と対照的です。
もちろん6台ものカメラは持っていないので 6回撮影しました。初回に撮った演奏を聴きながら、残り5回はタイミングを合わせて弾いて撮影しています。ですので、初回撮影の構図以外は若干タイミングがずれている個所があります。まあ動画上の問題なので妥協…

人生のメリーゴーランドは難しくて最後まで弾いたことがなかったのでわりと苦労しました。演出のデザインは曲のイメージに合わせて考えています。最後の風景写真の窓は例によって趣味の旅行写真を使いました。

久しぶりにがんばったので解説もダラダラ書いてしまいました。今回のシステムは手軽に遊べるものですが、動画の作成は映像の調整や機器のレイアウトや撮影編集など、やたら面倒でした。このネタは今回限りでしょう。