鍵盤グラスハープ (2) グラス, 音作り

グラス

マイコンやソフトの準備と並行して、キーパーツのグラス収集を始めていました。200～2000円くらいのものまで様々です。

最初は数量少な目で様子見して、だんだん数を増します。欲しい周波数と音色のグラスに当たるまで延々グラスを買い続ける熱いグラスガチャ(割れた音みたいだ)が続きました。店でグラスを見かけると周波数や音色を想像する病気になります。

本物のグラスハープでは演奏のためグラスの高さをなるべく揃えるそうですが、この製作ではその制約がないので自由に買い集めました。最終的な配置も、コーラス隊をイメージして段差をつける形にしてみました。

振動スピーカーは最初に数個買って試したあと、安かった AliExpress でまとめ買い。届くまで 1ヶ月くらいかかったので開発ペースはゆっくりです。

グラスにスピーカーを取り付ける構造は当初からわりと悩みました。レーザーカッターでアクリル加工し、ある程度の圧で振動スピーカーをグラスに押し付けられるアームを作りました。外観も良い感じにしたかったのでネジやゴムも透明なものを使いましたが、結局配線材を赤黒で妥協して台無しにした感もあります。

音作り

楽器として、打鍵からグラスを鳴らすまでの遅延の最適化にこだわっています。
実際 MIDI 受信やマイコン間通信による遅延はほとんど問題なく、リアルタイム波形生成のためのソフト設計やサウンドデバイスのバッファサイズ縮小のあたりが効きました。初期は 100[ms] 程度の遅延があってまともに演奏できませんでしたが、最終的には…正確に計測していませんが違和感なく弾けます。

音色を改善しようと指演奏の波形を周波数解析して似た波形をぶつけることを試行錯誤しましたが、期待したほど改善が見られなかったので結局今はほぼ正弦波のまま使用しています。本物のグラスハープとは違いますが、わりと楽しめる程度のアナログ的な音になってきました。

また、ピアノ音のようなアタックと減衰が欲しかったので、そのあたりの波形を作りこみました。減衰率などは曲に合わせて調整できるようにしています。

マイコン x 6, グラスと振動スピーカー x 25+予備 を大購入し、机の上に嫌がらせのように並んだあたりからはもう後には退けない状態です。その後も追加で必要になったパーツを次々買い足しながら突き進み、投資やギャンブルで破滅に向かうようなモードです。

初期の試作

演奏と収録についても書こうと思うので、もう少しだけ続きます。

(3) 演奏、収録

鍵盤グラスハープ (1) 構想, システム

大きな工作をしたので、ほぼ廃墟化していたこの blog を一年半ぶりに更新です。

鍵盤で演奏するグラスハープ(もどき)です。個人の工作では過去一で手間がかかっています。

構想

ピアノ鍵盤で別のアナログ楽器を弾けないかと考えたのは10年くらい前でしたが、良いネタがなかったので思いつきのまま眠らせていました。昨年なんとなくそれを思いだしていて、グラスハープは初心者が安定して音を鳴らすのが難しい、早いフレーズや和音も出せるが難しいなど、鍵盤化のメリットがあって向いている気がしました。単純な構造で鳴らせそうな可能性を感じられたのもきっかけで、構想が始まりました。

とは言え大規模な工作なので本気で踏み切るのはだいぶ先です。材料大購入して後悔する様子が目に浮かぶので、まず単音を弾く系の実現性検証が延々続きます。

動画の 00:30 付近に、振動スピーカーでピアノ音を与えてみても全然駄目だったというくだりがありますが、実時間ではそこで一旦諦めて4ヶ月ほど活動が止まっています。その頃はしばらく本業にうつつを抜かしていましたが、その後少し業務が落ち着いたので手法を変えて試しつつ再開しました。

楽器として遊ぶために譲れないのは、音色、音域、応答性。楽器としてわりと譲りたくないのが外観。というスタンスでした。
逆に運用性や製作費は譲りすぎて、最終的に普段使っている電子ピアノより高価な楽器になったとか。あと、地震が来たら終わりです。

でもわりと狂っていて好きです。

システム

音が混ざらないように出力を分けるためと、リアルタイム波形生成の負荷分散のために複数マイコンを前提に考え、とりあえず家にあった Raspberry pi 3B を使って試作を始めてみました。

2オクターブ25音を目標にしていたので、オーディオ 25ch をカバーするためにマイコンも25個、…はさすがに思いとどまり、オクターブ違いの出力は共用にしています。
1マイコンあたりステレオ 2出力で、12種類の音階をカバーするため、マイコンは全部で 6個使っています。

本格製作を決め、いざマイコンを追加購入しようとしたら、コロナの影響で Raspberry pi が全く手に入らない想定外の事態でモチベーションが低下します。
結局メルカリで買い集め、鍵盤グラスハープ基幹部の大部分は中古品で構成されています。

また、出力を上げるために安いアンプ基板のモジュールを量産しました。回路系の知識はまるっきりですが、なるべくシンプルな形で地道に作ってなんとかしています。
一枚作ってみたらうまく行きそうでしたが、量産して USB 充電器でまとめて給電したらノイズが荒れまくりで、電源をバラにしたら静まってくれました。このあたりも素人感全開で勉強になります。

マイコン × 3 とアンプ × 3 のモジュールです。これを2セット作成。制作中、徐々に出せる音階が増えていくのが楽しかったです。

制御システム全容。マイコン間の通信を安定させるため接続は有線にし、ケーブル類が溢れました。内部に HUB など丸々格納している変態楽器です。

(まだまだ続きそうなのでまた次回)

鍵盤グラスハープ (2)

AR ピアノ - 春よ、来い

自由に外出できない日々なので、久しぶりにがんばってピアノ動画を作りました。
"AR ピアノ - 春よ、来い"

曲もギミックも過去動画の応用ですが、この blog を書く機会も少ないので少し製作の記録を残しておきます。

昔弾いた「春よ、来い」を思い出しながら練習していたところ、前回の動画では覚え間違いなどいまいちなところが多くて作り直したくなりました。

今回は AR 演出ですが、魔女の宅急便の動画で使った Unity 版でなくプロジェクションマッピング用のソフトを拡張して作った簡易 AR です。以前生放送で少し試したことがあります。当時の説明はこちらです。http://www.funnyfaith.net/2019/02/ar-piano.html

今回はマーカー配置やフィルタなどで安定化の工夫をして、わずかながらカメラを動かしても耐えられるようになったので、一部の構図では少しカメラを動かしてみました。
また強烈な脱線で、頭の体操がてらモノレールのようなレゴマシンを作って撮影しました。レールはプロジェクションマッピング用のスタンドから抜き取ったアルミ柱。

演出用の素材は本物の桜の花弁をキャプチャしました。以前のは薔薇の造花の花弁を色補正したインチキ版だったので、今回の密かなこだわりです。ただ、散った桜から作ったので動画は季節に間に合わず。

プロジェクションマッピングと比べて AR は器材設置や撮影が楽で良かったので、また何か作ってみたいです。やはり動画だとリアルタイム合成の効果が伝わりきらないのは残念なところですが。

レーザーピアノ - Phantom of the Opera Overture

一度やってみたかったリアルレーザー連動ピアノのシステムを作ってみました。

今回の製作のきっかけはまらしぃさんの幕張ライブで見たレーザー演出でした。頭上の空間に線が浮かぶ、ある種の立体映像のような見え方があらためて面白かったので興味を持ちました。通勤電車の中で少しずつ機器や規格の情報を調べていたら、市販の機器の組み合わせで安価で実現できそうだったのでやってみることにしました。

製作を振り返って、苦労順の下位から要素を並べてみます。

3.ピアノ

ピアノは近年ますます練習不足で新曲も練習していなかったので、元々弾いたことのある曲を弾くだけにしました。ピアノはそえるだけ。

2.レーザー制御

事前にある程度調べていたので、機器が届いてからピアノに連動して光らせるまでは簡単でした。EtherDream2 というデバイスを介し、公開されているドライバを PC で叩くだけでつなげられました。

しかし、イメージしていたデザインで描くのには少々苦労しました。一般にレーザー機器が出せるレーザーの光は一本だけなので、それを高速で分身の術のように制御して図形を描きます。

しかし今回使った機器の性能的に思い通りに動いてくれないところも多く、その調整に時間がかかりました。当初考えていたデザインからいくつか妥協して現在の形に至っています。大きなライブで使われる高級な機器ならばもっと制御の幅が広がるのかも。

1.撮影 (スモーク、掃除)

レーザーは反射させるためのスモークがないと見えないので、どうするか悩みました。軽い実験は加湿器でやっていましたが撮影するには弱く、最終的には一般的に使われているというグリセリンを使ってみました。

しかしそれでも持っているカメラでは撮影は苦しく、やや期待と違う映像になってしまいました。静止画の方が良い感じです。

レーザーは足元に置いて鏡で反射させ、ピアノの正面に弦のイメージで放射しています。CG でないリアルなものを連動させるのは面白く、ちょっと新しい感じの映像になりました。

カーテンを閉め切り、煙の充満する室内でマスク着用して異様な感触の鍵盤を叩く変態が作った動画です。

SoundMage2 Ver.1.200

公開版の SoundMage2 を更新しました。1年ぶりくらいかと思ったら３年ぶりでした。



少しずつ機能が増えていたのでリリースしようと思いつつ、延び延びになっていたようです。今回の新機能は大きく３つ。

カメラ映像背景
ときどきリクエストのあった機能です。もうプロジェクションマッピング用ではないですが、生配信などで使う場合はこちらの方が向いているかもしれません。というかプロジェクタを設置して使う方の方が少数派だったと思います。
AR 動画のとき作ったカメラ部分を整えて取り込んでいます。OpenCV を静的に抱え込んで作ったのでアプリのサイズが一気に膨らみましたが、導入しやすさ重視で。

メロディトリガ
初期から対応していた、特定のメロディで演出モードが切り替わる機能の簡易版です。実は自分のソフトで一番の特徴はこれではないかと思っています。設定ファイルで自由に定義できるようにするのが面倒で今までリリース版には入れていませんでしたが、簡易的に設定できるようにしてみました。
とはいえデザインの作りこみとか設定はややこしく、使いこなす人がいるのか疑問です。

楽譜モード
最も基本的なデザインだと思いますがようやく導入。



このモード自体はだいぶ前から作っていたもので、今年に入って時々生配信で使ったりしていました。
先日まらしぃさんの幕張ライブでまたプロジェクション演出をさせていただき、この楽譜モードの一部を拡張して取り込みました。そちらは非常にお気に入りです。そのライブの前に個人的にこれを公開してしまうのはためらわれ、ちょっとリリースを待機していました。

ときどき使用動画を目にしたり相談をいただくことなどあり、嬉しいです。
よかったら遊んでください。

ピアノプロジェクションコラボ ～ まらしぃ様 3

再びまらしぃさんの演奏動画用にピアノプロジェクション演出の製作をさせていただきました。


Messier: https://t.co/CZTfEsIUDg

今回は事前に伺ったリクエストと自分の感じた曲のイメージからストーリー風にしてみました。シーン構成を考えて最初に作り始めた部分のわかりやすいソース。

enum {
SCENE_OPENING,
SCENE_FALLDOWN,
SCENE_TAKEOFF,
SCENE_STRATOSPHERE,
SCENE_SOLARSYSTEM,
SCENE_BLACKHOLE,
SCENE_CONSTELLATION,
SCENE_GALAXY,
SCENE_HEAVEN,
SCENE_NUM
};

曲名の Messier は多くの星雲に名前をつけた天文学者の名前からということで、映像は宇宙旅行がテーマになっています。最後に出てくる大きな紫の星雲はMessier-1です。
主役の素材としていただいたサルの気球にピアノがぶら下がっていたため、それを演奏と連動させて映像の中でもピアノを弾いているイメージにしてみました。ちょっと小さいですが面白くなったと思います。

今回は撮影も専門の方でした。超人の演奏と撮影と編集の妙で、自分の素人デザインも開発時とは別物に見えました。曲も好みでお気に入り動画です。

AR ピアノ - モバイル版

先日の AR ピアノを Android 版に拡張してみました。

またちゃんとした動画を作るのは大変なので、突貫で実験動画だけ撮影しました。

今回のシステムはこんな感じです。ハウルの動く城の動画で使ったシステムの応用で、画面は出していませんが以前のプロジェクションマッピング用の SoundMage2 をそのまま使っています。

PC 版の AR Piano アプリを Android 用に出力してみたらわりとあっさり動いたので、あらためて Unity は完成度が高いと思いました。主な変更点は WebSocket の通信部分だけです。遅延が気になりますが、今回は軽い試作ということで改善はさぼっています。
複数の観客がそれぞれの端末で同時に見られるのは面白いかもしれません。

AR ネタでやってみたかったことは一通りできました。
最後に、先日の動画の記事がねとらぼに掲載されました。製作物のねとらぼ掲載はこれで四度目で、ありがたいことです。
http://nlab.itmedia.co.jp/nl/articles/1804/06/news109.html