SoundMage 汎用版開発中(2)

このくらいのものが出力できるようになりました。

入出力は 640x480 の avi 限定なので、このサンプルは市販のソフトで後から 320x240 wmv に変換したものです。

汎用化は思った以上に深く汚い泥沼で、ようやく初期に投稿したものに近づいた程度です。まだやりたいことは山積みですが、一旦このレベルでテスト版を近日公開するつもりです。

材料

・動画 (avi 640x480)

・MIDI

・bmp (グレースケール)

nicovideo - 演奏動画に効果を入れるソフト改(6) - Ending

エンディングは突貫で作りました。

★の効果は♪の使い回しで、画像・速度・加速度を変更しただけです。猫ははずせません。

長いレビューもこれで終わりです。最後までありがとうございました。

最後に、動画に入れようと思っていて忘れてしまった画像です。前回いただいたコメントからソフトの名前を決めました。

nicovideo - 演奏動画に効果を入れるソフト改(5) - Main2

レビューがだいぶ続いていますが、ようやくメインのエフェクトです。

一連の効果のオチと言えるものです。

色々なエフェクトを作ってきましたが、最終的には 95% くらい CG になってしまいました。
ピアノすら消して架空の楽器を弾いているように見せてみたくて試したものです。手の抽出と MIDI の組み合わせがあれば可能ですが、色々目立たないところで苦労しています。

ソフト上は LightStrings という名前になっているこの楽器、デザインはグランドピアノと翼をイメージして奇妙な式で曲げました。

nicovideo - 演奏動画に効果を入れるソフト改(4) - Main1

鍵盤の検出によって、鍵盤のみに効果を入れられることのデモです。
また、今回から MIDI デコード時に音の長さも取り出すようにしました。(前回難しいと思ってパスしていましたが、簡単でした…)

このシステムでは、画像のレンダリングをリアルタイムに行なうのは無理なのですが、逆に時間を遡った効果を入れることができるのは利点なので、打鍵から逆算してゲーム風にしました。
ここの部分は曲調が独特で見た目に面白そうなのでこの効果を合わせました。

最初の青い効果の発展型です。背景の方でも雰囲気を出そうとがんばっています。

MIDI 情報と画像検出機能を組み合わせています。
基本は手だけを描き、MIDI で打鍵があった音の付近のみ鍵盤を描いています。
色は最近見た映画に影響されて赤と緑にしました。

nicovideo - 演奏動画に効果を入れるソフト改(3) - 背景合成～旅行写真

ビカビカギラギラにエスカレーションする馬鹿動画ばかりになりつつあったので、緩急をつけて旅行写真のスライドショーを使ってみました。

強引な合成なのですが、意外に良い雰囲気になったと思います。遠景で気に入っている写真を集めました。

♪は前回の使いまわしですが、邪魔にならないようかなり淡い色にしました。また、わかりづらいですが合成の違和感を抑えるために、背景色の平均値を使ってピアノ部分の色に補正をかけています。

曲はアラジンの主題歌 A Whole New World にしました。世界旅行に合った曲と思って採用しました。

nicovideo - 演奏動画に効果を入れるソフト改(2) - 技術

映画撮影などで、ブルースクリーン上で撮影してブルーの部分を別の背景に置き換える手法が有名ですが、今回の動画合成はそれと同じ原理です。

最初に手を判別し、残った領域から壁を検出しますが、壁の白と鍵盤の白が区別できないため、ピアノ位置だけ座標を指定する形にしています。その外側の白は壁で、内側の白は鍵盤という扱いになります。

動画中でも触れたように、誤判別や境界部分の違和感、ノイズなどに苦戦しました。手の部分を赤で表して判別結果を確認していましたが、初期はこんな感じです。ピアノの台と手がうまく判別できず、あちこちに影などのノイズも残っています。

その後色々調整して、改善してきました。

手と鍵盤の混ざった色の部分のフィルタについてはカオスで、もはやソースを読み返してもうまく説明できません。

結局かなりいいかげんな判別でしたが、動画にすると思ったほどの違和感はありませんでした。
そもそも投稿時に画質は劣化してしまうということもあり、その辺の割り切りは迅速です。

技術説明パートの BGM の SORCERIAN は古いゲームですが、良い曲が多いです。
当時気にって弾いていた曲をあらためて練習してみました。街の雑踏のイメージです。

nicovideo - 演奏動画に効果を入れるソフト改(1) - Opening

前回の動画の進化版です。今回も手間がかかったので多くの方に見ていただけると嬉しいです。

前作では序盤でネタばらししたくなかっため、最初にしばらく説明パートを入れましたが、それだと開始早々に退屈されてしまう気がしたので、今回は少しインパクトのあるオープニングを入れてみました。

音符で文字が描かれていく効果は気に入っています。曲の Arabesque は、和音で画がごちゃごちゃせず、旋律がきれいで、かつ有名な曲ということで選びました。この10秒しか弾けません。

nicovideo - 演奏動画に効果を入れるソフト (3)

演奏曲について

・Jesters of the Moon
冒頭が FF 曲だと興味をひけるかと思ったのですが、わりとマイナーな曲だったかもしれません。
解説のときのメインテーマを何にするか迷い、好きな曲の中からなるべく不真面目感の漂う曲を選びました。

・The Heart Asks Pleasure First
映画"ピアノレッスン"の曲です。"ピアノレッスン"は最も好きな映画の一つで、中でも主人公が砂浜にあるピアノでこの曲を弾いて、小さな娘が踊るシーンはとても映画的で美しいと思います。他のサンプル曲に比べてあまり知名度がないと思いますが、聴いてみてほしいです。

・Overture
オペラ座の怪人のテーマです。もっと荘厳で品の良い恐怖だったはずですが、三流ホラーのような演出に使ってしまいました。いつか全曲弾きたいと思っています。

・We Are The World
光のエフェクトが合いそうな曲を探しており、時事的ということもあって採用しました。歌の印象とかなり違ってしまうため、こういう曲はあまりピアノで弾かないのですが。

・Force your way
実は投稿10日前まで別の曲だったのですが、動画全体が退屈に感じられたため、以前の作品の視聴者に受けそうなものにしよう、というせこい作戦で急遽 FF の曲に変更しました。
FF8 のゲーム自体は好きでないのですが、やはり音楽は好きで、作っていたエフェクトと一番合いそうな曲だったので採用しました。

・猫踏んじゃった
(省略)

nicovideo - 演奏動画に効果を入れるソフト (2)

前回長すぎて説明をカットした技術ネタから、コメントの多かった点についていくつか補足を。

■効果のバリエーション
音量・音程によって効果を変えるパターンもテストしていたのですが、ごちゃごちゃしていまいち気に入ったものに調整できず、今回はやめました。
音長によって効果を変えることついては、MIDI のデコードが若干面倒そうだったため今回はさぼりました。これはがんばって流血時間などに使えれば良かったと思います。←この一文だけ読むと変態的です。

■鍵盤の位置指定
88鍵を個別に指定しているわけではなく、次のような U/I を作りました。
・両端の鍵盤位置をマウスで指定
・幅の補正比率値を調整
撮影位置によって鍵盤幅の歪みが変わるため、このような形でアバウトな位置を指定しています。このあたりは手抜きです。鍵盤画像の認識とか、カメラとピアノの座標から計算とか、案は一応ありましたが面倒で難しそうだったため一瞬でギブアップしました。
しかし…

nicovideo - 演奏動画に効果を入れるソフト (1)

以前から一度技術系動画を試してみたいと思っていたので作ってみました。果たしてこれが一般受けするか疑問だったのですが、投稿初日に予想の10倍以上のアクセスとコメントがついていて、新種のバグかと思いました。

コメントが多く付くのは演奏カテゴリと技術カテゴリの傾向の違いかもしれません。
技術的な説明が続いても飽きてしまうと思い、当初書こうかと思っていたことの80%くらいはカットしたのですが、見返してみるとそれでもなお前半の説明は退屈かもしれません。

投稿動画は音声でなく動画なので、ピアノ動画でも映像面を何かひねりたいと思っています。

…ピアノは遥かにうまい方がいくらでもいるため、小細工に堕したと言えばその通りです。

ちょっと調べたところ VFW というライブラリで簡単に動画操作ができそうだったので、四魔貴族動画用に第一弾を作りました。これはわりと気に入っています。

現在のソフトは、面倒そうなところは省略して最低限の機能しか作りこんでいません。
音声処理はサポートしていないので、最後に市販のビデオ編集ソフトで音声と合成しています。

基礎技術面はこのように手を抜いたものの、どうすれば効果的な CG を作れるか試行錯誤し、大部分の時間はこちらに費やされました。動画中でも述べているように、画力が致命的なので、元々少しだけ知識のあった光の効果を使っています。

今回の動画用に作成した絵、というか素材は以下です。点を並べて線を描いたりしているため、元画像は少ないのです。









書いている内容がどんどんマニアックになっていますが、次回はエフェクトの詳細について。