nicovideo - もののけ姫と屋久島

先日旅行で訪れた屋久島がすばらしかったので、作りかけていた別の動画を中断して突貫で作った短編です。FF の曲を使わない動画は今回が初めてです。あちこち手抜きなので投稿するかどうか迷いましたが、まあ今回は伸びを期待せずひっそりと。

この森の中で演奏できたら楽しいかつ怒られるだろうなあなどと考えながら、屋久島の自然を満喫してきました。まさにもののけ姫のイメージな、水と苔に満ちた神秘的な森です。

nicovideo - 演奏動画に効果を入れるソフト改(6) - Ending

エンディングは突貫で作りました。

★の効果は♪の使い回しで、画像・速度・加速度を変更しただけです。猫ははずせません。

長いレビューもこれで終わりです。最後までありがとうございました。

最後に、動画に入れようと思っていて忘れてしまった画像です。前回いただいたコメントからソフトの名前を決めました。

nicovideo - 演奏動画に効果を入れるソフト改(5) - Main2

レビューがだいぶ続いていますが、ようやくメインのエフェクトです。

一連の効果のオチと言えるものです。

色々なエフェクトを作ってきましたが、最終的には 95% くらい CG になってしまいました。
ピアノすら消して架空の楽器を弾いているように見せてみたくて試したものです。手の抽出と MIDI の組み合わせがあれば可能ですが、色々目立たないところで苦労しています。

ソフト上は LightStrings という名前になっているこの楽器、デザインはグランドピアノと翼をイメージして奇妙な式で曲げました。

nicovideo - 演奏動画に効果を入れるソフト改(4) - Main1

鍵盤の検出によって、鍵盤のみに効果を入れられることのデモです。
また、今回から MIDI デコード時に音の長さも取り出すようにしました。(前回難しいと思ってパスしていましたが、簡単でした…)

このシステムでは、画像のレンダリングをリアルタイムに行なうのは無理なのですが、逆に時間を遡った効果を入れることができるのは利点なので、打鍵から逆算してゲーム風にしました。
ここの部分は曲調が独特で見た目に面白そうなのでこの効果を合わせました。

最初の青い効果の発展型です。背景の方でも雰囲気を出そうとがんばっています。

MIDI 情報と画像検出機能を組み合わせています。
基本は手だけを描き、MIDI で打鍵があった音の付近のみ鍵盤を描いています。
色は最近見た映画に影響されて赤と緑にしました。

nicovideo - 演奏動画に効果を入れるソフト改(3) - 背景合成～旅行写真

ビカビカギラギラにエスカレーションする馬鹿動画ばかりになりつつあったので、緩急をつけて旅行写真のスライドショーを使ってみました。

強引な合成なのですが、意外に良い雰囲気になったと思います。遠景で気に入っている写真を集めました。

♪は前回の使いまわしですが、邪魔にならないようかなり淡い色にしました。また、わかりづらいですが合成の違和感を抑えるために、背景色の平均値を使ってピアノ部分の色に補正をかけています。

曲はアラジンの主題歌 A Whole New World にしました。世界旅行に合った曲と思って採用しました。

nicovideo - 演奏動画に効果を入れるソフト改(2) - 技術

映画撮影などで、ブルースクリーン上で撮影してブルーの部分を別の背景に置き換える手法が有名ですが、今回の動画合成はそれと同じ原理です。

最初に手を判別し、残った領域から壁を検出しますが、壁の白と鍵盤の白が区別できないため、ピアノ位置だけ座標を指定する形にしています。その外側の白は壁で、内側の白は鍵盤という扱いになります。

動画中でも触れたように、誤判別や境界部分の違和感、ノイズなどに苦戦しました。手の部分を赤で表して判別結果を確認していましたが、初期はこんな感じです。ピアノの台と手がうまく判別できず、あちこちに影などのノイズも残っています。

その後色々調整して、改善してきました。

手と鍵盤の混ざった色の部分のフィルタについてはカオスで、もはやソースを読み返してもうまく説明できません。

結局かなりいいかげんな判別でしたが、動画にすると思ったほどの違和感はありませんでした。
そもそも投稿時に画質は劣化してしまうということもあり、その辺の割り切りは迅速です。

技術説明パートの BGM の SORCERIAN は古いゲームですが、良い曲が多いです。
当時気にって弾いていた曲をあらためて練習してみました。街の雑踏のイメージです。

nicovideo - 演奏動画に効果を入れるソフト改(1) - Opening

前回の動画の進化版です。今回も手間がかかったので多くの方に見ていただけると嬉しいです。

前作では序盤でネタばらししたくなかっため、最初にしばらく説明パートを入れましたが、それだと開始早々に退屈されてしまう気がしたので、今回は少しインパクトのあるオープニングを入れてみました。

音符で文字が描かれていく効果は気に入っています。曲の Arabesque は、和音で画がごちゃごちゃせず、旋律がきれいで、かつ有名な曲ということで選びました。この10秒しか弾けません。