今回は技術について。
映画撮影などで、ブルースクリーン上で撮影してブルーの部分を別の背景に置き換える手法が有名ですが、今回の動画合成はそれと同じ原理です。
最初に手を判別し、残った領域から壁を検出しますが、壁の白と鍵盤の白が区別できないため、ピアノ位置だけ座標を指定する形にしています。その外側の白は壁で、内側の白は鍵盤という扱いになります。
動画中でも触れたように、誤判別や境界部分の違和感、ノイズなどに苦戦しました。手の部分を赤で表して判別結果を確認していましたが、初期はこんな感じです。ピアノの台と手がうまく判別できず、あちこちに影などのノイズも残っています。
その後色々調整して、改善してきました。
手と鍵盤の混ざった色の部分のフィルタについてはカオスで、もはやソースを読み返してもうまく説明できません。
結局かなりいいかげんな判別でしたが、動画にすると思ったほどの違和感はありませんでした。
そもそも投稿時に画質は劣化してしまうということもあり、その辺の割り切りは迅速です。
技術説明パートの BGM の SORCERIAN は古いゲームですが、良い曲が多いです。
当時気にって弾いていた曲をあらためて練習してみました。街の雑踏のイメージです。