2010年12月13日月曜日

文字顔カメラ(4) 画像文字変換

簡単に文字変換部分の説明です。

画像を文字に変換するコア部分は、まず扱いに慣れていた Windows アプリ(VC++)でテスト版を作りました。表示の実験だけでなく、本アプリで使っている文字データベースの bin ファイル作成もそれでやっています。データベースは、文字の文字コード、明るさ、形状の情報を含んだシンプルなリストです。

しかし、VC++ では順調だったものが Android 上では遅すぎて話にならず、色々と最適化が必要でした。そうやってできたデータベースを基に、撮影した画像を細かく刻んで一番評価値の高い文字を選びます。

が、

この後、少ない文字数でまともな出力を得るための試行錯誤が延々続きました。

文字で表現できる色の範囲が一番問題で、画像が 0~100% の黒さを持っているとすると、文字で表せる黒さは「覇」とか「離」のような黒っぽい文字でも、せいぜい 50% くらいです。そのため画像の色域を変換したり、簡易的なγ補正をかけたりして、諸々調整した結果が今の状態です。

うまく撮影するにはコツがいる、マニア向けのカメラみたいになってしまいましたが、ゲーム感覚で楽しんでいただければと思います。

2010年12月6日月曜日

文字顔カメラ(3) 公開二日目

公開から24時間以上たってようやく更新されました。
ダウンロード数は 400 以上で、予想外に多くて嬉しかったです。ありがとうございます。

勢いで有償版も公開したところ、新着アプリ掲載中に早速数件購入していただけました。購入してくださった方の登録名や地域の情報まで見ることができて、これで大丈夫なのかとちょっと驚きました。

そのうちどこかの Web などで、このアプリで撮影した文字顔が掲載されているのを見かけられたら面白いと思っています。まずは宣伝用の作戦を考えています。

2010年12月4日土曜日

文字顔カメラ(2) 公開初日

諸々手続きを済ませ、ようやくフリー版を公開しました。

…が、考えていたよりずっと厳しい結果でした。公開後、ものの5分でエラーレポートがあがってきて焦りました。内容はありがちな ArrayIndexOutOfBoundsException だそうで、レポート自体はありがたいのですが、情報不足でいまだ原因がわからず悩んでいます。

また、公開から12時間以上経過しましたが、いまだにダウンロード数は 0 のままです。あちこちで書かれている情報を見ると、Android market のダウンロード数は更新頻度が低かったり遅れたりするようです。

と言うわけで、現在はダウンロード数が 0 のままエラーレポートだけ増えていくという最低な状況で泣きそうです。

2010年12月3日金曜日

文字顔カメラ(1) 初アプリ

Android アプリ初挑戦です。撮影画像から顔を検出して文字で表示する妙なカメラ "文字顔カメラ" を作ってみました。


撮影後、このような表示画面に切り替わります。


文字数や明るさを調整し、顔をタッチすると文字で表示されます。離れた位置から見た方がわかりやすいですね。
撮影時になるべくコントラストのはっきりした環境で撮ることと、メニューで明るめに調整するのがコツです。文字数は、自分の Xperia でメールに貼り付ける際に改行せず表示できた 20x20 文字をデフォルトにしていますが、16~30 の範囲で調整が可能です。

ようやく公開の目処がたち、有償版(文字列の保存とコピー可)、フリー版を公開予定です。
よろしければフリー版だけでも遊んでみてください。

以下は撮影したテキストのサンプルです。表示は等幅フォントが必要になります。


24x24
ヽヾ八駅睡侃八ヽ        ヽ〃少已溢匪斃鰯
丶ヾ刃據鏑功うヽ        ヾゾげ沃旺智榧檣
丶〆功鏑榧已うヽ  丶   丶ヽ〃八か沂況湍駅槧
へ沈冥檣匪沃ジヽ丶 丶 丶  ヽッう乂次刃功旺漲
乂淦煽檣漲炎ジ冫ヽ     丶ヽゞゾう乂の乃已旺
炎即槧離渣かシヾヽヽ    ヽヾ〃ゾツてか乃已湍
沈頑競曩漲のゾッ〃冫ヽ丶 ヾ八災次かげか沂功啖漲
侃頑董曩噬丸か刃右乃〃ヾへか湍即吻妨湍思即頑砦匪
把砦鏑醜磐砦即況啖抬巛〃八妨槧殘功況押煽離醜睡匪
智榧競艦遭鏑匪押離撫功ッ火頑殘洗乃煽離睡遭榧湍妨
駅競醒畳桓功丸父況形災ヾ火押抬げ彳次功淦形災か已
秦鏑離畳抬乂ズげ已のミゞズ侃功少乂の沂巛乂てげ右
匪檣醜層桁ゾヾヽ冫ヾッ冫て沃炎ゾヾヽ丶ヽッ八炎啖
煽醜畳層鉱ズッヽヽヾへヾズ乃災シヾヽヽヾシ夕已溢
斃鰯曩層匪乂へヽヽへゞヽて沂炎ミッ冫冫〃て沂妨殘
畳曩離壘磐次ッヾヾ〃ッヾズ沈已てゾ〃〃彳の況即眉
畳曩曩層槫氏うゞッ八ッ冫災近況火ゾゾミげ沈勁催睡
嚶畳畳覇鵬冥次〆ツズの乃殘鏑煽炎ッツ火沂淦冥榧檣
顧嚶壘覇覇眉功炎うヾう智曩畳榧丸ズげ炎已旺漲榧離
層層嚶覇覇董侃已災ジッ沂智頑湍況洗近沾功湍智眉鰯
層覇塵鵬覇畳抬沈右淦亦刃勁駅噬眉桓已刃功旺駅槧醜
層層畳層櫑櫑頑沈災て八少沈思殘把已沃刃況押撫睡畳
壘鵬壘覇櫑欟醜吻刃八火沾湍即押妨淦近況湍催斃離壘
塵覇覇櫑櫑欟櫑醜把巛ズズ災沈況侃抬妨湍砦競離畳層

20x20
丶ゞ近董抬う丶      ヽッ夕形智榧檣
丶ジ吻董氏彳ヽ      ヾミの右思秦醒
冫它催磐功ミ丶丶丶   ヽへ〆夕丸況把砦
火勁競榧丸ツヾ丶  丶 丶冫ツズげ巛已奕
巛駅醒撫災シヾヽ丶  丶ヽッゾミ火次沃旺
右撫離榧次ツゾゾヾ丶丶〃災乃炎災巛右啖冥
奕撫醜磐近亦玩淦げゞツ洗駅押啖把駅撫榧煽
智撫鰯醜鏑頑吻殘啖ツ少催秦近冥鏑睡畳磐智
駅競曩磐旺托已冥沾ッ夕智兵彳沃妬押淦乃右
匪斃畳匪少火次沈てゞ父妨乃火夕沂炎乂火沾
撫離顧匪ミ冫ヽ冫ゞ冫乂沃ズ冫ヽヽヾツの淦
榧曩壘鏑父ッヽヽッヽ乂丸火冫ヽヾゞ火沾渣
離醜畳曩次ゞヽ冫ッヽ火沃夕シへッミ次妨噬
畳曩顧塵氏ツ冫〃ジヾか功丸ツシ彳げ近冥鏑
嚶畳層覇漲の彳ジ夕か智眉吻シツ父沈湍撫醒
顧層覇櫑斃近炎〃〃湍曩槫奕少か丸形溢撫離
層層層櫑醜啖沾次ツか吻即抬湍洗沾形押撫鰯
覇層顧櫑嚶思刃兵沃沃吻匪榧渣沈刃洗漲槧曩
層顧層櫑欟鏑近父ミの近吻思洗右近湍撫醒顧
顧覇櫑櫑欟櫑槧右父父沂近啖抬妨思匪董畳層

20x20
奕沾壬父它次ツ  丶ヽ丶丶丶ッう〃八侃已
思抬災巛うミ丶     丶ヾ〃て〆沂拊乃
桓噬洗火ミ丶       丶ヽて乃油噬炎
沈匪進彳ヽ        丶へ火沂油煽眉
火漲啖ヾ         丶ゞ乂亦們砦鰯
米洗任冫        ヽ〃て災抬桓殘斃
拊洗冥彳丶     丶〃丸抬拊頑匪匪桓漲
抬功漲它巛てシッヽヾげ押噬匪殘噬匪押油抬
米夕奕吻拌吻桓侃乂げ思冥押狂沂們沈げ拌桓
沈の兵進近抬漲兵小冫已狂少ゾかズヽ彳吻漲
已炎火押災〆〃〃ヽ丶父彳丶ヽ丶丶ヾの殘吻
頑洗沈殘少丶ヽ丶ヽ丶火〆丶 丶へ八右即拊
頑況漲鏑功丶丶丶ヾ丶ミげミ丶ヽ〃少狂油已
醜桓顧壘煽彳冫ヾゞ丶シズ丸冫ヾシ夕任洗巛
櫑嬲嬲嚶聞乃ッ冫ミシ炎押漲ツヽゾ巛狂沈右
櫑櫑櫑嬲冥冫〃ッヾて啖拌て冫ゾう沈拌巛托
櫑櫑櫑睡ヾ 〃ゾミ〆乂丸它已功乂近拌丸〃
欟櫑櫑乃  ヽミ丸次少少乃かてて洗洗彳 
欟欟曩ヽ   冫彳父哇洗已巛夕か奕丸丶 
欟櫑奕     ツ乂彳ミゾズ父啖啖ミ 〃

30x30
即托右啖功げの拌か少ヽ   ヾ冫丶丶丶丶丶ゞうジ〃へ父拊思沈
洗拌刃〆ゾ乃米ジのヾ     丶丶丶ヽヽヾ〃う〆ッズ炎功任次
油駅抬它沂火ゾ八ゞ          丶ヾへジ乂火乂壬奕狂の
押憤殘托少てズ〃丶           丶ヽ〃父次右思漲押彳
洗駅駅噬扛ジ〃丶            丶ヽシ乂次已抬砦斃沈
夕奕憤即次シ丶             ヽゞツげ巛洗冥噬斃睡
八沾眉思少丶              ヽゞシ夕丸洗漲殘斃鰯
大乂即拌ズ丶              ヽ冫〃夕功抬冥即檸董
侃乃侃任乃ヽ丶           丶〃うげ穴乃拊即殘桓撫鏑
啖啖狂油拌冫丶          ヾて沈拊侃押頑駅砦砦頑殘頑
思狂拌們冥ゾへヾ丶 丶丶   丶彳功押殘油拌油殘煽煽殘押即洗
冥炎任抬噬巛托丸大ズツシヾヽゞか油桓砦煽檸憤噬匪噬桓拊拊進抬
狂て次洗殘奕拊洗抬押油已父シ災抬押冥頑油殘抬啖駅奕災次托押冥
刃夕か狂們抬功思噬鏑煽押扛ゾげ拊漲漲思夕冫ッ任托うゞて近漲冥
托乃か它右漲沈抬它抬已災か丶ヾ次狂巛〆シ〆夕少ゞ丶ヽ乂油駅押
狂次少炎げ殘它て乂へゞツヽ丶丶火夕〃丶ヽヾヽ丶 丶へ炎漲桓思
拌功拌彳沈駅乃ヽッツ冫ヾ丶丶丶ズ少ツ丶  丶丶ヽへて近駅吻抬
噬頑乃已漲噬米丶丶 丶丶ヽ丶丶ズて八ヽ  丶ヾゾての拌即抬拊
冥奕功進即斃油ヾ丶 丶丶ヾ丶丶ミ〆災ズ丶丶丶冫ツズ巛侃進拌已
檸拌油檸董聞眉彳冫ヾヽヽへヽ ッ乂て父ゞ丶ヽ冫ツ乂丸拌抬功巛
顧憤煽壘顧顧輔扛彳〃ヽヾへヽ へ〆父刃乃ヽヾ冫ジ少乃狂啖乃乃
櫑嚶顧壘壘嚶壘殘乂〃冫冫〃〃ヽう亦思桓啖冫ヽ冫ジ災刃洗任夕狂
櫑櫑櫑櫑嬲壘顧漲〆〃へへへ夕它拊駅噬抬父ヽヽゞ彳巛已拌扛少進
櫑櫑櫑櫑櫑壘煽ヽヽシ〃〃ヽ冫シ刃捉炎うゞ冫ツ八て刃洗拌丸沈沈
櫑櫑櫑櫑嬲檣シ 丶ッツシッシ〃ツミか次乃功任米ズ沈侃洗炎沈ヾ
櫑櫑櫑櫑壘沈   ヽゾゾ少托功托功功沃丸巛か火て已抬洗乃シ 
欟櫑櫑櫑離冫    ゞ彳巛少てツて乂它刃大乂〆父近奕托八  
欟欟櫑覇洗     丶シ八ジげ任駅押思托刃巛火の洗油乃丶  
欟櫑櫑嚶彳      丶う八げ沈夕彳ミ八ズて父沈冥狂ジ   
欟櫑櫑匪丶       冫乂てツ〃ミシ彳少乂它押托右ヽ 丶少

2010年10月13日水曜日

nicovideo - 更に異端なピアノ(3)



映像はいつもの微妙な自作ソフト SoundMage で作っています。
今回限りと思ってろくに最適化していないため、3分の動画出力に5時間かかる破廉恥なパフォーマンスでした。
ソフトの大改造はしていないのですが、誰も気づかないような細かいこだわりのせいで手間が激増しました。腕部分の合成だけではどうしても不自然なので、サブパートの鍵盤押下を合成したためです。





腕部分は、画像検出したものを半透明で重ねるだけですが、鍵盤は押下する鍵盤の MIDI 情報を使い、時間・空間的にその付近だけサブパートの鍵盤画像に置き換えています。ただ、メインパートの手や鍵盤映像の変化がそこに重なっている場合は、破綻を抑えるため置き換えず、メインパートの映像を優先させています。←まったくもって意味不明。

この方法では色々無理があるのも承知で、画面の小ささなどで曖昧にごまかしています。メイン・サブの撮影でカメラやキーボードの位置がずれると駄目なので連続で撮影するなど、撮影も色々手間がかかりました。

両側で回っているリングは、奥行き感を出したいと思って入れたデザインです。元々はそれぞれの点が打鍵に連動して強く光るようにしていましたが、関係がわかりづらくしつこかったのでやめました。

最後に、背景で流れているのは本当に SoundMage のソースコードです。フォントサイズが 1.3 くらいですが、万一解読できましたらご自由にお使いください。

2010年10月9日土曜日

nicovideo - 更に異端なピアノ(2)



この曲は当時かなり好きでした。以前別の動画用に弾こうとしたものの、気に入った感じに弾けず一旦挫折しています。今回画像加工を使って一人連弾する企画を考えたとき、重ね録りならば行けるかもしれないと思って再トライしました。
動画説明欄の"腕不足"は、double meaning です。

現実には一台のピアノで弾けない編曲なので、絵的には連弾ですが編曲的には二重奏という感じでしょうか。リズム感がないので重ね弾きで合わせるのは下手でしたが、二重奏だと編曲はわりと余裕があり贅沢に音を入れられるのが新鮮でした。

個人的な好みで、打ち込みのパーカッションなどを重ねるのは好きでないので、なんとかピアノだけでノリを作ろうとがんばっています。動画全体をサイバーな雰囲気にしたので、音もリバーブなど強めにかけてみました。諸々ごまかせる追加効果もあります。

2010年10月8日金曜日

nicovideo - 更に異端なピアノ(1)



今回は例のソフトを活用しつつ演奏をメインにした動画を作りたかったので、手の部分以外は派手になりすぎないようにしました。それでも製作時間のほとんどが映像面にかかっているのは相変わらずです。結局かなり独特なものになってしまいましたが、自分ではわりと気に入っています。
初期はこんな感じでした。合成した手は色加減でかなり怖くなります。元の肌色に少し緑を加えた死者の手みたいのは最悪でした。



アクセス・コメント・マイリスト・拍手、全部ありがとうございます。救われます。

2010年9月12日日曜日

紹介

【ニコニコ動画】ニコニコ技術部ランキング -2010年上半期-

こちらの動画で、演奏動画効果ソフトの Part1 を紹介していただきました。マイリスト率重視の評価だったのが効いたようです。紹介されている他の方の動画も面白いので、一見の価値があると思います。
これをきっかけにあちこちで応援していただき、またアクセスが増えています。ありがとうございます。

検索してみると、ニコニコのコメントやマイリストだけでなく、ブログや Twitter などで感想を書いてくださっている方もたくさんおり、楽しんで読ませていただいています。(そういう場所で書かれる感想はほとんどが好意的な内容なため、精神衛生上も良いです)

2010年9月4日土曜日

世界進出

演奏動画ソフトの本日時点アクセス数を見てみると、

Part1: 117445
Part2: 3352

…これほど差がつくのは予想外でした。
実際欲しいのはアクセス数よりも、動画コメントやブログなどへのフィードバックなのですが、それを増やすためにやはり多くの人に見てもらいたいものです。

と言うわけで、新たな視聴者を求めて youtube に転載してみました。性質上アクセス数を伸ばすのはニコニコ以上に難しそうですが、youtube に期待しているのは海外視聴者からのフィードバックです。解説部分は全て英語に直しました。
しかし、I can not English なので、半ネイティブな友人に添削してもらい、私のスーパーイングリッシュは無事ほとんど差し替えられました。部分的におかしいのは、動画構成の都合などで最後に自分で追記した部分です。

Part1 と 2 をまとめて一本にしたため、説明はかなり省略しました。

2010年8月29日日曜日

nicovideo - もののけ姫と屋久島



先日旅行で訪れた屋久島がすばらしかったので、作りかけていた別の動画を中断して突貫で作った短編です。FF の曲を使わない動画は今回が初めてです。あちこち手抜きなので投稿するかどうか迷いましたが、まあ今回は伸びを期待せずひっそりと。

この森の中で演奏できたら楽しいかつ怒られるだろうなあなどと考えながら、屋久島の自然を満喫してきました。まさにもののけ姫のイメージな、水と苔に満ちた神秘的な森です。

2010年8月18日水曜日

nicovideo - 演奏動画に効果を入れるソフト改(6) - Ending





エンディングは突貫で作りましたが、わりと気に入っています。
★の効果は♪の使い回しで、画像・速度・加速度を変更しただけです。猫ははずせません。

長いレビューもこれで終わりです。最後までありがとうございました。
ところで、動画のアクセス数はと言うと、現在一作目の50分の1という駄目な状態になっており、自分なりに分析して次の一手を考えています。ソフトはこれからも色々利用できそうなので、これを使った音楽メインの作品も作りたいと思っています。

最後に、動画に入れようと思っていて忘れてしまった画像です。
前回いただいたコメントからソフトの名前を決めました。


2010年8月15日日曜日

nicovideo - 演奏動画に効果を入れるソフト改(5) - Main2



レビューがだいぶ続いていますが、ようやくメインのエフェクトです。


ラストの盛り上がりにつなげるための効果です。
流れる青い背景は、模様の画像を歪め、速度を変えて数枚重ねています。画力がないためどうしてもアニメーションに頼るものになりますが、気に入っています。


一連の効果のオチと言えるものです。

色々なエフェクトを作ってきましたが、最終的には 95% くらい CG になってしまいました。
ピアノすら消して架空の楽器を弾いているように見せてみたくて試したものです。手の抽出と MIDI の組み合わせがあれば可能ですが、色々目立たないところで苦労しています。

ソフト上は LightStrings という名前になっているこの楽器、デザインはグランドピアノと翼をイメージして奇妙な式で曲げました。

2010年8月10日火曜日

nicovideo - 演奏動画に効果を入れるソフト改(4) - Main1




鍵盤の検出によって、鍵盤のみに効果を入れられることのデモです。
また、今回から MIDI デコード時に音の長さも取り出すようにしました。(前回難しいと思ってパスしていましたが、簡単でした…)


このシステムでは、画像のレンダリングをリアルタイムに行なうのは無理なのですが、逆に時間を遡った効果を入れることができるのは利点なので、打鍵から逆算してゲーム風にしました。
ここの部分は曲調が独特で見た目に面白そうなのでこの効果を合わせました。


最初の青い効果の発展型です。背景の方でも雰囲気を出そうとがんばっています。


MIDI 情報と画像検出機能を組み合わせています。
基本は手だけを描き、MIDI で打鍵があった音の付近のみ鍵盤を描いています。
色は最近見た映画に影響されて赤と緑にしました。

2010年8月4日水曜日

nicovideo - 演奏動画に効果を入れるソフト改(3) - 背景合成~旅行写真



ビカビカギラギラにエスカレーションする馬鹿動画ばかりになりつつあったので、緩急をつけて旅行写真のスライドショーを使ってみました。



強引な合成なのですが、意外に良い雰囲気になったと思います。遠景で気に入っている写真を集めました。

♪は前回の使いまわしですが、邪魔にならないようかなり淡い色にしました。また、わかりづらいですが合成の違和感を抑えるために、背景色の平均値を使ってピアノ部分の色に補正をかけています。

曲はアラジンの主題歌 A Whole New World にしました。世界旅行に合った曲と思って採用しました。

2010年7月31日土曜日

nicovideo - 演奏動画に効果を入れるソフト改(2) - 技術



今回は技術について。
映画撮影などで、ブルースクリーン上で撮影してブルーの部分を別の背景に置き換える手法が有名ですが、今回の動画合成はそれと同じ原理です。

最初に手を判別し、残った領域から壁を検出しますが、壁の白と鍵盤の白が区別できないため、ピアノ位置だけ座標を指定する形にしています。その外側の白は壁で、内側の白は鍵盤という扱いになります。

動画中でも触れたように、誤判別や境界部分の違和感、ノイズなどに苦戦しました。手の部分を赤で表して判別結果を確認していましたが、初期はこんな感じです。ピアノの台と手がうまく判別できず、あちこちに影などのノイズも残っています。



その後色々調整して、改善してきました。



手と鍵盤の混ざった色の部分のフィルタについてはカオスで、もはやソースを読み返してもうまく説明できません。

結局かなりいいかげんな判別でしたが、動画にすると思ったほどの違和感はありませんでした。
そもそも投稿時に画質は劣化してしまうということもあり、その辺の割り切りは迅速です。

技術説明パートの BGM の SORCERIAN は古いゲームですが、良い曲が多いです。
当時気にって弾いていた曲をあらためて練習してみました。街の雑踏のイメージです。

2010年7月29日木曜日

nicovideo - 演奏動画に効果を入れるソフト改(1) - Opening



ようやく完成しました。今回も手間がかかったので多くの方に見ていただけると嬉しいです。

前作では序盤でネタばらししたくなかっため、最初にしばらく説明パートを入れましたが、それだと開始早々に退屈されてしまう気がしたので、今回は少しインパクトのあるオープニングを入れてみました。

音符で文字が描かれていく効果は気に入っています。曲の Arabesque は、和音で画がごちゃごちゃせず、旋律がきれいで、かつ有名な曲ということで選びました。この10秒しか弾けません。

2010年6月20日日曜日

nicovideo - 祭



今回のフィーバーの結果を振り返っていました。
本日の演奏動画デイリーランキングで

ファイナルファンタジー1-6 ピアノメドレー I : 2位
ファイナルファンタジー1-6 ピアノメドレー II : 3位
ファイナルファンタジー1-6 ピアノメドレー III : 6位

というありえない結果になっています。
何より紹介動画のパワーと、運とタイミングによるところが大きいです。

Part1 は目立った位置にあったため、たまたまクリックして訪れた人も多いと思われますが、Part2, 3 も伸びたのは多分 Part1 を気に入っていただけたためだと思っています。

自分で書くと図々しいですが、数万のアクセスを得られるような動画が1年以上ほとんどアクセスなく沈んでいたのは残念です。今のニコニコのシステム上仕方ないところもあると思いますので、目立たないお勧め動画をサルベージする活動はありがたいと思います。

2010年6月13日日曜日

nicovideo - 使用機材等

つなぎの雑談で使用機材について。
基本的にこだわりがないので、最初に買ったものをずっと使いがちです。

[楽器]
電子ピアノYAMAHA P-80
10年近く前のものですが、コンパクトで音が聞きやすいのが気に入っています。
ハーフペダルができないのが残念です。

[録音]
PC SONY VGN-P61S
小さいので屋外でも利用しやすいですが、痛いオカリナ以来やっていません。

Roland Edirol etc.
ノイズが入らなければ OK です。

[Audio 編集]
Wave studio
分割録音物の結合や簡単な音質調整がメインですが、練習時の聴音にも利用しています。
曲によっては音を聴き取ってから移調することがあり、難しい曲は元の演奏を移調させたものを聞くと楽です。

SoundEngine
音量調整。初期の投稿作品はこういう技を知らず音量が小さめです。

[Video 編集]
Video studio 12
初心者でもわりと使いやすかったですが、映像と音のずれ対策がいまだにわからず悩んでいます。
Preview だと合っているのにファイルに出力すると駄目なことがあるのはなぜでしょうか。
現在は仕方なく、感覚で Preview をわざとずらした状態で出力して辻褄を合わせています。

test.exe
自作の妙なソフト。一作目でのコメントから SoundMage という名前にしました。Visual C++

2010年4月17日土曜日

nicovideo - 演奏動画に効果を入れるソフト (4)



♪ 100,000 ♪

おかげさまで、とうとう10万再生と1万コメントを越えました。
このたどたどしい演奏を10万人の耳に入れたのかと思うと怖気が走りますが、開き直ります。
長々レビューを書き続けましたがこれで終わりにして、今日はいただいたコメントの一部を紹介。

■ソフトを公開してほしい
すみませんが、今のところはソフトの品質的にとても公開できるシロモノではないので…。
また、表現の自由度が少ないため、似たような投稿動画が増えてしまうといまいちかなと思います。

■ギターや他の楽器でも使えるの?
演奏と MIDI の録音を別々にやれば何の楽器でもできると思います。ただ、ピアノは音階ごとに位置の差が大きいため、面白い表現がしやすいと思っています。グランドピアノで撮影して、電子ピアノでMIDIを撮りなおすというのをやってみたいです。

■リアルタイムでできたらいいな
これは楽しそうだと思います。今の動画合成には非常に時間がかかっているため実現は難しそうですが。

■GJ (280件)  おおおおお (1021件)  wwwwww (1488件)
短いながらも嬉しいコメントです。今回は全体的に奇声系コメント率がやたら高かったです。

2010年4月10日土曜日

nicovideo - 演奏動画に効果を入れるソフト (3)



演奏曲について

・Jesters of the Moon
冒頭が FF 曲だと興味をひけるかと思ったのですが、わりとマイナーな曲だったかもしれません。
解説のときのメインテーマを何にするか迷い、好きな曲の中からなるべく不真面目感の漂う曲を選びました。

・The Heart Asks Pleasure First
映画"ピアノレッスン"の曲です。"ピアノレッスン"は最も好きな映画の一つで、中でも主人公が砂浜にあるピアノでこの曲を弾いて、小さな娘が踊るシーンはとても映画的で美しいと思います。他のサンプル曲に比べてあまり知名度がないと思いますが、聴いてみてほしいです。

・Overture
オペラ座の怪人のテーマです。もっと荘厳で品の良い恐怖だったはずですが、三流ホラーのような演出に使ってしまいました。いつか全曲弾きたいと思っています。

・We Are The World
光のエフェクトが合いそうな曲を探しており、時事的ということもあって採用しました。歌の印象とかなり違ってしまうため、こういう曲はあまりピアノで弾かないのですが。

・Force your way
実は投稿10日前まで別の曲だったのですが、動画全体が退屈に感じられたため、以前の作品の視聴者に受けそうなものにしよう、というせこい作戦で急遽 FF の曲に変更しました。
FF8 のゲーム自体は大嫌いなのですが、やはり音楽は好きで、作っていたエフェクトと一番合いそうな曲だったので採用しました。

・猫踏んじゃった
(省略)

2010年4月4日日曜日

nicovideo - 演奏動画に効果を入れるソフト (2)



花見に行って帰ってきたら10000件くらい再生があり、予想の100倍の再生数に感無量と言うか、軽くパニックに陥りました。たくさんのアクセス・コメントありがとうございます。

長すぎて説明をカットした技術ネタから、コメントの多かった点についていくつか補足を。

■効果のバリエーション
音量・音程によって効果を変えるパターンもテストしていたのですが、ごちゃごちゃしていまいち気に入ったものに調整できず、今回はやめました。
音長によって効果を変えることついては、MIDI のデコードが若干面倒そうだったため今回はさぼりました。これはがんばって流血時間などに使えれば良かったと思います。←この一文だけ読むと変態的です。

■鍵盤の位置指定
88鍵を個別に指定しているわけではなく、次のような U/I を作りました。
・両端の鍵盤位置をマウスで指定
・幅の補正比率値を調整
撮影位置によって鍵盤幅の歪みが変わるため、このような形でアバウトな位置を指定しています。このあたりは手抜きです。鍵盤画像の認識とか、カメラとピアノの座標から計算とか、案は一応ありましたが面倒で難しそうだったため一瞬でギブアップしました。
しかし…

2010年4月1日木曜日

nicovideo - 演奏動画に効果を入れるソフト (1)



以前から一度技術系動画を試してみたいと思っていたので、前回のネタから派生させて作ってみました。果たしてこれが一般受けするか疑問だったのですが、投稿初日に予想の10倍以上のアクセスとコメントがついていて、新種のバグかと思いました。今までにない快挙で嬉しいです。

コメントが多く付くのは演奏カテゴリと技術カテゴリの傾向の違いかもしれません。
技術的な説明が続いても飽きてしまうと思い、当初書こうかと思っていたことの80%くらいはカットしたのですが、見返してみるとそれでもなお前半の説明は退屈かもしれません。

投稿動画は音声でなく動画なので、映像面も何かひねりたいと思っています。
ゲーム動画を使った FF ピアノはわりと気に入っているのですが、既存物に頼るのはやめたくて、オリジナルの映像で盛り上げられないかと考えたのが始まりです。

…ピアノは遥かにうまい方がいくらでもいるため、小細工に堕したと言えばその通りです。

ちょっと調べたところ VFW というライブラリで簡単に動画操作ができそうだったので、四魔貴族用に第一弾を作りました。これはわりと気に入っています。

現在のソフトは、面倒そうなところは省略して最低限の機能しか作りこんでいません。
音声処理はサポートしていないので、最後に市販のビデオ編集ソフトで音声と合成しています。
U/I を追加するのも面倒で、いくつかの設定値はハードコーディングして設定変更ごとに再コンパイルしています。

…少なくとも人様に公開できるレベルではありません。

基礎技術面はこのように手を抜いたものの、どうすれば効果的な CG を作れるか試行錯誤し、大部分の時間はこちらに費やされました。動画中でも述べているように、画力が致命的なので、元々少しだけ知識のあった光の効果を使っています。

…絵が駄目な件に関しては、我が渾身の猫をコメントでつちのこと評されたのを見て確信を強めました。

今回の動画用に作成した絵、というか素材は以下です。点を並べて線を描いたりしているため、元画像は少ないのです。









書いている内容がどんどんマニアックになっていますが、次回はエフェクトの詳細について。