採譜ソフト

音解析ソフトを作って実験してみました。

公開用のアイディアはまだありませんが、せっかくなので実験の様子をまとめます。

 

■ピアノだけでニュースキャスターの声をどれだけ表現できるか？

(1)ニュース放送をフーリエ変換で周波数解析

(2)ノイズや倍音など不要な要素を除去（←ここ奥が深そうなので適当)
(3)ピアノ音階への丸め込み、補正
(4)MIDI 形式でファイル出力
(5)(PC でも再生できるけれど)、愛用の電子ピアノにMIDIを出力して演奏させる

 

自分で演奏するのは到底無理な凶悪な楽譜になりましたが、自動演奏だと思ったより声っぽく聞けて面白かったです。→Youtube: http://www.youtube.com/watch?v=-M4udTVy3kA



 







家にあった物だけで超簡易3Dスキャナを作ってみた

ここのところ無形のソフトばかりいじっていましたが、久々にリアルな工作で、とことん手抜きをした即席品です。動画のネタとしても面白いかと思ったのですが、探してみたら似たネタでもっと凝った動画があったので、やめて blog だけにします。

材料は以下です。どれも家にあったものです。
上の二つは若干特殊かもしれませんが、他はいたって普通なものでしょう。

・レーザーポインタ
・電動ドライバ
・カメラ
・ワイングラス
・板切れ
・ガムテープ
・紐
・新聞紙

レーザーポインタの光を透明の円柱にあてると光が屈折して直線状にできるので、これを照射したものをカメラで撮影してスキャンをします。この方法で3Dスキャナを作っている事例をネットで目にしたのが工作のきっかけです。

今回は、ワイングラスの柄の部分で試してみました。
板の上に、位置調整用に丸めた新聞紙を挟んでワイングラスとレーザーポインタを貼り付けるだけです。知人にゴミと評された設計ですが一応動きます。

本当にゴミですね。
このゴミを紐で吊るし、電動ドライバの軸で紐を巻き上げてゆっくり上から下へ動かしました。自動で等速直線運動させることによって、撮影も画像処理も楽にできます。

レーザーの線が物体をなぞっていく動画が撮影できるので、フレームごとに赤色検出するソフトを作り、計算して3Dの情報にします。このあたりは昔作ったソフトを再利用できたので意外と楽でしたが、そうでないとわりと苦労しそうです。

今回は一方向からしか撮影していないのでほんの一部の情報しかありませんが、一応3Dモデルらしくなりました。

実験台は自分自身です。目を閉じていても、瞼の上をレーザーが通る感覚が怖かったです。

Android - 文字顔カメラ Version up

Android 文字顔カメラを半年ぶりくらいにバージョンアップしました。
きっかけがあってソースを見直したら色々機能追加したくなり、最終的に大変更になりました。
その変更の一つで半角文字モードに対応してみたのですが、予想通り日本語フォントに比べると表現力がいまいちでした。なおかつ、メール添付など別ソフトに貼り付けた場合、携帯の半角文字は等幅でないのが普通なので混乱しそうです。

でもせっかく作ったのでリリースしました。

文字顔カメラがTVで紹介された件

昨夜、BS朝日の番組「スマートラウンジ」のアプリ紹介コーナーで、文字顔カメラが紹介されました。前にも書きましたが、文字顔カメラは半年前に公開したもので、うまく動いたり動かなかったりする微妙な自作アプリです。

先月突然番組担当の方からご相談をいただいたのですが、本当に実現するとは思いませんでした。正直、見るのが怖かったです。
(アプリ的な)NG が果たしてどれだけカットされたのかわかりませんが、番組はスムーズな進行で良い具合に盛り上がっており、プロの番組構成と演技のおかげかなと思いました。著名人が自分のアプリで遊んでくれている様子は嬉しかったです。

ところがその後放映から一晩明けて確認したところ、アプリのダウンロード数は…7件。
視聴者が冷静だったのか番組の性質かはわかりませんが、この宣伝効果のなさは残念というよりちょっと意外でした。

でもまずはTVデビュー万歳。

Androider

昨年末に公開したアンドロイドアプリ[文字顔カメラ]を、大手の紹介サイトで取り上げてもらえました。→Androider: 文字顔カメラ
認識させるのにコツが必要で使いにくい点など、妥当なレビュー内容だと思います。

掲載されたおかげで売り上げ本数が伸びていたので、トップページに掲載されていたこの数日間にどれだけの宣伝効果があったかグラフにしてみました。

ほぼ直角。宣伝の影響力を実感します。嬉しいボーナスステージでした。
5月頃にもどこかで紹介されたのか小ボーナスがありましたが、こちらの原因は不明です。

nicovideo - 熱情の律動

今回は自分でプレイしたことのないゲームからです。
ニコニコで見つけた素敵なギター演奏動画にひきこまれてピアノで弾きたくなりました。

【ニコニコ動画】ミンサガの熱情の律動をギターで弾いてみた

自分のピアノではギターやスキャットの味は出せず、雰囲気は全く別物になってしまいましたが、弾いていて楽しかったです。


さて。
百円ショップでバラの造花を買いました。

花びらを一枚切り取り、棒の先に付けます。

青い紙の前で回転させて、2秒くらいの短い動画を撮影します。

SoundMage の画像処理を流用し、簡単なソフトを作って処理します。

• 赤が強い部分だけを抜き出してグレースケールに変換
• 抜き出した物体の中心座標を計算し、その周辺を切り出して縮小
• 同様の処理を1コマずつおこない、一枚の画像に並べる
• 最後に、市販の画像編集ソフトで仕上げ

こうやって作ったのがこの効果です。

自分では細かいアニメーションを描けないので、実写取り込みを試してみました。
簡単でしたが、多少今までと雰囲気の違うものになったと思います。炎の効果も同様に動画から落として作りました。

SoundMage 汎用版開発中(2)

このくらいのものが出力できるようになりました。

入出力は 640x480 の avi 限定なので、このサンプルは市販のソフトで後から 320x240 wmv に変換したものです。

汎用化は思った以上に深く汚い泥沼で、ようやく初期に投稿したものに近づいた程度です。まだやりたいことは山積みですが、一旦このレベルでテスト版を近日公開するつもりです。

材料

・動画 (avi 640x480)

・MIDI

・bmp (グレースケール)