« 週刊myRobotを作ろう⑱ | トップページ | 週刊myRobotを作ろう⑳ »

2006年8月22日 (火)

週刊myRobotを作ろう⑲

更新情報 「動画アップ」」をしました(2006/08/24)
        文章の加筆をしました (2006/08/25)
        
サウンド追跡のテスト環境(2008/08/27)
     

■目と耳の機能を分離する

Id01_2419 myRobotを作成されている皆さんは、目にマイクがあることに違和感を抱かれている方も少なからずおられるのではないでしょうか?
音声認識は胸につく新たなマイクが担当するので、サウンンド追跡だけに使うこのマイクを本来の耳に移設できないものでしょうか?
目にマイクが無ければ、白地に黒い瞳、左右に動かす、まばたき、ウインクなど表現力UPや、高輝度LEDによるサーチライト(カメラフォロー)、ツインCMOSによる3D画像など機能を増設する事により、可能性がどんどん開けていきそうな気がします。
そこで、「目からマイクを外し、耳にマイクを移動できないか?」という素朴な疑問をテーマにプチテストを試みてみました。

今回は可能性を模索するだけなので「目と耳の機能を分離できるか?」YES?NO?の範囲内でしか実験をしておりません。目の表情とか、追加機能などの機能と仕組みを詳細に考えるのは最終号を迎えてからでも遅くないと思ったからです。

目のマイクを移動させる前に、3つのマイクがどのような原理で機能しているのか、おさらいしておきましょう。

◇サウンド追跡の原理
ID-01の頭部には前部(左右)に2本、後部に1本、計3本のマイクが組み込まれています。
左目と右目のマイクの間隔は約50mm、両目マイクと後ろマイクの間隔は約80mmで、それらが二等辺三角形(下図の3辺)を形作っています。さらに側面からみると前後とも同一平面状にある(水平方向の高さが同じ)事が分かります。
サウンド追跡はこの目の高さで行うと、左右前後の認識率が一層高まります。
これらの形状はサウンド追跡に一番効率の良い配置に設計されていると推察されます。
Id01_2420 マニュアルにも載っているように、サウンド追跡の原理は3つのマイク(L・R・B)に入った音の時間差を比較し、左・右、前・後、さらに斜めか、横かの判断をします。

上の図では音源(ニコちゃんマーク)から出た破裂音が、左マイク(L)右マイク(R)後ろマイク(B)其々に届く時間の概念を青赤緑の直線で表しています。

音の速さは一秒間に約340mと比較的遅いので、デジタル処理を行うことにより今回のような音源方向の解析や、音波を発射してその反射波での距離測定(ID-01も54号以降で活躍予定)などに利用されています。

3つのマイクから入った音源の時間差によるパターンは6つあり、その組み合わせで音源方向が確定します。

正面   =  AND ()/2 >  
真後ろ  =  AND ()/2 <  
左側  L <  AND ()/2 >  
右側   >  AND ()/2 > 
斜め  ③か④の条件で 且つ 左()と右()の時間差が小さい時
横方向 ③か④の条件で 且つ 左()と右()時間差が大い時

従って、③+⑤斜め左、③+⑥左横、④+⑤斜め右、④+⑥右横の組み合わせになります。

デジタル処理でこれらの比較を行っているのがヘッドコントローラー・ボードです。
ヘッド部の中に入っている、配線で苦労したあのボードです。

◇サウンド追跡のテスト環境
皆さんはパッシブ音(乾いた短い音、拍手・指パッチン他)を鳴らした時、自分の意図した方向を向きましたか?
私のID-01でテストした場合、正面(顔位置から0~10°以内)、斜め前(顔位置から10~25°以内)、横(顔位置から26~80°位)で音源方向を認識しました。
思った方向に向いてくれない場合、ハード以外にも注意する点があります。

ご存知のようにサウンド追跡をするとき、ID-01が置かれている周囲の環境が整わないと正しく認識してくれません。
私がテストするとき注意している事項を列挙します。

 ①I反射物(蛍光スタンド・パソコンなど)音の反射しそうなものから遠ざける。 
 ②音を立てる位置(距離、高さ)を一定にする。
 ③音は一定音量を心がける。

特にパッシブ音は反射波を拾いやすく、周囲に反射物があるとそのエコー音も3つのマイクが拾ってしまい正しく認識しません。
私はテストする時、部屋の真ん中に台を置き(1m四方は何も置かないようにして)、その上にID-01をのせてテストします。
撮影の時は背後と下にスクリーンをたらしていますのでそれが吸音してくれているようで、うまくいっています。狭い範囲でテストする時は、周囲に厚い布をたらせばうまくいくかもしれませんね。
距離によっても認識率、認識角度が変わってきますので一定の距離でのテストが好ましいと思います。私の場合は距離70cm位、高さ(ID-01の目より)20~30cm上で一定の大きさでテストしています。電子ライター(火のつかない)のカチッという音などを利用すると一定音が出ます。

以上のことを注意しながらサウンド追跡テストを行っています。

◇目のマイクを外に出す
Id01_2418_1 オリジナルの状態をあまりいじりたくないので、別に作ってある「うなずき君(1~6号)」からマイク2本を取り外しました。
ヘッドコントローラーボードに繋がっている左右マイクコネクターを、先程の「うなずき君」から外した2本のマイクに其々つなぎ変えて、これだけで準備OKです。
Id01_2416 オリジナルのマイクコード(赤矢印)はラベルを付けて泳がせて元に戻せるようにしてあります。
左側のマイクコードは長さに余裕がないのであまり引き回しが出来ません。仕方がないので耳の上方向に両面テープで付けました。
「サウンド追跡の原理」で触れた二等辺三角形は底辺が左右に開いて高さ(奥行き)が低いつぶれた三角形になってしまいました。これで大丈夫なのか不安になります。そして実験ですので配線はむき出しのままです。
Id01_2413 電源ONでイニシャライズ。問題なく動きます。
正面OK、左右OK、斜めOK。但し、其々の認識率は若干落ちています。
でも、後ろ、後ろ、何回やってもだめです。
原因を調べるため横から見て納得しました。マイクを付けた位置が原因でした。
①取り付け位置が目より後ろよりだったので、前後の距離(時間差)が小さくなっていた。
②取り付け位置が目より上になったため、探査方向が水平ではなくなった。

ためしに、首の後ろ側、首の下方で音を鳴らすと、目LEDが黄色く点りました。
側面から見ると分かりますが、下の方で音を鳴らすとマイクの前後の距離が大きくなるのが分かりました。
◇動画
FLASH動画をアップしました。
605KB40秒弱くらいのムービーです。再生はエンドレスですので適当なところで、プラウザーの戻るボタンで本文にお戻りください。
マイクを外に出す(1)動画映像


目から外した状態で、真横の認識率は良いのですが、斜め前となるといまいち認識率が落ちます。
適当にマイクを頭に貼り付けただけなので、動いてくれたのは良かったのですが、出来るならもっと精度が向上しないかと方法を模索してみました。
「やはりオリジナルは研究し尽くされているでしょう」ということで、本来マイクが収納されている目のホルダーを、あの「うなずき君」から借りる事にしました。ごめんね。

◇認識精度の向上は?
とりあえず、マイクを目のホルダーに付け、頭の上に貼り付けて実験してみました。
Id01_2414 驚くことに、斜方向の認識率が向上したのです。
先程よりもマイクの位置がさらに上に上がったため、後ろ方向の音は相変わらず首下でしか認識してくれませんでした。
◇動画
FLASH動画をアップしました。
640KB40秒弱くらいのムービーです。再生はエンドレスですので適当なところで、プラウザーの戻るボタンで本文にお戻りください。
マイクを外に出す(2)動画映像


それでは斜め方向の認識率は何故上がったのでしょうか?

◇目のホルダー
目のホルダーにマイクを付けて上から見た画像です。
Id01_2415 お分かりのように一直線ではなく左右にわずかに外側に開いた格好をしています。
マイクも少し奥側、つまり短い筒の中に入ったような格好になっています。
改善された要素は、外側に開く、筒の中の2点ではないかと思います。
①左右外側に開いた格好
左右外側に開いた事により、音源方向にあるマイク面の中心が音源に近くなるため音を拾い安くなる。反面、反対側は拾いにくくなる。
②筒の中
わずかですが筒の奥にあるので、より指向性が出てくると考えられます。
③LとRの間隔
サウンド追跡の原理でも述べたように、LRの間隔も研究しつくされた部分であると考えられます。

◇突然ですがお開きです
色々問題を残したまま今回の実験はここで一旦お開きとします。
改造の余地は多々あります。
マイクケーブルの引き回し、マイクホルダーは耳のような形状になどなど・・・。
耳(マイク)の高さはどこにするか、オリジナルと同じで目の高さか、それとも頭の上か、頭の上なら後方マイクも同じ高さが良いとすれば、帽子に内蔵するのも良いとか・・・。

これ以上やると改造魂に火がついて原型が無くなってしまうような気がして、今回はここまでで打ち切ります。なにしろ全75週の内、まだ25週目ですので・・・・・。
どなたかご興味がおありの方は色々アイデアを膨らまして、挑戦してみてください。
たぶん猫の耳とか、ミッキーマウスのような型にすると良さそうな気がしますが・・・・。

◇あとがき
最終回を迎えたあたりで、改造したい箇所がいくつかあります。
今、頭に浮かぶのは走行車輪の無限軌道化と、頭部の機能拡張、腕機能拡張の3プランです。
(とくに走行系の自在尾輪をなんとかしたいと思っています。)
ラフプランですが全パーツが揃って詳細が分かったあたりで具体化の構想を練る計画です。
今回のプチテストの発端は、28号が届いた時、首を貫通させたケーブル類の入れ替えの段取りを考えるためヘッド部を開いたのが始まりでした。
マイクの移設は前々から思案中だったので、急に将来の夢が交差して作業を始めてしまいました。

今回のプチテストは「目と耳の機能分離」という意味では有益(自分の中でですが)だったと思っています。
ただ、ご覧頂いた皆様には未消化の内容だったのではと反省しています。
反省の意味からも、説明の足らないところもありますので、この文章は事あるごとに加筆して、発展させていこうと思っています。

◇お詫びと訂正
左右の目にあるマイクを外すとタッチセンサーに影響すると早合点していましたが、幾つかの追加実験を行い、全く問題無い事が判明しました。
現に「うなずき君(1~6号)」から3つのマイクを全部取り払ってしまいましたが、問題なく軽快におじぎをしてくれています。
「問題点・・・・」という部分は削除しました。
ごめんなさい。

◇スクープ
イタリアディアゴスティーニのパーツリストの更新が2006/7/26を持って止まっていますが、「問い合わせたところ2006/08/28より更新開始する事になった」とのコメントが寄せられました。おにゃにゃさんありがとうございました。

|

« 週刊myRobotを作ろう⑱ | トップページ | 週刊myRobotを作ろう⑳ »

コメント

のびたさん こんばんは

耳にマイクを入れてみたいですね!
前方向の音をキャッチ出来るように大きな耳たぶ(妖精の耳)のような物を作れば、もしかするとうまくいくかもしれませんね。
やってみる価値はありそうです。

それから、動画をご覧頂くと分かるのですが、目がオリジナルのままですと、せっかくマイクを外につけてもあまり感激がありません。
そこで、CMOSとCCDのボードカメラを持っていましたので、目のホルダーを外し、LEDの穴から其々のカメラを突き出してみたところ、グロテスクなID-01になってしまいました。
気落ちして動画には撮りませんでした。もう少しかっこ良くなる方法を考えて、いずれレポートしたいと思います。

それから、RealRobotは大延長しましたね!!
考えれば、ID-01は腕がかなり後半に出てきますので、腕まわりのアタッチメントが色々出てきそうな気がします。
例えばマニュピレーターとか、肘が動くようなものが・・・・。
でも何Chでどれだけのコントロールが出来るのか判る術がありませんが、如何でしょうか?

投稿: ふみのへや | 2006年9月 3日 (日) 00:20

ご無沙汰しております。
ふみさん、凄過ぎます^^
ケーブルの内蔵までは、ついていけましたが、
マイクの移動に関する検証は、もう脱帽です。
目にマイクと言うのには私も違和感を覚えてはいましたが、「まぁしょうがない、こんなもんだ」と深く考えませんでした。でも、ふみさんの検証を拝見して、耳のLEDをはずして、その部分にマイクを仕込むと言うことも考えましたが、顔の正面の音を広いにくくするだけのようですし、そもそも感情を表すというLEDをどこへ持っていくか?で私の考察はあっさり、終わりました。
でも、まだ3分の1ですし、もしかするとリアルロボットのように延長があるかもしれないし、楽しみは続きますね^^

投稿: のびた | 2006年9月 2日 (土) 19:35

おにゃにゃさん こんにちは

CMOSカメラのケーブル形状は、ほぼ予想通りでした。
20芯近いコネクターの形状がどうなるか気になっていましたが、頭上のケーブル穴から引き出せる工夫がされていたので、安心しました。
CMOSカメラの号は一ヶ月遅れのようですね。
これでイタリアの方は、いよいよ次のステージ「ナビゲーション」になり、タイヤ作りが始まるようですね。
次は超音波センサーあたりでしょうか?

おにゃにゃさん、サウンド追跡テストがうまくいったようで良かったですね。
マニュアルにその辺の説明がないと言う事は、もしかすると「ID-01の使いこなしマスター術」のカリキュラムが裏に仕組まれていたりして・・・。
恐るべしディアゴスティーニですか・・・。

投稿: ふみのへや | 2006年8月30日 (水) 08:36

出ましたね^^。
昨晩には50号までUPされ、先程ふみさんも書かれていたように、54号までUPされており、発行日程も修正が入ったようです。昨晩にはイタリアのフォーラムでも月曜になったのにUPされないと騒いでいる人がいて、Frameさんがコメント出してましたので、今日には1日遅れで出るだろうなと予測していたら、嬉しい結果となりました。

頭からの配線がすごいことになりそうですが、首を貫通させる目処がついたとのことで、楽しみにしております。

27号を組み終わり、ふみさんのおしゃるように、周囲の環境に注意して、方向認識を再確認したところ、50-60cmくらいの距離からは斜め前も問題なく認識出来ています。ありがとうございました。

投稿: おにゃにゃ | 2006年8月30日 (水) 00:59

おにゃにゃさん ついに出ましたね。

お約束の8/28にイタリアディアゴ社の部品ページが更新されましたね。
NO50は9/23となり、NO49から一ヶ月以上待たされるようです。
やはりNO51-53にサプライズがありそうな予感がしてきました。
CMOSと20芯?で繋がる"頭脳・視覚ボード"は何処に付くのでしょうね?
ヘッド部設置は余裕がなさそうですし、胴体設置ですと20芯リボンをばらさないと、首を貫通できるかが微妙です・・・。

それから、伊語堪能とか、プロの臭い(匂い?)などと、ご冗談はよしてください。
ただのロボット好きの変なおじさんですので・・・。
こちらこそ、おにゃにゃさん始め、皆様に教えを請う立場ですので、今後とも宜しくご指導ください。

それから、「マスターズ掲示板」に"たさん"が出している"塗装不良対策結果 その2"は、非常に興味がありますね。
気になっている私のID-01のヘッド部やバッテリーケースも簡単に輝きが取り戻せればよいのですが・・・。

投稿: ふみのへや | 2006年8月28日 (月) 23:46

あれ~( iдi )見られてしまいましたかwイタリア語堪能なふみさんに見られることも想定内でしたが、現実になるとお恥ずかしい限りです。好奇心に勝てず恥を晒しております。

さて、音声認識の環境ですが、たしかにおっしゃる通りですね。ふみさんやのびた21さんも撮影の際には相当注意されているようで、大変参考になりました。

オーディオにも相当凝っていた時期もあり、吸音用のグッズを自作していたのに、対象が変わってしまうと応用がききませんでした。テストの際に注意してみることにします。ありがとございました。

たしかに、呼びかけに反応して振り向いて欲しいところです。相応苦労しそうですが、33号機械翻訳で挑戦してみます。

予備でディスプレイも準備されたのですね。用意周到に準備された上での実験の数々を拝見していますと、プロの臭い感じます。尊敬している知り合いで、開発で指導的立場に携わっている方と似たようなやり方をされますし、熟練さも感じます。これからも色々とご指導ください。宜しくお願いします。

投稿: おにゃにゃ | 2006年8月27日 (日) 12:08

おにゃにゃさん こんにちは

イタリアのフォーラムを読みました。お疲れ様でした!! 8/28の更新を楽しみにしています。

先程「サウンド追跡の環境」という項を追加しましたので、マイクを交換する前にお目を通して頂ければ良いなと思っています。

「ID-01の神経組織」のフローを見る限り音声ボードは胸のマイクとスピーカーが繋がっています。マザーボード経由でヘッドコントローラーボードにBUS接続されていますね。
この辺は"おにゃにゃさん"の言われるとおりだと私も思います(機能面では分かりませんが・・・・)。

唯(希望的推測ですが・・)、音源方向がパッシブ音でしか認識されないのでは、あまりにも使い勝手が悪いように思います。

「おーい!ロボちゃん!」と呼べば、こちらを振り向きならが「ハーイ!」という返事をしてもらいたいですね。
それとも手の鳴る方にしか振り向かないのでしょうか?それではちょっと寂しい気がします。

どうやら33号あたりのPDFの翻訳が必要なようですね。

そういえば、追加発注していたスペア用の液晶ディスプレイが先程届きました。ツメを折ってしまってはクレーム効きませんので・・・。

投稿: ふみのへや | 2006年8月27日 (日) 09:15

実験お疲れ様でした。

ところで、斜め前の認識度合いはいかがでしょうか?私の場合、認識度が甘く、斜めでなく真横を向く度合いが高く、認識出来た際にも音源位置がかなりシビアなため、マイクかヘッドコントローラの不良を疑い、デアゴ社に問い合わせしたところ、

音声認識と方向認識
現在の15号の基板では、比較的短い音や、金属音(スプーンどうしを叩く音等)に感知します。
現在の基板はヘッドコントローラーがメインの仮のものであり、28号以降に付属予定の基板では、音声で与えたコマンドを解析し、小型スピーカーを通じて口をきくように音声で返事をするようになります。

との回答を得ましたが、私見として、方向認識は頭の3つのマイクとヘッドコントローラで行い、音声認識は27号のマイクと33号の音声ボードで行うものと思っています。

ヘッドコントローラは、BUSケーブルを介して各基板に接続はされているものの、14号の基板毎の役割説明を見ると、頭のLEDを機能によって制御可能とするためにBUSを使用していると思えます。

したがって、マイクもしくはヘッドコントローラに問題があるのではないかと推測していますが、いかが思われますか?

28号で頭を開けることになりますので、左右マイクのコネクタでの入替えと、なぜかマイクの予備が1個ありますので、交換して検証を予定はしています。

投稿: おにゃにゃ | 2006年8月27日 (日) 06:47

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



トラックバック


この記事へのトラックバック一覧です: 週刊myRobotを作ろう⑲:

« 週刊myRobotを作ろう⑱ | トップページ | 週刊myRobotを作ろう⑳ »