コンピュータで色を表す場合はいろいろな方法があり、よく使われるものにＲＧＢとＹＵＶ（ＹＣｒＣｂという場合もある）があります。ＲＧＢは赤、緑、青を数値で表し、ＹＵＶは輝度情報と色差情報で表します。

　ＰＣ上で画像を表示させる場合はモニタがＲＧＢを使用しているので、ＲＧＢがわかりやすいですが、色認識などの画像認識の場合は輝度情報と色差情報の方が計算しやすいので、ＲｅｍｏではＹＵＶで画像データをやりとりします。

　人間の目は輝度情報には敏感だが、色情報には鈍感なので、画像転送などの場合は色情報を間引くことが多いです。間引き方にもいろいろあり、Ｒｅｍｏでは「ＹＵＶ４２２」という方式になっています。


※以下、Ｒｅｍｏのページの命令１２８のところと同じ内容です。


　YUVは輝度情報と色差情報を分けた表し方です。YUVのYは輝度、Uは青色差、Vは赤色差のデータです。UはCb、VはCrとも表します。YもCrもCbも各８ビットで表します。
　Ｙデータだけを扱うと白黒画像になります。

　PCなどで画像を扱う場合、RGBが直感的にわかりやすく、よく使われますが、本製品はイメージセンサとしての機能を重視したために色体系はYUVを使用しています。色を判定する場合などはRGBそのままでは明暗があるものを判定できないので、結局YUVに変換して計算したりします。もともとYUVなら変換する手間がなく、高速に画像処理するプログラムを組むことができます。

　ＹＵＶ”４２２”は色データ量を減らして１６ビットで１ピクセルを表す方法です。”４２２”の意味ですが、これは８バイトのうち、４バイトをＹ、２バイトをＣｂ、２バイトをＣｒに割り当てて４ピクセルを表します。こうすることで輝度Yは劣化がなくなります。各ピクセルと出力の関係は次のようになります。（４バイトで２ピクセルではなく、８（４＋２＋２）バイトで４ピクセルなので４２２）
　人間の目は輝度情報には敏感ですが、色についてはあまり解像度がよくありませんので、色情報を間引いてもあまり劣化したようには感じられません。


　

　四角はそれぞれ１画素に相当します。
　各データの横の番号はたとえばY0の場合は輝度０ピクセル目、Y1は１ピクセル目．．．という意味です。４ピクセルをCb0,Y0,Cr0,Y1,Cb2,Y2,Cr2,Y3の順番にの８バイトで出力しますので１ピクセル辺り２バイト換算のデータ量になります。但し、上の図のようにカラー情報は２ピクセルごとに省略されています。
　上の図ではY1とY3のカラー情報がありませんが、計算時や画像表示時にはとなりのピクセルの色情報で計算します。

　YUVのイメージは次のようになります。

　
　この画像は違う製品のもの（S-EYEで撮影）なので、画面サイズはRemoとは異なりますのでご注意願います。
　この例のように、Yデータは劣化が無いものです。Cr（V)とCb（U）は本当は横方向に半分になった画像を横に２倍に伸ばしたものです。CrとCbの２つの色差情報しかありませんが、合成するとちゃんとしたカラー画像になります。

　R=1.164x(Y-16)+1.569x(Cr-128)
　G=1.164x(Y-16)-00.391x(Cb-128)-0.813x(Cr-128)
　B=1.164x(Y-16)+2.018x(Cb-128)

　ただし、計算中に整数にまるめられ値がオーバーフロー（８ｂｉｔ値より繰り上がる）やアンダーフロー（０より下回る）になる可能性がありますので、ＰＣ上では倍精度符号付変数（WindowsXPの場合double）で計算し、２５５以上の場合は２５５、０以下の場合は０に修正しています。

　 一般的なＹＵＶ画像の表し方は理解できたかと思います。ここでは実際にＲｅｍｏからどのようにデータが送られてくるかを説明します。

　まず、Ｒｅｍｏに対して画像を送信するように命令を送ります。命令についてはＲｅｍｏのページに書いてあります。たとえば、左目の画像を非圧縮で送る命令は

　[255] [97] [1] [128]

　この４つの数値データを送ります。（カッコ内は１０進数で表した数値データです）

　Ｒｅｍｏでは、一秒間に３０回の速度で画像を撮影し、Ｒｅｍｏ内のバッファに画像を更新しつづけています。上の４バイトの数値を受け取ると、まず同じ数値を返し、その後、１６０ｘ５６サイズのＹＵＶデータを送ってきます。

　
　※「白黒は１画素１バイト」とありますが、この図は別のものの流用です。Ｒｅｍｏは白黒画像モードはありません。

　２画素につき４バイト（１画素につき２バイト）のデータ量なので、画像本体は１６０ｘ５６ｘ２バイト＝１７９２０バイト、ヘッダのバイトを合わせて１７９２４バイトのデータが送られてくることになります。

　プログラミングのご質問については浅草ギ研では回答できません。書籍や、Ｍｉｃｒｏｓｏｆｔの開発ページ「ＭＳＤＮ」を参照願います。ＭＳＤＮに初心者用質問掲示板などがあります。

　 実際に作ったプログラムはこちらになります。

　RemoView1.lzh

　これはプロジェクトファイルをそのまま圧縮したものです。解凍し、RemoView1.csproj を開いてください。

　Form1.csのコードを表示するとソースが見れます。

　では解説です。


＜ディレクティブの追加＞

　
　WindowsFormでプロジェクトを作ると、ある程度のライブラリが組み込まれますが、ここではそれ以外のライブラリも使ってますので、行１０−１２の３行を追加します。Threadingはデータ受信待ちでSleepメソッド（メソッドはCで言う関数のようなもの）を使っているので必要です。その他２つは画像を高速に表示するのに使います。



＜コンストラクタ部＞

　
　コンストラクタはフォームが開くときに行われる処理です。あらかじめてきとうに貼り付けたSerialPortコンポーネントと、PictureBoxコンポーネントのプロパティを設定しています。



＜命令の送信＞

　
　まず、Remoに対して画像の送信要求を送るところです。バイトサイズのsndData配列をつくり、データを入れて、行４６で送信しています。行４４と４５は、送信に先立ち、PC側の送受信バッファを空にしているところです。この程度のプログラムでは不要かもしれません。



＜オーバーフローチェックメソッド＞

　
　YUVの説明のところでも書きましたが、画像をPCに表示するにはYUVからRGBに変換する必要があります。このとき、計算結果によっては８ビットの値（０〜２５５）を超える場合がありますのでそれをまるめる処理をしています。


＜画像の表示＞

　さて、ここからが中心部分です。とりあえず、表示部分のプログラム全体はこのようになります。下でそれぞれについて説明します。

　

　Forｍ上で画像を表示させるコンポーネントにPictureBoxがあります。これにはSetPixelというメソッドがあり、簡単にデータを表示させることができます。C#を含む．ＮＥＴ　Ｆｒｅａｍｗｏｒｋの初級本などにはこの方法が説明されています。しかし、このＳｅｔＰｉｘｃｅｌは動作が非常に遅いので、画像認識などに使う場合は実用的なプログラムは書けません。
　ということで、ここではビットマップ上で画像を展開してＰｉｃｔｕｒｅＢｏｘに渡す、という方法を取っています。
　この前処理部分が行６７〜７２の部分になります。ここではこれらについては詳しく説明しませんので、ＭＳＤＮなどで勉強してみてください。

行７３：送られてくる画像データは１６０ｘ５６ｘ２バイトですが、表示するのはＲＧＢの３つの値になるので１６０ｘ５６ｘ３になります。

行７４，７５：計算用の一時変数です。念のため必要なサイズよりも多めに作っています。
　
行７６：データが全部送られるであろう時間分待っています。送られてくるデータ量が１７９２４バイトと決まっているので、受信バッファのサイズを見る、という手もありますが、途中で通信が途絶えたり、データが抜けたりするとそこで泊まってしまいますので、とりあえずＳｌｅｅｐで待つ、という簡単な方法をとっています。ここはもっと上手いやり方があると思います。
非圧縮データの場合、実測で約７５０ｍＳぐらいかかることがわかっています。

行７７〜８４：時間が来たら、来ている分のデータだけ読み込んでいます。

行８６〜１１２：ここでＹＵＶをＲＧＢに変換し、rgbValuesという配列に格納しています。ＹＵＶ４２２なので、Ｙの輝度値は１ピクセルにつき１つありますが、色差情報は２ピクセルで１つを共有しますので、２ピクセル分づつ処理しています。
pictureBoxの場合、RGBのデータはB->G->Rの順番に格納しますので注意してください。行９７〜９９の部分です。
　尚、ヘッダに４バイトありますので、配列の位置は[i + 4]のように４バイトズレた位置を指定しています。

行１１４〜１１６：ビットマップに展開した画像をPictureBoxに渡し、PictureBoxを再描画（行１１６）して高速に表示しています。



＜リセット命令＞
　
　
　リセット命令は、単に４バイトのデータを送信するだけです。


＜AWBオフ命令＞

　
　AWBオフも同じ。

　 ではプログラムを動かしてみましょう。

　まず、Remo側の電源を入れます。ペアリングが終わっているのでLED_SのLEDが一秒ごとに点滅しています。LED_Tは消えています。

　PCのプログラムでCOMをオープンすると接続され、LED_Tが点灯します。このプログラムでCOMをオープンするのはコンストラクタ内、つまり起動時になります。

　ではＦ５キーを押してプログラムを動かしてみます。Ｒｅｍｏ側を見ていると、少し時間が経過した後にLED_Tが点灯し、接続されたのがわかります。

　
　LeftEyeボタンを押したら無事画像が表示されました。（ボタンを押すためにクリックしてる画像）

　このようにして画像が取得できます。表示の部分は少し難解なので、ビギナーの方は単純にdispPictureメソッド（関数）をコピーして使ってもよいかと思います。引数はPictureBoxの実体を渡します（行４７）。



２００９年１１月２６日