Kinect for Windows v2 with Unity ：モデルとの同期

さて、Kinect for Windows v2とUnityを利用して、3dモデル(今回はUnityちゃん)へのボーン対応が出来ましたので報告させていただきます。

2014年7月、Kinect for Windows v2がリリースされました。

もともとはXbox用のセンサーであったkinectも、PCでハックして使うユーザーが増え、kinect for Windowsが発売され、今回のKinect for Windows v2に至りました。

v1とv2の違いは、現状のネット上のドキュメントの量と、Windows 8以降にしか対応していない点です。（慣れてない人はv1を買ったほうが開発がしやすいかも？）ボーンが増えていますが、あまりわかりません。
Xbox用のkinectとkinect for windowsの違いは、最も大きいところは、商用利用できるかできないか、です。
購入される場合は、比較サイトなどでよく検討してからご購入ください。


さて、本題に戻ります。

こちらのサイトが大変参考になりました。
Unityを使ったキャラクターと人体の同期（前編）
Unityを使ったキャラクターと人体の同期（後編）

大体は上に貼らせていただいたリンクに書かれている通りにすればkinectからの出力通りに動かすことができます。ただしかなり違和感があり、その原因はつまり、ボーン設定がずれているためです。

以下のように設定してから実行してみてください。

いかがでしょうか？

WristとHandの両方にRightHandを割り当てていますが、Hand Rightの方は中指とかを設定した方がいいかもしれません。動かしてみた感覚では、プログラムそのままでは手首は対応していないように思いました(Wristすら回転していない)


Unity2Mikuを作った方はすごいですね。ほぼMicrosoft Kinect - Microsoft SDKで公開されているKinect Wrapper Package for Unity3Dと同じですが、Kinect v2用に書き換えられています。それをGithubに公開して頂いて、ありがたい限りです。


簡単に仕組みを説明すると、BodySourceManager(.cs)はkinectから身体のジョイント情報を読み出す関数が含まれるクラスです。これを利用すれば、自動的にジョイントの座標が吐き出されるため、これを利用してモデルに反映するプログラムがKinect2ModelControllerV2.csです。ここで、このデータはジョイントの座標そのものであるため、同じポーズであっても、kinectからの距離やその人の身長などによって大きく変わります。
それを補正するために使うのが回転です。ジョイント間のベクトルから向きを算出し、各ボーンがその向きを向くように回転させることにより、身体のモーションをモデルに反映しています。


踊ったりするととても楽しいですが、後ろを向くとやはりおかしくなります(仕方ないのか・・・)

綺麗に動かすコツは、離れることです。家では難しいですが、2～3m離れたほうがいいです。kinectのカメラを確認すると、全身写りきっていない場合など多いです！