ぬうぱんの備忘録

技術系のメモとかいろいろ

作った曲一覧はこちら

MMD+kinectでミクさんに憑依する

何をしたいのか

kinectでモーションをとってMMDでミクさんにあんなポーズやこんなポーズをさせたい。
ついでに黒背景でプロジェクターで投影して「鏡を見ると自分の姿がミクさんに!」ごっこして遊びたい。

試した環境

ソフトウェア環境

ハードウェア環境

手順の前にかいつまんだ注意点

  • OpenNI関連(要するにkinect周り)のソフトウェアは最新の2.xではなく1.xでないとMMDkinectモーションキャプチャが動作しない
  • そのため、執筆時での最新バージョン(2.1beta)ではなく、ちょっと古いバージョンのソフトウェアを導入しています。
  • OpenNI関連のソフトウェアはx64だと動作が怪しいのでx86をインストールする
  • 手順は基本的にXtionのもので、Kinectの場合は途中でドライバの追加が必要

OpenNIをインストールしてサンプル動かす

OpenNIの公式に行って

の3つを入手。
場所はTopからDownloadに飛んで"Previouse OpenNI Versions(History)"(http://www.openni.org/openni-sdk/openni-sdk-history-2/#.UVFuGHHEWlg)
3つとも中にはインストーラーが入っているので、上から順番に解凍してインストールする。全部デフォルトでYESマンおじさんでOK。なお、NITEはシリアルコードがなんとかこんとかという情報もあるが、このバージョンでは不要な様子。
インストールが終わったらxtionを接続してドライバが正常にインストールされることを確認する。
kinectの場合は後述の手順を踏んだあとに接続すること。
ドライバが無事インストールされたら"C:\Program Files(x86)\OpenNI\Samples\Bin\Release\NiUserTracker"を起動してボーン追跡サンプルがちゃんと動くことを確認する。

MMDと必要なプラグインの導入

VPVP(http://www.geocities.jp/higuchuu4/index.htm)からMMD(DirectX9 ver)とDxOpenNIを入手。
さらに、ここ(https://sites.google.com/site/moggproject/)からMoggDxOpenNIを入手。
MMDは解凍するだけでOK。DxOpenNIとMoggDxOpenNIについてはREADMEを読んでそのとおりにインストール。MMDのDataディレクトリ内に必要なファイルを放り込むだけ。

MMDモーションキャプチャしてリアルタイムにプレビュー

  • MMDを起動して適当なモデルを一つ放り込む。
  • "メニュー > モーションキャプチャ > Kinect(K)"にチェックを入れる
  • Xtionから1〜2m離れて両手を上げて抵抗の意志がないことを示すとモデルのモーションが反映される

モーションをキャプチャしてもうちょっとまともにしてとかそういうのは別の記事で。

kinectの場合

kinectを使う場合は別途ドライバーをインストールする必要がある。
OpenNI関連のソフトウェア3つのインストールが終わったら、ココ(https://github.com/avin2/SensorKinect)からSensor Kinectを入手する。Prime SenseのKinect対応化Modみたいなもの?
入手の手順としては

  • "Bin"に移動
  • Windows 32bit版を選択
  • View Rawを選択でmsiが落ちてくる

msiが落ちてきたら実行してインストール。ドライバをインストール後Kinectを接続してドライバがインストールされればOK。ついでにNIUserTrackerが動くことも確認しておきましょう。