初音ミクをキネクト(Kinect)で動かそう! 『MikuMikuDance』(MMD)導入の仕方。使い方。

年末なので、Kinectで初音ミクを動かしてみました。
(お年玉的な意味で。  ……?)
hatummdkine.jpg




以前は「えっ、こんなの動かして何が面白いの?(中身は自分なのに…)」
と思っていましたが、なかなかどうして、

実際自分でやってみると、これはかなり面白いwwwww


ま、作品レベルにするにはフレーム単位で色々と調整&修正必要なんで、
そんな面倒な事、自分には出来ませんけどね…。暇潰しにはなるかな。




■キネクト(Kinect)使って初音ミク動かす為に

http://jbbs.livedoor.jp/bbs/read.cgi/music/23040/1292878004/
手順はこのスレに書いてありますが、一応説明しておきます。

まず最初に、キネクト関係なく初音ミクを色々と動かせるツールを入れてみます。




■初音ミク専用PV作成用ツール『MikuMikuDance』

VPVP
↑こちらのサイトの『MikuMikuDance(DirectX9 Ver)』をダウンロードします。

1.3 MikuMikuDance(DirectX9 Ver)
  Multi-Model EditionのDirectX9バージョン。ある程度高いスペックのPC向け(Vista,Windows7はこちら)
  (シェーダー3対応のグラフィックボードの場合、セルフシャドウの出力が可能)

      MikuMikuDance(DirectX9 Ver) (Ver.7.25 約5MB Kinect機能追加、他)


どうして軽い1.1「MikuMikuDance Ver.2.02」や1.2「MikuMikuDance (Multi-Model Edition)」使わないのか? というと、Kinect機能に対応してるのは、この1.3の(DirectX9 Ver)だけだからですね。

Kinect使わない人はVer2.02でもなんでもお好きにどうぞ。

ちなみに自分のパソコンはXPのしょぼいやつですが、(DirectX9 Ver)でも一応動きますよ。(一体だけなら)

hatummdki01.jpg
『MikuMikuDance』起動するとこんな感じ。

hatummdki02.jpg左下の方の茶色のとこで「読込」クリック。

hatummdki03.jpg
リンを読み込ませてみた。

hatummdki04.jpgボーンが邪魔な時は「選択」クリックで消える。
hatummdki05.jpg
マウス操作で視点変更可能。

VPVP wiki - MMDのはじめかた
MikuMikuDance板

その他、ポーズやモーションの作り方等は↑のwikiやMMD板参考にどうぞ。


でもそんな面倒なこと手作業でいちいち全部はやってられないので、
キネクト使う予定の方は、「とりあえずMMDはこんな感じか」とだけ分かればOK。




■いろんな初音ミクや、ミク以外のモデルも使いたい


VPVP wiki - モデルデータ-VOCALOID関連
↑こういう所に転がっているので、好きなの拾ってくるとよいでしょう。


ちなみに自分が使わせていただいている「初音ミク1052カスタム」は、上のサイトのリンクから経由だとなぜかエラーになってしまうので、URL置いておきます。(ブラウザー一旦全部閉じて開き直してから、直接コピペでアドレス入れると落とせるかも)

http://www9.atpages.jp/~mmdaccessory/uploader/log/396.zip


使い方は396.zip解凍した中の「readme.txt」でも読んで下さい。

色々ファイルとフォルダ指定場所にコピーしてから、
『MikuMikuDance』の左下の茶色のとこで「読込」で、
「初音ミク-1052カスタムVer.1.04.pmd」読み込めばOK。


「解凍何それ?」な人は、多分この先の説明も理解不能と思われるので、
残念ながらこの記事終了した方がいいかも…。

(でもそんな難しくも無いので、PCの基本レベルが分かる人なら大丈夫かと…)




■キネクト(Kinect)をパソコンで使えるようにしよう

まとめ?ブログ Kinect1 -OpenNI導入-
水おいしいです^o^ Kinect(キネクト)でMMDでニコ生 導入と使い方
みくだん MMD+Kinect関連のあれこれ
Windows7 x64でのキネクトとMMD - にゃっぽん!
Windows環境へOpenNIとKinectのドライバをインストール Chick Lab


キネクト(Kinect)をパソコンで使えるようにするために、
これから色々ドライバー類を入れるわけですが、
自分は上のサイト群を参考にさせていただきました。(やる事はほぼ同じです)


一応自分のやった手順を書いておきます。



とりあえず3つファイルをダウンロードします。

1. OpenNI

Welcome to OpenNI www.openni.org
↑のサイトの下の方、
OpenNI 1.0 Alpha build 23 binaries for Win32
をクリックしてダウンロード。(結局直リンしてるという…)


2. NITE 1.3 Beta

同じページの下の方、

Download OpenNI compliant middleware

PrimeSense NITE version 1.3 Beta - PrimeSense has provided us with this key that everyone can use: 0KOIk2JeIBYClPWVnMoRKn5cdY4=

をクリックして飛んだページ先の右上、
Download NITE 1.3 Beta build 17 SDK for Windows
をクリックしてダウンロード。


※これ、インストールする時にシリアルコードが必要なので、上の「0KOIk2JeIBYClPWVnMoRKn5cdY4=」の箇所のシリアルコード保存しておいてください。(2010年12月時点は上のコードですが、変更されてるかもしれないので、ダウンロードする時にご確認を)


3. avin2 SensorKinect

avin2-SensorKinect - GitHub
↑のサイトの右の方の「Downloads」ボタンクリックして、さらに「Download .zip」をクリックして「avin2-SensorKinect-b7cd39d.zip」をダウンロード。



インストールします

※まだキネクト(Kinect)はパソコンに繋がないで下さい


OpenNIをイントール。「OPENNI-Win32-xxxxxxx.exe」を実行

NITE 1.3 Betaをインストール。「NITE-Win32-xxxxxx.exe」を実行
hatummdki06.jpg
この画面で、さっきのシリアルコード入れる

SensorKinectをインストール。「avin2-SensorKinect-b7cd39d.zip」を解凍した中の「Binフォルダ」の中の「SensorKinect-Win32-xxx.exe」を実行。



キネクト(Kinect)をパソコンのUSBに接続します。

hatummdki07.jpg
ドライバーを探す画面になるので、
「特定の場所からインストールする」で、(手動)で場所指定します。

hatummdki08.jpg
※OSにより表示メッセージ等、少し変わると思います。

「(「avin2-SensorKinect-b7cd39d.zip」解凍場所)\avin2-SensorKinect-b7cd39d\Platform\Win32\Driver」を探すように参照指定。

「Xbox NUI Motor」
「Xbox NUI Camera」
「Xbox NUI Audio」
の3回、ドライバー探す画面が現れますが、最後の「Xbox NUI Audio」用ドライバーは今のところまだ無いので、これについてはインストールしません。

hatummdki09.jpg
ドライバーインストールしたら、
「コントロールパネル」「パフォーマンスとメンテナンス」「システム」「ハードウェア」「デバイスマネージャ」辺りで、デバイスマネージャ確認してください。(※OSによりデバイスマネージャ開き方変わります)

「Xbox NUI Motor」「Xbox NUI Camera」の2つが有効になっていればOKです。




■キネクト(Kinect)の動作確認

「スタートメニュー」→「OpenNI」→「Samples」→「Samples Directory」
→「Bin」→「Release」→「NiUserTracker.exe」を実行。

hatummdki10.jpg
キネクトカメラがちゃんと映していたら、とりあえず第一段階は成功。

hatummdki11.jpg
続いて、骨格トラッキングが作動するかのテスト。
これが出来ないと、モーションキャプチャーも出来ません。

(なんか椅子も人のように認識してるけど、気にしない…)


1. 全身映るように立つ

2. 「Looking for pose」と表示されるのを確認

3. 両腕を90度曲げて顔の横に挙げる
  └(^o^)┘  ←こんな感じ

4. 「Calibrating...」と表示が変わるのを確認

5. 「Calibrating...」のまま10数秒間待っていると、「Tracking」に表示が変わり、骨格トラッキング開始。あとは好きに動け!

hatummdki12.jpg
ここまで出来たら、あともう少しで初音ミクも動かせますよ。




■あともう少しでキネクト(Kinect)で初音ミクが動く!

VPVP
↑こちらのサイトの下の方の『DxOpenNI』をダウンロードします。

1.4 DxOpenNI.dll
 Kinectから関節の位置情報を取得するDirectX対応のドライバ。
 MikuMikuDanceのプラグインとして使用すると、MMDでKinectが使用できます。

      DxOpenNI (Ver.1.10 約20KB)


「DxOpenNI.zip」解凍して「readme.txt」読みます。

"DxOpenNI.dll"と"SamplesConfig.xml"の2つのファイルをMikuMikuDanceの"Data"フォルダ内にコピーして下さい。

──と書いてあるので、その通りにしてください。

これで全て準備完了。

一度パソコンを再起動します。(でないと、うまく動かない時があるので)

hatummdki13.jpg
準備は全て整ったので、『MikuMikuDance』を起動します。

hatummdki14.jpg
上のメニューの「モーションキャプチャ」「Kinect」を選ぶと、キネクトカメラが機能します。

このままではモーションキャプチャーされないので、
先ほどの確認手順と同じように、

1. 全身映るように立つ

2. 両腕を90度曲げて顔の横に挙げる
  └(^o^)┘  ←こんな感じ

3. しばらくそのままの体勢で10数秒間待っていると、骨格トラッキング開始。初音ミクも└(^o^)┘のようなポーズになるはず。

4. あとは好きに動け!



hatummdki15.jpg
ほら、同じ体勢に!!


『MikuMikuDance』の使い方ですが、「キャプチャ」で取り込んで、あとは視点変更したり表情変えたり物理演算処理させたり、フレーム操作で「xxx~yyy」まで選択範囲で削除・コピー・ペーストとか色々いじってるうちに、多分なんとなくやり方分かるようになると思います。

動画で書き出すときは「ファイルメニュー」の「AVIファイルに出力」。
んじゃ、そういう事で。あとは頑張って!


ちなみに「Xbox360本体 + Kinect」の同梱版買ってしまってUSB接続が出来ない方は、MSKKに直接電話連絡すれば、送料込み着払い3830円でUSB+電源アダプターを購入できるようです。(Xbox360本体のシリアルナンバーが必要ぽい)


Kinectで初音ミクは“人間の動き”を手に入れる! MikuMikuDanceも対応 - ITmedia News
初音ミクのMMDモデルが、Kinectで作ったモーションで応えてくれる?――MMDAgentのα版がついに公開 - ITmedia News

この記事に対するコメント

いや、一体動かすだけなら、そこそこのPCでも大丈夫ですよ。
まあ、「そこそこ」ってどのくらい、と言われてもなんとも言えませんが…。


とりあえず『MikuMikuDance(DirectX9 Ver)』でもダウンロードして起動してみてはいかがでしょうか。無料なので。

これにキネクトキャプチャー連動させると、もうちょっとだけ処理重くなる、といった感じです。

【2011/01/05】URL | とり #2NU31nKA[ 編集]

質問です。

ハイスペックなPCでないと、これはできませんかね?

【2011/01/05】URL | 坂本龍一 #SFo5/nok[ 編集]

この記事に対するコメントの投稿

(スパム対策。「http://」はエラー出ます。先頭の「h」削って下さい)
(「http://」はエラー出ます。URL書く時は「h」抜いて下さい)


管理者にだけ表示を許可する