Kinect meets music
Transcript of Kinect meets music
+
Kinect meets music - モーショントラッキングで音楽の新時代が始まる -
サイボウズ・ラボ ユース 第二期生 中島 遼 第一期生 桐井 祐樹
+自己紹介中島 遼
東京電機大学 情報通信工学科サイボウズ・ラボユース 第 2 期コアメンバー自然言語処理 趣味で DTM神姫神姫ー!
桐井 祐樹筑波大学 情報学群 情報科学類サイボウズ・ラボユース 第 1 期サブメンバーセキュリティ & プログラミングキャンプ 2010 言語
組ロボット開発 最近は Web アプリケーション開発など
+Kinect × music
KinectMicrosoft Xbox360 向けのゲームデバイスRGB カメラ・深度センサ等を搭載コントローラ無しでゲームを操作できる
「音」と「映像」で誰もが音楽を楽しめるアプリケーション
はじめての共同開発
+2012 年夏の開発合宿ではKinepad 3D
Visual C# ( .NET Framework 4 )Kinect for Windows SDKmidi-dot-net
( MIDI プログラミング用ライブラリ)LoopBe1 (仮想 MIDI デバイス)
Kinect から取得できる骨格位置情報でMIDI 対応ソフトウェア / ハードウェアを操作する
+MIDI デバイスとの連携の仕組みKinepad 3D
骨格位置情報 → MIDI メッセージを送信対応しているシンセサイザにも送信可能
今回の場合…PC
Kinepad 3D
LoopBe1仮想 MIDIデバイス
FL StudioDAW
MIDI メッセージ送信
MIDI メッセージ送信
+MIDI デバイスとの連携の仕組みKinepad 3D
骨格位置情報 → MIDI メッセージを送信対応しているシンセサイザにも送信可能
今回の場合…PC
Kinepad 3D
MIDIインターフェース
MIDI 対応機器シンセ
サイザーなど
+MIDI デバイスとの連携の仕組み
関節の位置情報を Kinect から取得Y
Z
X
1.0
1.02.0
-1.0
-1.0
1.0
+MIDI デバイスとの連携の仕組み
-1 0 1
+1 0 1 2
MIDI Control Change
0
127
X, Y それぞれの値を +1 した値に比例して MIDI CC の値が変化するようにする
動作デモ