Kinect

Kinect
Kinect for Xbox One
開発元 Microsoft
種別 Motion controller
世代 Seventh and eighth
デジタルカメラ 640×480 pixels @ 30 Hz (RGB camera)
640×480 pixels @ 30 Hz (IR depth-finding camera)
外部接続 USB 2.0 (type-A for original model; proprietary for Xbox 360 S)
プラットフォーム Xbox 360
Xbox One
Windows (Windows 7 onwards)
前世代ハード Xbox Live Vision
次世代ハード Azure Kinect

Kinect(キネクト)は2010年にマイクロソフトから発売された、身体の動きであるジェスチャー・音声認識によってゲーム機やコンピュータの操作ができるデバイス。


Kinectは、Microsoftが製造し2010年に初めてリリースされた、生産終了したモーションセンサー入力デバイスのラインである。これらの装置には一般的にRGBカメラや赤外線プロジェクター、構造光や飛行時間計算による深度マッピングが搭載されており、リアルタイムのジェスチャー認識や身体骨格の検出などに利用できる。また、音声認識や音声制御に使えるマイクも内蔵されている。KinectはもともとXboxのビデオゲームコンソール向けにモーションコントローラ周辺機器として開発され、任天堂のWiiリモコンやソニーのPlayStation Moveなどの競合他社と区別して、物理的なコントローラーを必要としなかった。初代KinectはイスラエルのPrimeSense社の技術をベースにしており、2009年のE3でXbox 360向けの周辺機器として「Project Natal」というコードネームで発表された。2010年11月4日に初版が発売され、発売から最初の60日間で800万枚を売り上げた。Kinect向けに開発されたゲームの大半はカジュアルで家族向けのタイトルであり、Xbox 360への新規ユーザー層の獲得に貢献したが、既存のユーザー全体に広く受け入れられる迄には至らなかった。

2013年のXbox 360の後継機Xbox Oneの発表の一環として、マイクロソフトは追跡機能が強化された第2世代のKinectを発表した。Microsoftはまた、Kinectがコンソールの必須コンポーネントとなり、周辺機器が接続されていないと動作しないと発表した。この要件はプライバシーの懸念からユーザーや批判者の間で物議を醸し、マイクロソフトは決定を撤回した。しかし、マイクロソフトは2013年11月のXbox One発売時に新しいKinectを同梱した。Xbox Oneの発売後もKinectベースのゲーム市場は依然として現れなかった。その後、マイクロソフトはKinectを含まないXbox Oneハードウェアバンドルを提供し、後のバージョンでは専用ポートが削除され(代わりに電源付きのUSBアダプターが必要となった)。Microsoftは2017年10月にXbox One向けのKinectの生産を終了した。

Kinectは、当時の他の深度感知技術よりも安価かつ堅牢だったため、学術や商業環境の非ゲームアプリケーションとしても利用されてきた。Microsoftは当初このようなアプリケーションに反対していたが、後にKinectを使用するMicrosoft Windowsアプリケーションの開発用ソフトウェア開発キット(SDK)をリリースした。2020年、マイクロソフトはAzure KinectをMicrosoft Azureクラウドコンピューティングプラットフォームと統合した技術の継続としてリリースした。Kinect技術の一部は、MicrosoftのHoloLensプロジェクトでも使用された。Microsoftは2023年10月にAzure Kinectの開発キットを中止した。

概要

動力学を意味する "Kinetics" と、繋がりを表す "Connection" を組み合わせた造語である。キャッチコピーは「カラダまるごとコントローラー」、開発コード名は「Project Natal」、「NUI」(ナチュラルユーザーインターフェイス)の一つである。

元々は2010年にXbox 360用の周辺機器として登場したが、PC用ドライバ開発が非公式に行われたことが切っ掛けとなり、2012年2月にWindows PCに接続して使える一般用も発売された。従来、本格的に行うには大掛かりで数千万円ほどする機器が必要だったモーションキャプチャや人物認識などを、卓上サイズかつ1台数万円のKinectで行えるようになったことから、ゲームだけでなく医療診断や機械制御の研究用にも活用されている。

Xbox 360用として2010年に発売された第1世代、Xbox One用として2013年に発売された第2世代、Microsoft HoloLens開発版に搭載されて2016年に登場した第3世代、2018年に発表され2019年に発売された第4世代の「Project Kinect for Azure(Azure Kinect)」がある。

Kinect for Xbox 360

Kinect for Xbox 360
Kinect sensor
Xbox 360 Kinect センサー
メーカー マイクロソフト
プラットフォーム Xbox 360
発売日 アメリカ合衆国の旗 2010年11月4日
欧州連合の旗 2010年11月10日
日本の旗 2010年11月20日
接続 USB 2.0

物理的なコントローラを用いずに操作ができる体感型のゲームシステムで、ジェスチャーや音声認識によって直観的で自然なプレイが可能となる。日本では2010年11月20日に発売された。同日にXbox 360 4GBとの同梱パックと、初回生産限定でXbox 360 250GBとの同梱パック、2011年6月2日から250GB+Kinectパックも発売された。全てのパックに『Kinect アドベンチャー!』のソフトが同梱された。カロリー数を記録できる『Kinect PlayFit』も無料配信された。ただし、Kinect PlayFitは2023年現在サービスを終了している。モーターやジャイロセンサーも埋め込まれているため、カメラの角度の自動調整機能も存在し、kinectを極端に傾けた置き方で遊ぶこともできない。

過去に発売された「全てのXbox 360の本体に対応」しており、旧型の本体には、Xbox 360 Kinect センサーに同梱されているケーブルを接続することでプレイが可能となる。4GB、250GBの本体同梱パックにはケーブルは付属されていない。2人以上のプレイに対応しているので、Xbox 360本体とKinectを1セット用意すれば、プレイ環境に合わせて機器を追加購入せずに済むのも特徴である。Kinectを初回接続すると必要な初期設定が表示された後、Xbox ダッシュボードの操作までKinect上でできるようになる。Kinectで手と顔を認識させたい場合は、カメラの角度を調整し、顔が映るようにしてからカメラに向かって思いっきり両手を何度も振る必要がある。認識後にカメラを見ることで顔の情報も取得される。また、コントローラーでいうオプションボタンのプッシュやポーズメニューに入る場合は、立ちながら左手を下から45°上げる必要がある。

仕様

RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。これにより、プレイヤーは自分自身の体を使って、直観的にビデオゲームをプレイすることができる。

常にプレイヤーの位置、身長を測定し、最適なプレイができるよう上下の角度の自動調整が行われる。Video Kinect(Kinectを使用したビデオチャット)にも対応した映像センサーも装備している。

キネクトは、主にプレイヤーの動きを読み取って合成するモーションキャプチャという技術を使用しているが、一般的なモーションキャプチャとは異なり、通常のモーションキャプチャ時に着用する特殊なマーカー付きスーツと、マーカー検出時に使用するトラッカーは必要としない。カメラに被写体を映す事でプレイヤーからキネクトまでの距離を計測し、プレイヤーの骨格のさまざまな動きを検出して、ゲーム内のキャラクターの動きにリアルタイムに反映させることが可能となる。多人数による同時マルチプレイにも対応しており、プレイ人数はソフトによって異なる。Kinect センサーを使用する際にはデータ保存機器の空き容量が約256MB必要となる。

当初Kinectの仕様は内部に認識した情報を処理するプロセッサを内蔵しないものであった。これは、Kinectが単なるセンサーに近いものであったことを意味する。しかし、2009年夏頃にソフトウェアデベロッパに渡された初期開発キットで、Xbox 360側でのKinect負担が非常に大きいものだと判明する。具体的にはメインCPU3コアのうち1コアをほとんど占有してしまうほどであり、その後の改良で占有率は下がったもののまだXbox 360側の負担は大きく、結果としてKinect側にプロセッサを搭載する運びとなった。このプロセッサは認識に必要なすべての処理をするのではないが、そのほとんどを行うものである。その結果Xbox 360側の負担は大きく下がったもののKinect自体のコストが上がり、コンシューマゲーム機の付加物の限界相場といわれる100ドル/1万円以内というこれまでのセオリーに外れることとなる。だが、しかしマイクロソフトは「かつてのセガのメガドライブ用の周辺機器としての失敗作『スーパー32X』のようにはならない」と証言している[要出典]。

Kinect for Xbox One

Kinect for Windows

Kinect for Xbox 360は発売当初からユーザーにより解析が進められ、パソコンで動作させるためオープンソースのドライバが開発され、さまざまな応用が行われている。そうした動きに対し、マイクロソフト側は当初否定的立場と見られていたが、2010年11月19日にラジオ番組中で、KinectのUSB接続はあえて暗号化されていないのだとし、独自のプログラムについても容認する姿勢を明らかにした。ただし、「Xbox 360内部のアルゴリズムにアクセスして使用すること」「チート行為のためにKinectとXbox 360の間にデバイスを設置すること」などはハッキングとして扱うとした。

2011年4月には、マイクロソフトから公式にWindows向けのソフトウェア開発キット (SDK) を公開することを発表し、同年6月16日に「Kinect for Windows SDK」のベータ版が公開された。2012年2月1日、「Kinect for Windows SDK」正式版の公開と「Kinect for Windows」を発売した。

Kinectはゲーム・エンターテイメントを目的として作られたが、それ以外の分野にも活用されており、この広がりは「The Kinect Effect」と呼ばれる。このKinectを利用し医療・障害者の支援や人流計測などに活用された。

沿革

開発

Kinectの起源は2005年頃に遡り、その頃は技術ベンダーが深度感知カメラの開発を始めていた時期である。マイクロソフトは以前からXboxライン向けの3Dカメラに関心を持っていたが、技術がまだ洗練されていなかったため、「ボーンヤード」と呼ばれる、すぐには取り組めない技術の集合体に置かれていた。

2005年、イスラエルの企業PrimeSenseは数学者と技術者によって設立され、ビデオゲームの「次なる大物」を開発した。これは、目の前の人体をマッピングし、手の動きを感知できるカメラを組み込んでいる。彼らは2006年のゲーム開発者会議で自社システムを披露し、そこでマイクロソフトのハードウェアインキュベーションゼネラルマネージャーであるアレックス・キップマンが、プライムセンスの技術がXboxシステムに応用できる可能性を見出した。マイクロソフトはPrimeSenseと、製品をより消費者に優しくするために何が必要かについて協議を開始した。それは、深度センサーカメラの性能向上だけでなく、サイズとコストの削減、そして大規模生産の手段が必要だと考えていた。PrimeSenseはその後数年間、これらの改善に取り組んだ。

任天堂は2006年11月にWiiを発売した。Wiiの中心的な機能はWiiリモコンで、テレビ画面に取り付けられたモーションセンサーバーを通じてWiiが検知し、モーションコントロールゲームを起動する手持ちのデバイスだった。マイクロソフトはWiiからの圧力を感じ、PrimeSenseのハードウェアで深度感知をより詳しく調べ始めたが、望むレベルのモーショントラッキングには到達できなかった。手のジェスチャーを特定でき、体の大まかな形状を感じ取ることはできたが、骨格の追跡はできなかった。マイクロソフト内部では、Wiiリモコンに相当するものを作る別の道もありた。これは、2本のサムスティックコントローラーが標準機能になるように標準化される可能性があることを考慮したものである。しかし、最終的にはプレイヤーとXboxの間にいかなるデバイスも排除するというマイクロソフトの目標は依然としてあった。

角田工藤とダレン・ベネットは2008年にマイクロソフトに入社し、キップマンと共に機械学習を活用した深度感知の新しいアプローチに取り組み、骨格追跡の改善に取り組み始めた。彼らは内部でこれを実証し、数年後に技術がどこまで到達できるかを確立したことで、さらなる技術開発への資金提供への強い関心が生まれた。これはまた、マイクロソフトの幹部がWiiのようなモーショントラッキング手法を放棄し、Wiiの性能を超える製品を提供するために深度感知ソリューションを重視していた時期に起こりた。このプロジェクトは2008年末に承認され、2009年に作業が始まった。

このプロジェクトは、キップマンの出生地であるブラジルのナタール市にちなんで「プロジェクト・ナタール」というコードネームが付けられた。さらに、キップマンは「natal」という言葉が「生まれる」を意味するラテン語起源を認識し、技術によって新たな観客層を引きつけようとしていたことを反映している。初期の研究の多くは民族誌的研究に関連しており、ビデオゲームプレイヤーの家庭環境がどのように配置され、照明が照らされ、WiiユーザーがどのようにKinectユニットの使い方を計画しているかを調べていた。マイクロソフトチームはこの調査から、深度感知カメラの上下角度は手動で調整するか、自動で動かすには高価なモーターが必要であることを発見した。マイクロソフトの上層部は、ゲームの没入感を損なわないようコスト増加にもかかわらずモーターの搭載を選んだ。Kinectプロジェクトの作業では、システムの大量生産のためのパッケージ化や性能の最適化も含まれていた。ハードウェア開発には約22ヶ月かかった。

ハードウェア開発の過程で、Microsoftはソフトウェア開発者と協力してKinectの使用を依頼した。マイクロソフトは、Kinectが目の前の複数の遺体を感知できるため、家族で遊べるゲームを作りたかったのである。このデバイス向けに最初に開発された社内タイトルの一つは、Microsoft Studios傘下のGood Science Studioが開発した同梱ゲーム『Kinect Adventures』だった。Kinect Adventuresのゲームモードの一つに「リフレックスリッジ」があり、これは日本のブレインウォールゲームを基にしており、プレイヤーは短時間で体をひねって、動く壁の切り抜きに合わせようとする。このタイプのゲームは、Kinectで求めていたインタラクティビティの重要な例であり、その開発はハードウェアの改良に寄与した。もう一つの開発は、ピーター・モリニューが率いるライオンヘッド・スタジオが開発したプロトタイプゲーム『en:Project Milo』で、プレイヤーはモーションコントロールや音声認識を通じてバーチャルアバターとインタラクションできるものだった。LionheadはKinectのオリジナル機能を基にこのプロジェクトを開発したが、Molyneuxによると、マイクロソフトは消費者向けKinectは数千ドルのコストがかかると判断し、デバイスを縮小し、WiiのようによりカジュアルなゲームとしてKinectの役割を再定位した。その結果、Project MiloはMicrosoftのポートフォリオに合わず、キャンセルされた。



予定されたリリースが近づく中、年齢、性別、人種などの要素を考慮しつつ、様々な部屋タイプや機関でKinectの広範なテストが行われ、ユニットの詳細は機密扱いにされていた。マイクロソフトは、従業員がKinect端末を持ち帰ってテストできる全社規模のプログラムを実施した。マイクロソフトはまた、Microsoft Research、Microsoft Windows、Bingの各非ゲーム部門も招き、システムの完成を支援した。マイクロソフトはKinect製品を一括生産しテストするための大規模な製造施設を設立した。

はじめに

スティーブン・スピルバーグ(右)がドン・マトリックと共にE3 2009で「プロジェクト・ナタール」を発表する

Kinectは2009年6月1日にマイクロソフトのen:E3 2009でのプレスカンファレンスで「Project Natal」として初めて一般に発表された。映画監督のスティーブン・スピルバーグがマイクロソフトのドン・マトリックと共にこの技術とその可能性を紹介した。 カンファレンスでは、マイクロソフトのリコシェ&ペイントパーティー、そしてピーター・モリニューが制作したライオンヘッドスタジオのマイロ&ケイトの3つのデモが発表され、クライテリオンゲームズの『バーンアウトパラダイス』のプロジェクトナタル対応バージョンも披露されたE3展示会で展示された。 2009年のE3までに、骨格マッピング技術は同時に4人を追跡可能人体の48個の骨格点を30Hzで抽出する特徴である。 マイクロソフトはE3 2009でProject Natalの発売日を確定していなかったが、2009年以降、そしてWiiやPlayStation Moveと競争力を維持するために2010年になる可能性が高いと確認した(Sony Interactive Entertainmentハンドヘルドデバイスを用いた独自のモーションセンサーシステム)。

2010年1月のプロモーションバナーで、2010年ホリデーまでにKinect(当時は「プロジェクト・ナタル」)のリリースが予想されていることを示している

E3 2009の後の数か月間、Project Natalに関連する新しいXbox 360コンソールの噂が浮上した。これは周辺機器を組み込んだ小売仕様かは周辺機器をサポートするハードウェアの改良やアップグレードとして提供されていた。 マイクロソフトはこれらの報道を公に否定し、Project NatalがすべてのXbox 360コンソールと完全互換性があることを繰り返し強調した。マイクロソフトは、Project NatalをXbox Liveと同様にXboxブランドにとって重要な取り組みとみなし[ 新しいXboxコンソールプラットフォームのローンチと同様の計画があると示唆した。マイクロソフトの副社長シェーン・キム氏は、Project NatalがXbox 360の寿命を2015年まで10年まで延ばす予定だったり、Xbox 360の後継機の発売を遅らせたりするとは予想していないと述べた。


E3 2009ショー以降、2010年にかけて、Project Natalのチームメンバーは多くのゲームをKinectベースの操作方式に実験的に適応させ、使いやすさの評価を支援した。その中には、2009年9月の東京ゲームショーでデモンストレーションされた『美しい塊魂』や『スペースインベーダーエクストリーム』がある。角田氏によると、Project Natalベースの操作を既存のゲームに追加するには大幅なコード変更が必要であり、既存のゲームがソフトウェアアップデートでユニットをサポートするパッチを当てることは難しかったとのことである。マイクロソフトはまた、サードパーティ開発者への関心を拡大し、Project Natalのゲーム開発を促した。HarmonixやDouble Fineのような企業はすぐにProject Natalに注目し、その可能性を見出して、Harmonixのローンチタイトル『en:Dance Central』などのゲーム開発に取り組んだ。

当初はシステムの骨格マッピングなどの操作を行うマイクロプロセッサを搭載する予定だったが、マイクロソフトは2010年1月に専用プロセッサを搭載しないと発表した。代わりに、処理はXbox 360のXenon CPUのプロセッサコアの一つで処理されることになった。この頃、キプメンはKinectがXbox 360の処理能力の約10〜15%しか消費しないと見積もっていた。これはXbox 360の性能のごく一部に過ぎませんが、業界関係者は、既存のゲームをKinectに適応させる際の難しさをさらに示していると考えている。モーショントラッキングはゲームの計算負荷を増やし、Xbox 360の性能を超えるためである。これらの観察者は、業界は代わりにKinectの機能に特化したゲームを開発すると考えていた。

Xbox 360向けKinectのマーケティングと発売

E3 2010でのプロモーション

マイクロソフトのen:E3 2010記者会見で、Project Natalは正式にKinectとしてブランド化され、2010年11月4日に北米でリリースされることが発表された。Xbox Liveのディレクター、スティーブン・トゥールーズは、この名前がKinectの重要な要素である「kinetic(動的)」と「connection(接続)」の合成語であると述べている。 マイクロソフトやサードパーティのスタジオはE3展示会でKinect互換ゲームを展示した。Kinectの発売に合わせて、Xbox 360の新しいスリム版も発表され、周辺機器を接続するための専用ポートが追加された。Kinectはローンチ時に既存のXbox 360所有者向けの単独アクセサリーとして販売され、新しいスリムXbox 360のバンドルの一部として販売される予定である。すべてのユニットにはKinect Adventuresが同梱ゲームとして付属していた。

マイクロソフトは2010年11月のKinect発売に向けた数か月間、Kinect技術の改良を続けた。発売時点で、KipmanはXbox 360のプロセッサー使用率を2010年1月に報告した10%から15%に「一桁パーセント」まで削減できたと報告している。

Xboxプロダクトディレクターのアーロン・グリーンバーグ氏は、マイクロソフトのKinect向けマーケティングキャンペーンはコンソール発売と同様の規模になると述べた。 同社は周辺広告、テレビや印刷広告、バーガーキングやペプシとのキャンペーン、そして11月3日にニューヨークのタイムズスクエアで開催されたネーヨのパフォーマンスを含むローンチイベントに5億ドルを予算化したと報じられている。Kinectは2010年11月4日に北米でローンチされた。 2010年11月10日にヨーロッパで、は2010年11月18日にオーストラリア、ニュージーランド、シンガポールで開催された。および日本では2010年11月20日に発売された。

Xbox 360向けのKinect版は発売から最初の60日間で800万台を売り上げたと推定され、ハードウェアは「最速売れた家電製品」としてギネス世界記録を獲得した。2011年3月までに1,000万台以上が販売された。一見成功したように見えたが、ローンチタイトルは主に家族向けゲーム(Kinectの機能や制約に合わせて設計可能)で、新たな層を引きつけたかもしれないが、Xbox 360コントローラーを中心に設計されたBattlefieldやCall of Dutyのような大作フランチャイズほどの販売力はなかった。5500万人のXbox 360所有者のうち、Kinectを購入したのは推定20%に過ぎません。Kinectチームは、より従来型のゲームやKinectの欠点を認識し、モーション検出の遅延削減や音声認識の向上など、第2世代機としてリリースされる予定の本体の開発を継続した。マイクロソフトはこれらの変更をサードパーティ開発者に提供し、改善点がどのようにゲームに統合できるかを予測できるようにした。

Xbox One用のKinectと故障

Kinectの改良と同時に、マイクロソフトのXboxハードウェアチームは2011年半ば頃からXbox Oneの計画を始めていた。初期のXbox One仕様の一部として、新しいKinectハードウェアが自動的にコンソールに付属し、開発者がどのXbox OneでもKinectハードウェアが利用可能であることを知り、開発者にその活用を促すことが期待されていた。Xbox Oneは2013年5月23日に正式に発表され、6月のen:E3 2013で詳細が披露された。マイクロソフトはこれらのイベントで、Xbox OneにはアップデートされたKinectハードウェアが搭載されており、Xbox Oneが動作するためには常に接続が必要であると述べた。これによりビデオゲームメディア全体で懸念が広がり、プライバシー擁護者はKinectのセンサーデータがターゲット広告やユーザーへの無許可監視に使われる可能性があると主張した。これらの主張に対し、MicrosoftはKinectの音声認識およびモーショントラッキングをユーザーが無効化できること、プライバシーポリシーによりKinectのデータは広告に利用されないこと、そしてコンソールが許可なくユーザー生成コンテンツを再配布しないことを改めて強調した。Xbox Oneのオリジナル機能セットには他にもいくつかの問題があり、常にインターネットに接続されている必要があることなどがあり、マイクロソフトに対する消費者の反発の波を生んだ。

マイクロソフトは2013年8月、反発を受けてXbox Oneのリリース予定にいくつかの変更を加えたと発表した。その中の一つが、Kinectユニットの接続が不要になることであり、それでもKinectはすべてのXbox Oneシステムにパッケージ化される計画だった。しかし、これにより、2013年11月のXbox One/Kinectシステムの発売時にUS$500の価格設定を行わなければならず、これは同時期にモーションセンサー搭載されていない競合のPlayStation 4よりUS$100ドル高い価格だった。Xbox One発売後数か月間、マイクロソフトは2014年3月にPlayStation 4と同じ価格でKinectなしのXbox Oneシステムを発売することを決定した。これは、Xbox One版が開発者のサポートを受けていなかったことや、Kinect搭載の価格が高いために販売が低迷していることを考慮したためである。Kinectを監督するプログラムグループマネージャーのリチャード・アーヴィング氏は、Microsoftは開発者や消費者にKinectを強制的に導入するよりも、開発または購入の選択肢を与える方が重要だと感じていたと述べた。

Xbox Oneの小売パッケージからKinectが削除されたことが、マイクロソフト内でこの部門の急速な衰退と段階的廃止の始まりだった。Harmonixのような開発者は、元々Xbox One向けのゲームをターゲットにしていたが、Kinectのインストールベースが十分に揃ったと判断するまでこれらのゲームを保留し、その結果、Kinect用のゲームが不足し、消費者が別機を購入する意欲も減少した。マイクロソフトはKinectに対して弱気的になり、2015年のE3ではこのユニットについて一切言及せず、2016年のE3では、次期Xbox OneハードウェアリビジョンであるXbox One Sには専用のKinectポートがないと発表した。MicrosoftはKinect用のUSBアダプターを提供しており、コンソール発売後の初期プロモーション期間中に無料で提供された。より高性能なXbox One XはKinectポートを持たず、このアダプターが必要だった。開発者はXbox One向けにKinect対応ゲームをリリースしていたが、この期間中マイクロソフトがKinectに関する声明を一切示さなかったため、KinectはMicrosoftの死んだプロジェクトであるという主張が生まれた。

マイクロソフトは2017年10月25日にXbox One向けのKinectの製造を正式に終了すると発表した。マイクロソフトは最終的に2018年1月にアダプターの生産を終了し、より需要の高いXbox Oneやパーソナルコンピュータ向けの他のアクセサリーの製造にシフトすると発表した。メディアはこれを、マイクロソフトがXboxプラットフォーム向けのKinectの開発を終了したと見なしている。

非ゲームアプリケーションとWindows版Kinect

Xboxプラットフォーム向けのKinectユニットは衰退したが、Kinectは2011年頃から学術やその他のアプリケーションで使われていた。このユニットの機能性とUS$150という低価格は、既存の用途に深度感知を安価に追加できる手段と見なされ、当時の他の3Dカメラオプションの高コストと信頼性の低さを相殺した。ロボティクスでは、Kinectの深度感知機能により、ロボットが障害物の形状を判定し、障害物までの距離をおおよそ測り、回避を図ることができる。医療分野では、Kinectは身体の形状や姿勢を定量的にモニタリングし、より良い医療判断を可能にするために活用される可能性がある。

2010年11月頃、Kinectの発売後、科学者、エンジニア、趣味の人々がKinectにハッキングし、使用されたハードウェアや内部ソフトウェアを特定できるようになり、ユーザーはUSB経由でMicrosoft WindowsやOS XでKinectを接続・操作する方法を発見した。USBには様々なカメラ要素からの未保護データが読み取れていた。これにより、映画『マイノリティ・リポート』に登場するようなジェスチャーベースのユーザーインターフェースなど、他の可能なアプリケーションのプロトタイプデモも生まれた。 これは数年前にWiiリモコンをハックし、低コストのハードウェアをゲームプレイ以外のより高度な用途に使う試みと似た試みを反映している。

en:Adafruit Industriesは、ゲーム以外のKinectの応用可能性を想定し、Kinectに関連するセキュリティチャレンジを発行し、オープンソースソフトウェア開発キット(SDK)とKinect用のハードウェアドライバーの開発に賞金を授与した。これがOpen Kinectとして知られるようになった。Adafruitは2010年11月10日までに優勝者をヘクター・マルティンに発表した。RGBカメラ機能と深度感度機能の両方を使えるLinuxドライバーを開発していた。 後に、マイクロソフトのKinect開発チームの中核メンバーであるジョニー・リーが、ドライバー開発コンテストのアイデアを秘密裏にアダフルートに持ちかけ、個人的に資金を提供していたことが判明した。リーはKinectを開放する試みについて「これは未来を示している...」と語っていた。これは今日起きるし、明日も起こる」と述べ、Kinectの非ゲーム的なアプローチをマイクロソフトの幹部に説得しようとするのに苛立っていたため、Adafruitにコンテストを依頼した。

マイクロソフトは当初、ユーザーがKinectにハッキングすることに異議を唱え、今後のバージョンに同様のハッキングを防ぐための追加の安全対策を導入すると述べた。しかし、2010年11月末までにMicrosoftは当初の立場を転換し、SDK開発のための外部の取り組みを受け入れた。キップマンはNPRのインタビューでこう述べた

まず最初に話すべきは、Kinectは実際にはハッキングされたわけではないということである。ハッキングは、Xbox内のアルゴリズムに誰かが侵入して実際に使えるようになることを意味するが、それは起きていません。あるいは、センサーとXboxの間にデバイスを置いてチートをするという意味で、これもまだ起きていません。これがハッキングと呼ばれ、実際に起こらないように多大な労力と努力を注いできた。実際に起きたのは、誰かがPC用のオープンソースドライバーを書いて、設計上保護していなかったUSB接続を開けてセンサーからの入力を読み取る仕組みである。センサーには目と耳があり、それを受信して信号に変換する必要がある。

PrimeSenseはロボティクス企業のWillow Garageおよびゲーム開発会社のSide-Kickと共に、2010年11月にKinectやその他の自然インターフェース(NI)デバイス向けのポータブルドライバー開発を目的とした非営利団体OpenNIを立ち上げた。最初のドライバーセットは「NITE」と名付けられ、2010年12月にリリースされた。はAsusと協力し、パーソナルコンピュータ向けのKinectと競合するモーションセンサーデバイスを開発していた。その結果生まれた製品であるワヴィ・クションは、2011年10月に中国で発売された。

Microsoftは2011年2月に、数か月以内にKinect用の独自のSDKをリリースする計画を発表し、2011年6月16日に正式にリリースされたが、非商用用途に限定された。 SDKにより、ユーザーは最大2人までのスケルタルモーション認識システムやKinectマイクアレイにアクセスでき、これらは従来のOpen Kinect SDKには含まれていなかった機能だった。Kinectへの商業的関心は依然として強く、マイクロソフトのプロダクトマネージャーであるデイビッド・デニス氏は「技術で何が可能かを見極めるために、私たちは何百もの組織と協力している」と述べている。マイクロソフトは2011年10月31日にKinect for Windowsプログラムを開始し、トヨタ、ホートンミフリン、レイザーフィッシュなど少数の企業に新しいSDKをリリースし、可能性を探る機会を提供した。2012年1月のコンシューマーエレクトロニクスショーで、マイクロソフトは2012年2月1日に商用SDKとともに専用のKinect for Windowsユニットをリリースすると発表した。このデバイスには、カメラの前方約50センチメートル (20 in)の物体を認識するための「ニアモード」対応など、いくつかのハードウェア改良が行われた。Windows版Kinectの価格はUS$250で、マイクロソフトがXbox 360 Kinectがゲーム購入、Xbox Liveサブスクリプション、その他の費用で補助されると考えていたため、オリジナルのKinectよりUS$100高く設定されていた。発売時にマイクロソフトは、25か国以上から300社以上が新ユニットでKinect対応アプリの開発に取り組んでいると発表した。

2013年にXbox One向けに改良版Kinectが発表された際、マイクロソフトは2014年までにアップデートされたKinect技術をベースにした第2世代のKinect for Windowsを発売することも確認した。新しいKinect 2 for Windowsは2014年7月15日にUS$200で発売された。マイクロソフトは2014年末までにオリジナルのKinect for Windowsの販売終了を選択した。しかし、2015年4月にマイクロソフトはWindows版Kinect 2の販売終了を発表し、代わりに商用ユーザーにXbox One版Kinectの使用を指示した。マイクロソフトは「動作はほぼ同じ」と述べている。Microsoftは、Windows版Kinect 2の需要が高く、対応が難しく、Xbox One向けKinectの注文も満たしていると述べ、Xbox One版Kinectを問題なく活用している商用開発者を見つけたと述べた。

マイクロソフトがKinectへの注力を薄める中、PrimeSenseは2013年にApple, Inc.に買収され、AppleはiOSデバイス向けのFace IDシステムにこの技術の一部を取り入れた。

Kinectはキャンセルされたが、そのアイデアはマイクロソフトがXboxやそのゲームのアクセシビリティにもっと取り組むきっかけとなった。マイクロソフトのXbox責任者フィル・スペンサーによると、障害や障害のある子どもを持つ親からは、Kinectが子どもたちのビデオゲームを楽しめたことを喜んでいたという好意的なコメントが寄せられた。これらの取り組みがきっかけで、2018年にリリースされたXbox Adaptive Controllerの開発につながり、これはマイクロソフトのこの分野での取り組みの一つとなった。

Integrating Kinect with Microsoft Azure

マイクロソフトはビデオゲーム向けのKinectのアイデアを放棄したが、それでもKinectの可能性を探求していた。マイクロソフトのコミュニケーションディレクター、グレッグ・サリバンは2018年に「Kinectが単なるゲームの周辺機器ではなかったことが理解され始めていると思いる...」と述べている。いつももっと多かった。」Kinect技術の一部は、2016年に初めてリリースされたマイクロソフトのHoloLensに統合された。

マイクロソフトは、2018年5月にAzureクラウドコンピューティングサービスと統合される非ゲームアプリケーション向けのハードウェアKinectモデルの新バージョンを開発していると発表した。クラウドコンピューティングを活用してKinectの計算作業の一部を分離し、Azureが可能にする人工知能などのより強力な機能が、深度感知の精度を向上させ、電力需要を削減し、よりコンパクトなユニットを実現できるとマイクロソフトは想定していた。Azure Kinectデバイスは2019年6月27日にUS$400で発売され、SDKは2019年2月にリリースされていた。

Sky UKは、Microsoftと提携し、Kinect技術を組み込んだ新しいSky Glassテレビユニットのラインを2022年に発売すると発表した。Kinectの機能を使えば、視聴者はモーションコントロールや音声コマンドでテレビを操作でき、ソーシャルビューイングなどのソーシャル機能もサポートできる。

マイクロソフトはAzure Kinectハードウェアキットが2023年10月に生産終了となり、予備部品の入手は第三者サプライヤーに紹介すると発表した。

技術

基本原理

Kinectの赤外線(左)で撮影された例と、同じ画像を白(近い)から青(遠く)までの色の階調で深度マップに再視覚化したものである

Kinectの中核にある深度と動きのセンサー技術は、その深度感知によって実現されている。Xbox 360用のオリジナルKinectは構造光を使用しており、Kinectの前方空間に近赤外線ランダムドットパターンを投影し、赤外線センサーが反射光パターンを捉えていた。光のパターンは、目の前の物体の相対的な深さによって変形し、Kinectのハードウェアレイアウトに関連するいくつかの要素に基づいて数学的にその深さを推定することができる。他の構造物の光深度センサー技術が複数の光パターンを用いるのに対し、Kinectは1つだけで30フレーム/秒の高解像度感知を実現した。Xbox One版のKinectは飛行時間測定に切り替わった。Kinectの赤外線プロジェクターは変調された赤外線光を発し、それをセンサーに捕捉する。赤外線光が近距離の物体に反射すると、遠くのものよりも飛行時間が短いため、赤外線センサーは飛行時から変調パターンがどれだけ変形していたかをピクセル単位で捉える。深度の飛行時間測定はより正確で短時間で計算できるため、より多くのフレーム毎秒を検出できる。

Kinectがピクセルごとの奥行き画像を取得した後、通常の可視光カメラからの入力を取り入れ、ショットの背景から近い物体を区別するエッジ検出の一種を用いる。ユニットは、画像内で人だけが動いていると仮定して、動いている物体を追跡しようとし、画像から人間の形状を切り離す。人工知能の助けを借りたこのユニットのソフトウェアは、頭部、腕、手など特定の身体部位を特定し、個別に追跡するために形状を分割化する。これらのセグメントは人体の20点からなる骨格を構築し、ゲームや他のソフトウェアでその人が行った行動を判断するために使われる。

Xbox 360用Kinect(2010年)

Xbox 360用のKinect。Xbox 360 Eのリビジョンには、Xbox 360のブランドの左側にXboxロゴがある。
Xbox 360 SとEモデルにはKinect専用ポートがあり、外部電源が不要である。

Xbox 360用のKinectは、Microsoftが構築したソフトウェアとハードウェアの組み合わせだった。ハードウェアには、イスラエルの開発会社PrimeSenseによるレンジチップセット技術が含まれており、赤外線プロジェクターとカメラ、そして近隣の物体の位置を3次元で特定できるグリッドを生成する特殊なマイクロチップからなるシステムを開発した。 このライトコーディングと呼ばれる3Dスキャナーシステムは、画像ベースの3D再構成の変。

Kinectセンサーは、電動ピボット付きの小さなベースに接続された水平の棒で、ビデオディスプレイの上下に縦方向に配置されるよう設計されている。このデバイスは「RGBカメラ、深度センサー、マイクアレイが独自のソフトウェアを動かす」[を備え、全身3Dモーションキャプチャ、顔認証、音声認識機能を提供する。発売当初、音声認識は日本、イギリス、カナダ、アメリカ合衆国でのみ利用可能だった。本土ヨーロッパでは2011年春にこの特集が導入された。現在、音声認識はオーストラリア、カナダ、フランス、ドイツ、アイルランド、イタリア、日本、メキシコ、ニュージーランド、イギリス、アメリカ合衆国でサポートされている。Kinectセンサーのマイクアレイにより、Xbox 360は音源の定位や環境音抑制を行い、Xbox Liveでのヘッドセット不要のパーティーチャットなどを実現している。

深度センサーは赤外線レーザープロジェクターとモノクロCMOSセンサーを組み合わせたもので、あらゆる環境光条件下で3Dのビデオデータをキャプチャする。 深度センサーの感知範囲は調整可能で、Kinectソフトウェアはゲームプレイやプレイヤーの物理的環境に基づいてセンサーを自動的にキャリブレーションし、家具やその他の障害物の存在にも対応する。

マイクロソフトの関係者によっては、Kinectの主要な革新と表現ソフトウェア技術は高度なジェスチャー認識、顔認識、音声認識を可能にする。小売店に提供された情報によると、Kinectは最大6人を同時に追跡でき、そのうち2人はアクティブプレイヤーでモーション分析を行い、1人あたり20関節の特徴抽出が可能である。しかし、PrimeSenseは、デバイスが「見る」(プレイヤーとして処理できない)人数は、カメラの視野内に収まる人数によってのみ制限されると述べている。

リバースエンジニアリング、Kinectの各種センサーは解像度に応じて≈9Hzから30Hzのフレームレートで映像を出力することが判明している。デフォルトのRGBビデオストリームは8ビットVGA解像度(640×480ピクセル)で、ベイヤーカラーフィルターを使用するが、ハードウェアは最大1280x1024(低フレームレート)やUYVYなどの他のカラーフォーマットに対応している。モノクロの深度感知映像ストリームはVGA解像度(640×480ピクセル)で、11ビット階調で、感度は2,048レベルを提供する。Kinectはまた、赤外線カメラからの映像を直接(つまり深度マップに変換する前に)640x480の動画、または1280x1024の低フレームレートでストリーミングすることも可能である。KinectセンサーはXboxソフトウェアで使用すると、実用的な距離制限が1.2–3.5 m (3.9–11.5 ft)である。Kinectをプレイするために必要な面積はおよそ6m²であるが、センサーは約0.7–6 m (2.3–19.7 ft)の拡張範囲で追跡を維持できる。センサーの視野角は水平57°、垂直43°で、電動ピボットはセンサーを最大27°まで上下に傾けることができる。したがって、最小視野距離≈0.8 m (2.6 ft))でのKinectセンサーの水平視野は≈87 cm (34 in)垂直視野は≈63 cm (25 in)で、解像度は1.3 mm (0.051 in))を少し超えるピクセル単位で。マイクアレイは4つのマイクロフォンカプセル[を備え、各チャンネルは16ビット音声を16kHzのサンプリングレートで処理する。

Kinectセンサーのモーター駆動の傾き機構はXbox 360のUSBポートが供給できる電力よりも多くの電力を必要とするためこのデバイスはUSB通信と追加の電力を組み合わせた独自のコネクタを使用している。再設計されたXbox 360 Sモデルにはコネクタを収容するための特別なAUXポートが搭載されており[、古いモデルはセンサーに付属する特殊な電源ケーブルが必要で、接続をUSBと電源の別々の接続に分割する。電源は交流アダプターを介して電源から供給される。

Kinect for Windows(2012年)

Kinect for Windowsは、2012年2月1日に商用SDKとともに初めてリリースされたXbox 360の改良版である。やその他のケーブル経路のノイズを除去する優れたコンポーネントが含まれ、さらに50センチメートル (20 in)に近い物体を検出するための深度感知カメラシステムの改良が新たに導入された。

SDKにはKinectデバイス用のWindows 7互換PCドライバーが含まれていた。Microsoft Visual Studio 2010を使ってC++、C#、Visual Basicでアプリケーションを構築できるKinect機能を提供し、以下の機能が含まれていた。

  1. 生センサーストリーム:深度センサー、カラーカメラセンサー、4要素マイクアレイからの低レベルストリームへのアクセス。
  2. スケルタルトラッキング:ジェスチャー駆動アプリケーション向けに、Kinectの視野内で動く1人または2人の骨格画像を追跡する機能である。
  3. 高度な音声機能:音声処理機能には高度な音響ノイズ抑制やエコーキャンセリング、現在の音源を特定するビーム形成、Windows音声認識APIとの統合が含まれる。
  4. サンプルコードとドキュメント。

2012年3月、Kinect for Windowsのゼネラルマネージャー、クレイグ・アイスラーは、約350社がマイクロソフトと協力してMicrosoft Windows向けのカスタムKinectアプリケーションを開発していると述べた。

2012年3月、MicrosoftはKinect for Windows SDKの次期バージョンが2012年5月に提供されると発表した。Kinect for Windows 1.5は2012年5月21日にリリースされた。新機能の追加、多くの新言語のサポート、さらに19か国での初登場も予定されている。

  1. Kinect for Windows 1.5 SDKには、ユーザーがアプリケーションとやり取りするクリップを録画、再生、デバッグできる新しいアプリ「Kinect Studio」が含まれていた。
  2. 新しい「座着」または「10関節」骨格システムのサポートにより、Kinectユーザーの頭、首、腕を、座っている時でも立っている時でも追跡できる。これはデフォルトモードやニアモードで動作する。
  3. 音声認識のための4つの新しい言語(フランス語、スペイン語、イタリア語、日本語)のサポート。さらに、英語とともにこれらの言語の地域方言のサポートも追加される。
  4. 5月には香港、韓国、台湾で、6月にはオーストリア、ベルギー、ブラジル、デンマーク、フィンランド、インド、オランダ、ノルウェー、ポルトガル、ロシア、サウジアラビア、シンガポール、南アフリカ、スウェーデン、スイス、アラブ首長国連邦で発売予定である。

初代センサー用のKinect for Windows SDKはその後数回アップデートされ、バージョン1.6は2012年10月8日にリリースされ、[ バージョン1.7は2013年3月18日リリースされ、1.8は2013年9月17日にリリースされた。

Xbox One用のKinect(2013年)

アップグレード版のKinectは2013年11月22日にXbox One向けにリリースされた。広角の飛行時間カメラを使用し、環境を読み取る。新しいKinectは前モデルの3倍の精度と高精度を実現し、アクティブIRセンサーを用いて可視光なしで追跡が可能である。視野は60%広く、センサーから最小作業距離は0.91メートル (3.0 ft)で、オリジナルのKinectの1.83メートル (6.0 ft))と比べて[、最大6体のスケルトンを同時に追跡可能である。また、プレイヤーの心拍数、表情、25の関節(親指を含む)の位置と向き、各手足にかかる重さ、選手の動きの速度、標準コントローラーで行うトラッキングジェスチャーも検出できる。カラーカメラは1080pの映像を撮影し、画面と同じ解像度で表示できるため、幅広いシナリオに対応している。ビデオ通信やビデオ分析アプリケーションの改善に加え、インタラクティブなアプリケーションを構築するための安定した入力も提供する。Kinectのマイクはナビゲーション、ゲーム開始、スリープモードからの起動などの音声コマンドに使われる。 推奨されるプレイヤーの身長は少なくとも40インチであり、これはおおよそ の子供に相当する。4+1⁄2何年も前から。

すべてのXbox Oneコンソールは当初、Kinectが同梱されていた。2014年6月にはKinectを含まないバンドルが提供され、 One SDKも更新され、ゲーム開発者はKinectの骨格トラッキングを明示的に無効化できるようになり、Kinectが無効化または切断されていても以前はKinect専用に割り当てられていたシステムリソースを解放できるようになった。 2014年にKinectへの関心が薄れると、Xbox One SやXbox One Xを含む後のXbox Oneハードウェアの改良版では専用のKinectポートが廃止され、Xbox OneでKinectを使用するにはUSB 3.0とACアダプターの購入が必要となった。

Xbox One向けのスタンドアロンKinectは、en:Dance Central Spotlightのデジタル版とセットされ、2014年10月7日にリリースされた。

Xbox 360向けのKinectと比べて市場失敗と見なされ、Xbox One向けのKinect製品は2017年10月25日までに販売終了となった。アダプターコードの生産も2018年1月に終了した。

Kinect 2 for Windows(2014年)

2014年7月15日にリリースされたKinect 2 for Windowsは、Xbox One用のKinectをベースにしており、オリジナルのKinect for Windowsの後継と考えられている。また、「Kinect for Windows v2」としても再パッケージされた。Xboxのロゴが削除されている以外はほぼ同一で、USB 3.0/ACアダプターも付属していた。このプラットフォーム用のWindows SDKバージョン2.0と同時にリリースされた。希望小売価格はUS$199だった。 MicrosoftはKinect 2 for WindowsをXbox One版と同等のパフォーマンスと見なしている。

2015年4月、Xbox One用のKinectの製造需要に追いつけず、このエディションは生産終了となった。マイクロソフトは商用ユーザーにUSBアダプター付きのXbox One版を使うよう指示した。

Azure Kinect(2019年)

2018年5月7日、マイクロソフトは主にエンタープライズソフトウェアと人工知能向けの新しいKinect技術の導入を発表した。Microsoft Azureクラウドプラットフォームを中心に設計されており、「Azure AIの豊富な機能を活用して洞察と運用を劇的に改善する」ことを目的としている。 Xbox版のKinectよりも小型のフォームファクターで、1200万画素のカメラ、HoloLens 2でも使用されている飛行時深度センサー、そして7つのマイクを搭載している。開発キットは2019年2月に発表された。 このキットは2023年10月に生産終了となった。

ソフトウェア

Xboxオペレーティングシステム上のKinect対応機能

少なくとも190MBの利用可能なストレージ容量システムソフトウェアは、ユーザーが音声コマンドや手のジェスチャーを通じてXbox 360ダッシュボードのコンソールユーザーインターフェースを操作できるようにする。音声認識や顔認識などの技術が用いられ、ユーザーを自動的に識別する。Kinectのアプリケーションの一つにVideo Kinectがあり、これはXbox 360ユーザーやWindows Live Messengerユーザーと音声チャットやビデオチャットを可能にする。このアプリケーションは、Kinectのトラッキング機能とKinectセンサーのモーターピボット機能を活用し、ユーザーが動き回ってもフレーム内に収まらせることができる。Kinect対応の他のアプリケーションには、ESPN、Zune Marketplace、、Hulu Plus、en:Last.fm がある。Microsoftは後に、すべての今後のアプリケーションが認証のためにKinect機能の搭載が義務付けられることを確認した。

Xbox Oneは元々Kinectにバンドルで出荷されていた。オリジナルのXbox Oneユーザーインターフェースソフトウェアは、Xbox 360版と同様に音声コマンド、骨格や音声認識によるユーザー識別、ジェスチャー駆動のコマンドなど、Kinectの機能をサポートしているが、プライバシーの懸念からこれらの機能は完全に無効化されることもありた。しかし、これにより従来のコントローラー操作は場当たり的に作り込まれていた。2014年5月、マイクロソフトがKinectなしのXbox Oneシステムをリリースすると発表した際、同社はXbox Oneのシステムソフトウェアを変更し、Kinect機能を削除する計画も発表した。ソフトウェア内のKinectサポートは2015年11月までに完全に削除された。

ビデオゲーム

Kinectを必要とするXbox 360ゲームは、他のXbox 360ゲームで使われている緑色のケースとは異なり、特別な紫色のケースに収められており、表紙には目立つ「Requires Kinect Sensor」のロゴが入っている。Kinectを利用した機能を含むが、標準的なゲームプレイに必須でないゲームは、表紙に「Better with Kinect Sensor」のロゴが付けられている。

Kinectは2010年11月4日に17タイトルでローンチされた。入手可能および発表されたKinectゲームのサードパーティパブリッシャーには、Ubisoft、Electronic Arts、LucasArts、THQ、Activision、コナミ、セガ、カプコン、バンダイナムコ、MTV Gamesなどが含まれる。小売ゲームに加え、周辺機器が必要な一部のXbox Live Arcadeタイトルもある。

KinectShare.com

KinectShare.com は、プレイヤーがXbox 360からビデオゲームの写真や動画、実績をアップロードできるウェブサイトだった。2010年11月にKinectと同時に発売された。2011年10月には公式のKinectニュースを紹介するブログがウェブサイトで公開されたが、2012年7月以降に終了した。このゲームは、en:Dance Central 2、Kinect Adventures!、Kinect Fun Labs、Kinect Rush: A Disney–Pixar Adventure、en:Kinect Sports、Kinect Sports、Kinect Sports: Season Twoなど、複数のKinectゲームで使用された。このウェブサイトは2017年6月に閉鎖され、Kinectの販売終了の数か月前にリダイレクトされた Xbox.com。Xbox 360のKinectShare機能は2017年7月28日に終了した。[要出典]

Kinect Fun Labs

E3 2011で、マイクロソフトはKinect Fun Labsを発表した。これはXbox 360ダッシュボードからアクセス可能な様々なガジェットやミニゲームのコレクションである。これらのガジェットには、Build A Buddy、Air Band、Kinect Googly Eyes、Kinect Me、ボブルヘッド、Kinect Sparkler、Junk Fu、Avatar Kinectが含まれる。

Kinectのビデオゲーム以外の用途

Maker FaireでのサードパーティによるKinectの実演。左側のビジュアライゼーションはKinectを通じて提供されており、VJのための着用電子制御が搭載されたジャケットを着たユーザーの様子が描かれている。

多くの開発者が、Kinectの本来の目的であるゲームプレイを超えた応用の可能性を研究しており、MicrosoftによるKinect SDKのリリースによってさらに可能になった。

例えば、MITのフィリップ・ロベルはKinectとiRobot Createを組み合わせて部屋を3Dでマッピングし、ロボットが人間のジェスチャーに反応するようにした。一方、MITメディアラボのチームは、ユーザーが手のジェスチャーでブラウザを操作できるGoogle Chrome用のJavaScript拡張機能「depthJS」を開発している。MITのロボット・ロコモーション・グループを含む他のプログラマーたちは、これらのドライバーを使って『マイノリティ・リポート』で想定されたものに似たモーションコントローラーユーザーインターフェースを開発している。MRPTの開発者たちはオープンソースドライバーをライブラリに統合し、ライブ3Dレンダリングや基本的な3DビジュアルSLAMの例を提供した。別のチームは、Kinectユーザーが空の机を指で叩くことで仮想ピアノを弾けるアプリケーションを公開した。カリフォルニア大学デービス校の研究者オリバー・クレイロスは、NASAが関心を示しているライブ3次元ビデオ会議の改善にこの技術を採用した。

EPFLのアレクサンドル・アラヒ氏は、複数のKinectデバイスを組み合わせて、完全な暗闇の中でも集団を追跡するビデオ監視システムを発表した。So touchとEvoluceは、手のジェスチャーで操作可能なKinect向けのプレゼンテーションソフトウェアを開発した。その特徴の一つにマルチタッチズームモードがある。2010年12月、HTPCソフトウェアKinEmoteの無料パブリックベータが公開された。Kinectセンサーを使ってBoxeeやXBMCのメニューを操作できる。ソルーシュ・ファラハティは、Kinectセンサーを使って立体3D画像を作成できるアプリケーションを作成した。

人間の動きトラッキングにおいて、Kinectはオクルージョン(閉塞)という問題を抱えることがある。これは一部の人体関節が閉塞し、Kinectの骨格モデルでは正確に追跡できない状態を指す。したがって、他のセンサーとデータを融合させることで、骨格モデルのより堅牢な追跡が可能になる。例えば、ある研究ではアンセンテッド・カルマンフィルタ(UKF)を用いて、肩、肘、手首の関節のKinect 3D位置データと、人の上腕と下腕に設置された2つの慣性計測装置(IMU)から得られたデータを融合させた。結果は、関節の位置追跡精度が最大50%向上したことを示した。閉塞問題の解決に加え、IMUのサンプリング周波数が100Hz(Kinectの~30Hz)だったため、速く動的な動きで骨格位置の改善がより顕著だった。

Kinectは医療分野での利用にも大きな可能性を示している。ミネソタ大学の研究者たちは、Kinectを使って子どものさまざまな障害症状を測定し、自閉症、注意欠陥障害、強迫性障害などの状態を検出するための新しい客観的評価方法を生み出した。複数のグループが、Kinectを術中および医療画像のレビューに使用し、外科医が情報を汚染せずにアクセスできるようにしたと報告している。 この技術はすでにトロントのサニーブルック健康科学センターで使用されており、医師たちはがん手術中の画像診断のガイドとして利用している。少なくとも一社、GestSure Technologiesは、このようなシステムの商業化を進めている。

NASAのジェット推進研究所(JPL)は2013年11月にKinect for Windows開発者プログラムに参加し、新しいKinectを用いてOculus Riftのバーチャルリアリティヘッドセットと組み合わせてロボットアームを操作し、「これまでで最も没入感のあるインターフェース」を作り出した。

評価

Xbox 360用のKinect

評価
レビュー結果
媒体結果
Computer and Video Games8.8/10
ゲーム・インフォーマー8/10
IGN7.5/10
CNET3.5/5
Engadget6/10
USA Today3.5/4stars
TechRadar3.5/5stars
The Washington Post4/4stars
PC Magazine4/5
en:Game Guru9/10
Tech Shout9.2/10

発売当初、Kinectはレビューアーや批評家から概ね好意的な評価を受けた。IGNはこのデバイスに10点満点中7.5点をつけ、「Kinectはカジュアルプレイヤーにとって非常に楽しいものであり、クリエイティブでコントローラー不要のコンセプトは間違いなく魅力的だ」と述べたが、「149.99ドルでXbox 360用のモーショントラッキングカメラアドオンは売り込みが難しい。特にXbox 360のエントリーレベル版がわずか199.99ドルであることを考えると」とも付け加えた。 Game InformerはKinectを10点中8点と評価し、技術を称賛する一方で、体験に慣れるまで時間がかかり、空間的な要件が障壁になる可能性があると指摘した。 en:Computer and Video Games誌はこのデバイスを技術的な宝石と称賛し、ジェスチャーや音声操作を称賛しつつも、発売時のラインナップやKinect Hubを批判した。

CNET'レビューでは、Kinectが全身のモーションセンサーでプレイヤーをアクティブに保つことを指摘しつつも、学習曲線や古いXbox 360機種で必要な追加電源、スペースの要求を批判した。 Engadgetもまた、Kinectのローンチ機能や手のジェスチャーUIの遅さを否定的に挙げた。レビューでは、このシステムの強力な技術とヨガやダンスゲームの可能性を称賛した。 Kotakuはこのデバイスを初めて使用した際に革命的だと考えたが、ゲームがジェスチャーを認識できなかったり反応が遅いことがあると指摘し、Kinectは「まだ必須所有ではなく、いずれは所有しなければならない」と結論づけた。 TechRadarは音声制御を称賛し、遅延や容量要件が問題として指摘されたこの装置に大きな可能性を見出した。ズモドはまた、Kinectの可能性にも注目し、より主流のタイトルがこの技術をどのように活用するのかに興味を示した。 en:Ars Technicaのレビューでは、Kinectのコア機能であるコントローラーの欠如が、固定されたプレイヤーやプレイヤーの移動を自動で制御するゲーム以外のゲームの開発を妨げるのではないかと懸念を示していた。

主流メディアもKinectをレビューした。USAトゥデイはこれを『マイノリティ・リポート』で見られる未来的な操作体系と比較して、「ゲームをプレイする感覚は最高」と評し、4点満点中3.5点をつけた。 ニューヨーク・タイムズのデイビッド・ポーグは、プレイヤーが「Kinectを初めて試したときに、狂ったような魔法のようなオミゴッシュの高揚感を味わうだろう」と予測した。モーショントラッキングはWiiの実装ほど正確ではないと評しつつも、ポーグは「Kinectの驚くべき技術は、社会的で年齢層をまたいで、さらには運動能力を持つ全く新しい活動を生み出している」と結論づけた。 グローブ・アンド・メール紙はKinectを「モーションコントロールの新たな基準」と評した。物理的な動きとKinectが認識するまでのわずかな入力遅延は、ほとんどのゲームで大きな問題とは見なされておらず、レビューではKinectを「良質で革新的な製品」と評し、4点満点中3.5点と評価した。

Xbox One用のKinect

オリジナルのKinectよりも性能が向上しているが、その後継モデルは賛否両論の反応を受けている。EngadgetはXbox Oneのレビューで、顔認識ログインや動作追跡の改善などXbox OneのKinect機能を称賛したが、「魔法のようなもの」ではあるものの、「誤検知や認識されない[音声]コマンドのたびにコントローラーに手を伸ばす」とも述べた。Kinectが英語のアクセントを理解できない点は批判された。タイム誌のマット・ペッカムは、この端末を「現実を模倣した」外観だと表現したが、顔認証ログイン機能は「不気味だけどSF的な未来感も感じられる」と評し、新しい音声認識システムは「使用によって少しずつ滑らかになってきている例外を除いて強力で中毒性のあるコンソール操作手段だ」と述べた。しかし、その精度は背景ノイズの影響を受けることが判明し、ペッカムはさらに、音声認識でゲームを起動するには、コンソールが「意味的に理解すべき」略称ではなく、例えば「FM 5」と言うのではなく、「Forza Motorsport 5」のようにゲームのフルタイトルを言う必要があると指摘した。

Xbox Oneの発売前には、新しいKinectに対するプライバシーの懸念が提起されていた。批評家たちは、Xbox OneのKinectを常に接続しておくという当初の要件や、コンソールをインターネットに接続して機能を維持する必要があるという初期の常時接続DRMシステムから、このデバイスが監視に使われる可能性を懸念した。プライバシー擁護者は、新しいKinectで収集できるデータ量(例えば人の眼球運動、心拍数、気分など)がターゲット広告に活用できると主張した。また、Kinectに関する最近マイクロソフトの特許に関する報告も出てきた。例えば、部屋内の視聴者数を検出するDRMシステムや、テレビ番組や広告の視聴に対する実績を付与して視聴習慣を追跡する技術などである。マイクロソフトはプライバシーポリシーで「広告目的でのKinectデータの収集、保存、使用を禁止している」と述べたが、批判者たちはこれらのポリシーがコンソール発売前に変更される可能性を否定しなかった。また、マイクが常にアクティブであるため、会話を録音する可能性も懸念された。批判に対して、Microsoftの広報担当者は「Kinectのセンシングがオン、オフ、または一時停止のタイミングをユーザーがコントロールできる」と述べ、コンソールの初期設定時に重要なプライバシー情報や設定が提供されること、そして写真や動画などのユーザー生成コンテンツは「明確な許可なしにXbox Oneから離れることはありません」と述べた。 マイクロソフトは最終的にXbox OneでのKinect使用義務化の決定を撤回したが、2013年11月の発売時には同機が同梱されていた。

販売

2017年10月25日にFast Co. DesignとのインタビューでKinectの生産終了を発表した際、マイクロソフトは発売以来3,500万台が販売されたと述べた。 2013年2月までに2,400万台のKinectが出荷されていた。市場投入から最初の60日間で800万台を売り上げ、Kinectは「最も速く売れた家電機器」としてギネス世界記録を達成した。 Wedbushのアナリスト、マイケル・パクターによると、Kinectバンドルは2010年12月のXbox 360コンソール販売の約半数を占め、2011年2月には3分の2以上を占めていた。 ブラックフライデー2011の週には75万台以上のKinectが販売された。

その他のモーションコントローラー

Kinectは、Wiiリモコン、Wii Remote Plus、Wii Balance Board(WiiおよびWii U)、PlayStation 3のPlayStation MoveとPlayStation Eye、PlayStation 4のPlayStation Cameraなど、他の家庭用コンソールの複数の モーションコントローラと競合した。

Xbox 360 Kinectはコントローラーなしの性質で、WiiやPlayStation Moveのワンド操作とは異なるモーションコントロール体験を提供したが、これが開発者が3つの第7世代すべてを対象に同じ体験を提供するモーションコントロールゲームの開発を妨げることもある。WiiやPlayStation 3で発売された第7世代のモーションコントロールゲームの例としては、杖の操作をKinectのカメラ操作に移行する問題によりXbox 360版が当初キャンセルまたは除外された例がある。例としては、『デッドスペース:エクストラクション、『ロード・オブ・ザ・リング:アラゴルンのクエストなどがあるフィニアスとファーブ:アクロス・ザ・セカンド・ディメンション。

受賞歴

専用及び対応ソフトウェア

以下は、国内発売が決定したKinect専用及び対応タイトルを列挙する。

Xbox 360

発売日 タイトル 発売元 備考
2010年11月20日Kinect スポーツマイクロソフト
2010年11月20日Kinect アドベンチャー!マイクロソフト
2010年11月20日Dance Evolutionコナミ
2010年11月20日クロスボード7コナミ
2010年11月20日体で答える新しい脳トレバンダイナムコゲームス
2010年11月20日ソニック フリーライダーズセガ
2010年12月09日Kinect アニマルズマイクロソフト
2010年12月09日ユアシェイプ フィットネス・エボルブユービーアイソフト
2010年12月16日DECA SPORTA FREEDOMハドソン
2011年01月20日Kinect ジョイライドマイクロソフト
2011年05月26日ファイターズアンケージユービーアイソフト
2011年06月02日Dance Centralマイクロソフト
2011年06月30日パワースマッシュ4セガ対応
2011年09月08日Rise of Nightmaresセガ
2011年09月22日チャンピオンジョッキー:ギャロップレーサー&ジーワンジョッキーコーエーテクモゲームス対応
2011年10月06日The Gunsringerマイクロソフト
2011年10月06日Child of Edenユービーアイソフト
2011年10月13日Kinect アニマルズ - フシギな島のなかまたち -マイクロソフト
2011年10月13日Forza Motorsport 4マイクロソフト対応
2011年10月27日Dance Central 2マイクロソフト
2011年10月27日Kinect スポーツ シーズン2マイクロソフト
2011年11月10日インスタントブレインケイブ対応
2011年11月17日ザ・シムズ3 ペットエレクトロニック・アーツ対応
2011年11月17日Halo:Combat Evolved Anniversaryマイクロソフト対応
2011年12月08日Kinect: ディズニーランド・アドベンチャーズマイクロソフト
2011年12月08日The Elder Scrolls V: Skyrimベセスダ・ソフトワークス対応
2011年12月08日マイケルジャクソン ザ・エクスペリエンス リミテッドエディションユービーアイソフト
2011年12月15日ユアシェイプ フィットネス・エボルブ2012ユービーアイソフト
2012年01月19日パワーアップ ヒーローズユービーアイソフト
2012年03月15日Mass Effect 3エレクトロニック・アーツ対応
2012年03月22日Kinect ラッシュ: ディズニー/ピクサー アドベンチャーマイクロソフト
2012年04月05日Kinect スター・ウォーズマイクロソフト
2012年04月19日セサミストリート:ワンス・アポン・ア・モンスターワーナー・ホーム・ビデオ
2012年06月21日重鉄騎カプコン
2012年07月05日ゴーストリコン フューチャーソルジャーユービーアイソフト対応
2012年09月27日ラブ☆トレ 〜Sweet〜BOOST ON
2012年10月11日フェイブル: ザ・ジャーニーマイクロソフト
2012年10月18日Dance Central 3マイクロソフト
2012年10月18日FIFA 13 ワールドクラスサッカーエレクトロニック・アーツ対応
2012年10月25日Forza Horizonマイクロソフト対応
2012年11月01日NBA 2K 13テイクツー・インタラクティブ対応
2012年11月15日Kinect スポーツ:アルティメット コレクションマイクロソフト
2012年11月15日Nike+ Kinect Trainingマイクロソフト
2012年11月15日Need for Speed: Most Wantedエレクトロニック・アーツ国内版には

対応表記無

2012年11月29日ラブ☆トレ 〜Mint〜BOOST ON
2013年01月31日ラブ☆トレ 〜Bitter〜BOOST ON
2013年03月21日ラブ☆トレ 〜Chocolate〜BOOST ON
2014年03月20日Zoo Tycoonマイクロソフト対応
2015年04月23日ディズニー ファンタジア:音楽の魔法マイクロソフト

関連項目

他社モーションコントローラ