据报道Kinect核心软件是由微软研究院剑桥视觉研究小组(Microsoft Research Cambridge's vision research group)开发的。解决问题的一个老方法是建立一个化身(avatar),并试图匹配由摄像头提供的数据。跟踪是通过随着数据变化,移动化身来更新匹配。这是Kinect最初软件的基础,但不足于用于一款商业产品。一分钟左右它便会失去追踪的目标并且不能恢复。而且有个问题,它只有对与系统开发者体形差不多的人才有效,因为这个是用来匹配的化身的大小和形状。
该视觉研究小组的新方法是利用机器学习。他们训练学习系统识别身体部位。这可以用来对输入的数据流进行身体部识别,是基于GPU像素级别的。利用骨骼跟踪算法,这些分类通过像素汇集产生一个假想的三维身体关节座标。