本帖最后由 lvroubaozi 于 2018-3-27 13:29 编辑
海量数据引发的挑战 看过疑犯追踪的朋友一定对芬奇发明的程序有印象，能够从茫茫人海中很快找到想要找的人并实施高智商的策略，其实这就是我们现在很熟悉的人脸识别和人工智能，大家潜意识一定会觉得这个算法很高深，是最难的地方。但是当看到这段代码只是存在与一个小盒子中时，我意识到其实最难的并不是算法，而是带宽与计算速度，我们估算一下，假如这段代码想要从1千万张人脸中找到里瑟(剧中男主人公)，因为街头的摄像头没有人脸识别功能，所以只能将照片发回芬奇的小盒子，由小盒子进行图像识别，每张人脸照片按100kb大小计算，1千万张照片大小就是1T Gb，如果芬奇安装的是千兆光纤，不考虑网络有效数据率和丢包，也需要1000s才能全部传给小盒子，也就是16分钟，这还是在行人都处于静止状态，如果大家都在动，摄像头需要不停的将新照片发给小盒子，那么这些图像将永远也传不完。这是网络的问题，还有计算速度的问题，如果程序想要从1千万张图片找到里瑟，如果1ms识别一张，识别完1千万张需要1万秒，接近3个小时，基本上找到人以后，人家早就跑掉了，如果你说他的小盒子效率超高，1秒识别10万张，那么基本上他的发热量也可以把自己烧掉了。
![]()
故事到此为止，其实剧中的问题也是我们现实中遇到的问题，我们街道上的摄像头越来越多、双11交易量越来越大、用户手机端的数据越来越多、随着以后车联网、物联网的发展，数据会越来越大，这些数据都需要上传到服务器，同时如果我们想要实时处理数据，那么对网络带宽和计算速度的要求会越来越高。这也就是为什么英伟达股价两年能上涨6倍的原因了，因为只有超高性能的GPU才能支撑起如此高要求的计算力，但是GPU的问题就是高功耗、有延迟。而FPGA则是另一个选择。 2015年6月1日，Intel宣布斥资167亿美元，以每股约54美元的价格收购全球第二大FPGA厂商Altera（阿尔特拉），这是Intel成立47年以来历史上规模最大的收购。本次Intel的收购对应的估值高达35倍，这在半导体领域已经非常罕见。Intel收购Altera，主要基于三方面考虑： 第一、IBM与全球第一大FPGA厂商Xilinx合作，主攻大数据和云计算方向，这引起Intel的巨大担忧。Intel已经在移动处理器落后，大数据和云计算领域不能再落后。 第二、FPGA在云计算、大数据领域将深入应用。Intel此次与Altera合作，将开放Intel处理器的内部接口，形成CPU+FPGA的组合模式。其中FPGA用于整形计算，cpu进行浮点计算和调度，此组合的拥有更高的单位功耗性能和更低的时延。 第三、IC设计和流片成本。随着半导体制程指数增长，FPGA在物联网领域将替代高价值、批量相对较小（5万片以下）、多通道计算的专用设备替代ASIC。同时，FPGA开发周期比ASIC短50%，可以用来快速抢占市场。 目前在大数据处理方向，主流方法是通过易编程多核CPU+GPU来实现，而从事海量数据处理应用开发（如密钥加速、图像识别、语音转录、加密和文本搜索等）。设计开发人员既希望GPU易于编程，同时也希望硬件具有低功耗、高吞吐量和最低时延功能。但是依靠半导体制程升级带来的单位功耗性能在边际递减，CPU+GPU架构设计遇到了瓶颈而，而CPU+FPGA可以提供更好的单位功耗性能，同时易于修改和编程。另外，与CPU和GPU相比，FPGA的运算类似于ASIC“电路直给”，执行效率比CPU和GPU大幅提高。同时，FPGA在整数运算领域效率大大超过CPU，所以FPGA在整数运算领域的加速优势非常明显，而整数运算正是当前主流企业级应用的主要运算方式。目前。FPGA在卷积神经网络算法进行图像识别、加密算法进行安全控制、压缩算法等整数运算领域的加速运算更加出色。根据英特尔预计，到2020年，将有1/3的云数据中心节点采用FPGA技术。如果这个预计正确的话，那么FPGA将迎来一个爆发式的增长。
| 
楼主
标题置顶
标题高亮
