[大数据]

海量数据引发的挑战

[复制链接]
733|2
手机看帖
扫描二维码
随时随地手机跟帖
lvroubaozi|  楼主 | 2018-3-27 09:03 | 显示全部楼层 |阅读模式
本帖最后由 lvroubaozi 于 2018-3-27 13:29 编辑

海量数据引发的挑战

看过疑犯追踪的朋友一定对芬奇发明的程序有印象,能够从茫茫人海中很快找到想要找的人并实施高智商的策略,其实这就是我们现在很熟悉的人脸识别和人工智能,大家潜意识一定会觉得这个算法很高深,是最难的地方。但是当看到这段代码只是存在与一个小盒子中时,我意识到其实最难的并不是算法,而是带宽与计算速度,我们估算一下,假如这段代码想要从1千万张人脸中找到里瑟(剧中男主人公),因为街头的摄像头没有人脸识别功能,所以只能将照片发回芬奇的小盒子,由小盒子进行图像识别,每张人脸照片按100kb大小计算,1千万张照片大小就是1T Gb,如果芬奇安装的是千兆光纤,不考虑网络有效数据率和丢包,也需要1000s才能全部传给小盒子,也就是16分钟,这还是在行人都处于静止状态,如果大家都在动,摄像头需要不停的将新照片发给小盒子,那么这些图像将永远也传不完。这是网络的问题,还有计算速度的问题,如果程序想要从1千万张图片找到里瑟,如果1ms识别一张,识别完1千万张需要1万秒,接近3个小时,基本上找到人以后,人家早就跑掉了,如果你说他的小盒子效率超高,1秒识别10万张,那么基本上他的发热量也可以把自己烧掉了。






故事到此为止,其实剧中的问题也是我们现实中遇到的问题,我们街道上的摄像头越来越多、双11交易量越来越大、用户手机端的数据越来越多、随着以后车联网、物联网的发展,数据会越来越大,这些数据都需要上传到服务器,同时如果我们想要实时处理数据,那么对网络带宽和计算速度的要求会越来越高。这也就是为什么英伟达股价两年能上涨6倍的原因了,因为只有超高性能的GPU才能支撑起如此高要求的计算力,但是GPU的问题就是高功耗、有延迟。而FPGA则是另一个选择。

2015年6月1日,Intel宣布斥资167亿美元,以每股约54美元的价格收购全球第二大FPGA厂商Altera(阿尔特拉),这是Intel成立47年以来历史上规模最大的收购。本次Intel的收购对应的估值高达35倍,这在半导体领域已经非常罕见。Intel收购Altera,主要基于三方面考虑:

第一、IBM与全球第一大FPGA厂商Xilinx合作,主攻大数据和云计算方向,这引起Intel的巨大担忧。Intel已经在移动处理器落后,大数据和云计算领域不能再落后。

第二、FPGA在云计算、大数据领域将深入应用。Intel此次与Altera合作,将开放Intel处理器的内部接口,形成CPU+FPGA的组合模式。其中FPGA用于整形计算,cpu进行浮点计算和调度,此组合的拥有更高的单位功耗性能和更低的时延。

第三、IC设计和流片成本。随着半导体制程指数增长,FPGA在物联网领域将替代高价值、批量相对较小(5万片以下)、多通道计算的专用设备替代ASIC。同时,FPGA开发周期比ASIC短50%,可以用来快速抢占市场。

目前在大数据处理方向,主流方法是通过易编程多核CPU+GPU来实现,而从事海量数据处理应用开发(如密钥加速、图像识别、语音转录、加密和文本搜索等)。设计开发人员既希望GPU易于编程,同时也希望硬件具有低功耗、高吞吐量和最低时延功能。但是依靠半导体制程升级带来的单位功耗性能在边际递减,CPU+GPU架构设计遇到了瓶颈而,而CPU+FPGA可以提供更好的单位功耗性能,同时易于修改和编程。另外,与CPU和GPU相比,FPGA的运算类似于ASIC“电路直给”,执行效率比CPU和GPU大幅提高。同时,FPGA在整数运算领域效率大大超过CPU,所以FPGA在整数运算领域的加速优势非常明显,而整数运算正是当前主流企业级应用的主要运算方式。目前。FPGA在卷积神经网络算法进行图像识别、加密算法进行安全控制、压缩算法等整数运算领域的加速运算更加出色。根据英特尔预计,到2020年,将有1/3的云数据中心节点采用FPGA技术。如果这个预计正确的话,那么FPGA将迎来一个爆发式的增长。



相关帖子

VKwang| | 2018-3-27 18:16 | 显示全部楼层
FBGA 与DSP 的算法优化在哪方面

使用特权

评论回复
lvroubaozi|  楼主 | 2018-3-28 09:03 | 显示全部楼层
VKwang 发表于 2018-3-27 18:16
FBGA 与DSP 的算法优化在哪方面

FPGA用VHDL语言写的话,肯定执行效率会很高,延迟小

使用特权

评论回复
发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

30

主题

73

帖子

1

粉丝