打印
[资料干货]

深蕾半导体ASTRA AI详细介绍

[复制链接]
1230|0
手机看帖
扫描二维码
随时随地手机跟帖
跳转到指定楼层
楼主
深蕾半导体|  楼主 | 2024-9-12 16:34 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

一、ASTRA AI是什么
ASTRA AI芯片是一种集成了多种计算单元(包括NPU/uNPU、GPU、CPU、DSP等)的异构计算系统级芯片(SOC),专为处理复杂的人工智能(AI)任务而设计。这种设计使得ASTRA AI芯片能够在单个芯片上高效地执行多种不同类型的计算任务,从而满足各种AI应用场景的需求。
二、主要组成部分解析
1.NPU/uNPU(Neural Processing Unit/micro Neural Processing Unit)
NPU是专门用于神经网络加速的处理器,能够高效执行深度学习算法中的矩阵运算和卷积操作。
uNPU指的是微型的NPU,设计用于处理较小规模的神经网络或嵌入式系统中的AI任务,以节省功耗和成本。
2.GPU(Graphics Processing Unit)
GPU原本用于图形渲染,但因其强大的并行处理能力,现在也被广泛用于AI计算,特别是加速大规模矩阵运算和图像处理。
3.CPU(Central Processing Unit)
CPU是系统的主控中心,负责执行各种指令,包括操作系统、应用程序以及AI任务的调度和管理。
4.DSP(Digital Signal Processor)
DSP专门设计用于处理数字信号,如音频和视频数据。在AI应用中,DSP可以加速信号处理和特征提取等任务。
三、多模态AI算法支持
ASTRA AI芯片支持多模态AI算法,意味着它能够同时处理来自不同来源和类型的数据,如图像、语音、文本等。这种多模态处理能力对于构建复杂、全面的AI系统至关重要,因为它可以整合来自多个传感器的信息,从而做出更准确的决策。
1.视觉算法:用于图像识别、物体检测、场景理解等任务。
2.语音算法:支持语音识别、语音合成、情感分析等语音处理任务。
3.大模型支持:能够接入并高效运行各种大型AI模型,如深度学习模型、自然语言处理模型等,从而满足复杂应用场景的需求。
四、本地AI算力平台五大特点
为了满足构建新一代智能物联网设备的客户需求,深蕾半导体推出了可扩展的智能边缘处理器产品组合Astra系列。全新的Astra本地AI算力平台产品具备五大特点助力客户构建新一代智能物联网产品:

差异化计算解决方案
提供一系列节能多模的AI MPU芯片,以及高性能AI及MCU,为家庭自动化、智能家电、过程控制、可穿戴设备、安全、数字标牌、流媒体和企业会议等市场应用提供可扩展的、差异化的计算解决方案。
自适应AI框架
通过开放、跨平台、工具化、建模和优化的自适应AI框架,从 “让人工智能发挥作用” 变为 “与人工智能合作”。
统一的软件体验
全面的板级支持包(支持Linux,Android和领先的RTOS)提供开放、一致的跨平台体验。它基于标准的操作系统接口、安全架构和加速方法构建。用户可以基于熟悉的开发环境缩短评估和决策周期
广泛的合作伙伴解决方案生态系统
客户可以与行业领先的合作伙伴公司(从ODM和ISV到服务提供商和系统集成商)一起构建市场就绪的系统和解决方案堆栈。从用于企业和消费市场的单板计算机、流媒体、平板电脑、显示器和用于教育和商业的交互式 A/V 会议系统,到支持计算的连接模块,ASTRA产品系列使各种物联网平台成为可能。
优秀的无线连接性能
业界一流、行业认可的无线连接性能,支持Wi-Fi、蓝牙、BLE、802.15.4和GPS/GNSS等,并通过标准的 Linux 和 RTOS 软件框架和协议(如 Matter)实现。
五、支持多种方式接入AI推理

1.HDMI RX:通过HDMI接收接口,ASTRA可以接入高清视频信号,进行视频内容的实时分析和处理。这种方式适用于需要处理高清视频输入的场景,如安防监控、视频会议等。
2.MIPI/USB摄像头:MIPI和USB是两种常见的摄像头接口标准。ASTRA支持通过这两种接口接入摄像头,获取实时视频流,并应用AI算法进行图像识别、目标跟踪等任务。这种方式在自动售卖机、智慧零售等领域有广泛应用。
3.RTSP/RTMP流:RTSP(Real Time Streaming Protocol)和RTMP(Real Time Messaging Protocol)是两种常用的流媒体传输协议。ASTRA支持通过这两种协议接入网络视频流,进行远程视频内容的分析和处理。这种方式适用于需要处理网络视频内容的场景,如远程监控、在线教育等。
4.本地视频播放:ASTRA支持对存储在本地设备上的视频文件进行播放和分析。这种方式适用于需要处理本地视频文件的场景,如视频编辑、视频内容审核等。
5.静态图像:ASTRA还支持对静态图像进行分析和处理。这可以用于图像识别、图像分类、图像增强等多种应用场景。
6.麦克风:通过麦克风接入,ASTRA可以接收音频信号,进行语音识别、语音合成等任务。这在智慧客服、智能家居等领域有重要应用。
六、芯片系列以及典型应用场景

ASTRA AI芯片系列中,包含了SL1680型号SL1640型号SL1620型号SR110型号应用场景有:

1.自动售卖:通过接入摄像头和麦克风,ASTRA可以实时分析顾客的行为和需求,优化商品陈列和售卖策略。
2.智慧显示牌:结合视频流和静态图像的处理能力,ASTRA可以根据环境变化和观众需求动态调整显示内容,提升用户体验。
3.安检设备:通过对行李、人员等物品进行图像识别和分析,ASTRA可以帮助安检人员快速发现潜在威胁,提高安检效率。
4.缺陷检测:在工业生产线上,ASTRA可以对产品进行实时图像检测,发现缺陷并及时报警,确保产品质量。
5.事件预警:结合视频流和音频信号的分析能力,ASTRA可以实时监测环境中的异常情况,并及时发出预警信号。
6.自动化运维:ASTRA可以通过对系统日志、监控视频等数据的分析,帮助运维人员快速定位和解决问题,提高运维效率。
7.多媒体交互:通过语音识别和合成技术,ASTRA可以实现与用户的自然语言交互,提供更加便捷和智能的服务体验。
8.视频内容分析:ASTRA可以对视频内容进行深度分析,提取关键信息并生成分析报告,为决策提供有力支持。
综上所述,
ASTRA凭借其强大的AI推理能力和多样化的接入方式,
在多个领域都有着广泛的应用前景。



使用特权

评论回复

相关帖子

发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

32

主题

32

帖子

0

粉丝