加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

深蕾半导体ASTRA AI详细介绍

09/12 14:44
976
阅读需 9 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

 

一、ASTRA AI是什么

ASTRA AI芯片是一种集成了多种计算单元(包括NPU/uNPU、GPU、CPUDSP等)的异构计算系统级芯片(SOC),专为处理复杂的人工智能(AI)任务而设计。这种设计使得ASTRA AI芯片能够在单个芯片上高效地执行多种不同类型的计算任务,从而满足各种AI应用场景的需求。

二、主要组成部分解析

1.NPU/uNPU(Neural Processing Unit/micro Neural Processing Unit)

NPU是专门用于神经网络加速的处理器,能够高效执行深度学习算法中的矩阵运算和卷积操作。

uNPU指的是微型的NPU,设计用于处理较小规模的神经网络或嵌入式系统中的AI任务,以节省功耗和成本。

2.GPU(Graphics Processing Unit)

GPU原本用于图形渲染,但因其强大的并行处理能力,现在也被广泛用于AI计算,特别是加速大规模矩阵运算和图像处理

3.CPU(Central Processing Unit)

CPU是系统的主控中心,负责执行各种指令,包括操作系统、应用程序以及AI任务的调度和管理。

4.DSP(Digital Signal Processor)

DSP专门设计用于处理数字信号,如音频和视频数据。在AI应用中,DSP可以加速信号处理和特征提取等任务。

三、多模态AI算法支持

ASTRA AI芯片支持多模态AI算法,意味着它能够同时处理来自不同来源和类型的数据,如图像、语音、文本等。这种多模态处理能力对于构建复杂、全面的AI系统至关重要,因为它可以整合来自多个传感器的信息,从而做出更准确的决策。

1.视觉算法:用于图像识别、物体检测、场景理解等任务。

2.语音算法:支持语音识别、语音合成、情感分析等语音处理任务。

3.大模型支持:能够接入并高效运行各种大型AI模型,如深度学习模型、自然语言处理模型等,从而满足复杂应用场景的需求。

四、本地AI算力平台五大特点

为了满足构建新一代智能物联网设备的客户需求,深蕾半导体推出了可扩展的智能边缘处理器产品组合Astra系列。全新的Astra本地AI算力平台产品具备五大特点助力客户构建新一代智能物联网产品:

差异化计算解决方案

提供一系列节能多模的AI MPU芯片,以及高性能AI及MCU,为家庭自动化、智能家电、过程控制、可穿戴设备、安全、数字标牌、流媒体和企业会议等市场应用提供可扩展的、差异化的计算解决方案。

自适应AI框架

通过开放、跨平台、工具化、建模和优化的自适应AI框架,从 “让人工智能发挥作用” 变为 “与人工智能合作”。

统一的软件体验

全面的板级支持包(支持Linux,Android和领先的RTOS)提供开放、一致的跨平台体验。它基于标准的操作系统接口、安全架构和加速方法构建。用户可以基于熟悉的开发环境缩短评估和决策周期

广泛的合作伙伴解决方案生态系统

客户可以与行业领先的合作伙伴公司(从ODM和ISV到服务提供商和系统集成商)一起构建市场就绪的系统和解决方案堆栈。从用于企业和消费市场的单板计算机、流媒体、平板电脑显示器和用于教育和商业的交互式 A/V 会议系统,到支持计算的连接模块,ASTRA产品系列使各种物联网平台成为可能。

优秀的无线连接性能

业界一流、行业认可的无线连接性能,支持Wi-Fi、蓝牙、BLE、802.15.4和GPS/GNSS等,并通过标准的 Linux 和 RTOS 软件框架和协议(如 Matter)实现。

五、支持多种方式接入AI推理

1.HDMI RX:通过HDMI接收接口,ASTRA可以接入高清视频信号,进行视频内容的实时分析和处理。这种方式适用于需要处理高清视频输入的场景,如安防监控、视频会议等。

2.MIPI/USB摄像头:MIPI和USB是两种常见的摄像头接口标准。ASTRA支持通过这两种接口接入摄像头,获取实时视频流,并应用AI算法进行图像识别、目标跟踪等任务。这种方式在自动售卖机、智慧零售等领域有广泛应用。

3.RTSP/RTMP流:RTSP(Real Time Streaming Protocol)和RTMP(Real Time Messaging Protocol)是两种常用的流媒体传输协议。ASTRA支持通过这两种协议接入网络视频流,进行远程视频内容的分析和处理。这种方式适用于需要处理网络视频内容的场景,如远程监控、在线教育等。

4.本地视频播放:ASTRA支持对存储在本地设备上的视频文件进行播放和分析。这种方式适用于需要处理本地视频文件的场景,如视频编辑、视频内容审核等。

5.静态图像:ASTRA还支持对静态图像进行分析和处理。这可以用于图像识别、图像分类、图像增强等多种应用场景。

6.麦克风:通过麦克风接入,ASTRA可以接收音频信号,进行语音识别、语音合成等任务。这在智慧客服、智能家居等领域有重要应用。

六、芯片系列以及典型应用场景

ASTRA AI芯片系列中,包含了SL1680型号SL1640型号SL1620型号SR110型号应用场景有:

1.自动售卖:通过接入摄像头和麦克风,ASTRA可以实时分析顾客的行为和需求,优化商品陈列和售卖策略。

2.智慧显示牌:结合视频流和静态图像的处理能力,ASTRA可以根据环境变化和观众需求动态调整显示内容,提升用户体验。

3.安检设备:通过对行李、人员等物品进行图像识别和分析,ASTRA可以帮助安检人员快速发现潜在威胁,提高安检效率。

4.缺陷检测:在工业生产线上,ASTRA可以对产品进行实时图像检测,发现缺陷并及时报警,确保产品质量。

5.事件预警:结合视频流和音频信号的分析能力,ASTRA可以实时监测环境中的异常情况,并及时发出预警信号。

6.自动化运维:ASTRA可以通过对系统日志、监控视频等数据的分析,帮助运维人员快速定位和解决问题,提高运维效率。

7.多媒体交互:通过语音识别和合成技术,ASTRA可以实现与用户的自然语言交互,提供更加便捷和智能的服务体验。

8.视频内容分析:ASTRA可以对视频内容进行深度分析,提取关键信息并生成分析报告,为决策提供有力支持。

综上所述,

ASTRA凭借其强大的AI推理能力和多样化的接入方式,

在多个领域都有着广泛的应用前景。

 

 

相关推荐

电子产业图谱

深蕾半导体有限公司成立于2017年,是一家芯片设计公司,主要产品是音频编解码芯片Codec、智能音视频编解码芯片SoC。