3350
VS680是一款高性能的片上多媒体系统（SoC），用于新一代智能显示器消费类物联网设备，结合了增强人工智能功能的智能扬声器/本地触摸显示器。这款SoC的目标是将传感、视频和音频领域的边缘应用结合到单个消费设备中。为了实现边缘计算AI应用，它集成了一个高性能神经网络处理单元（NPU），支持每秒数万亿次 操作。 该款SoC附带了NPU工具包，使客户能够为视频、视觉和音频AI构建优化的ML/AI应用程序。集成的MIPI-CSI2和ISP为基于边缘的视觉推理提供相机输入，最大限度地减少对外部组件的需求。远场语音和关键词检测算法提供基于边缘的语音处理。VS680集成了高性能四核CPU子系统以及最新一代GPU 、超高清视频编解码器处理器、显示管道和安全处理器，以实现具有内容保护功能的强大视频/音频应用程序核心。这种高性能设备经过优化，可将功耗和散热降至最低，使制造商能够保持较小的外形尺寸。
优势
- 安全, 一流的人工智能性能
- 使人工智能的快速开发、移植和优化成为可能。
- 内部集成的ISP适用于支持摄像头的高级用例
应用
- 智慧显示器
- 回音壁
- 多摄像头平台
- 机顶盒及直播设备
特性
CPU
存储器接口
神经处理单元(NPU)
多标准视频解码
- 视频解码
- AV1 Main Profile (8位或10位, YUV 4:2:0) 2160p60
- H.265 main 8位和10位 (ITU-R BT.2020)
- VP9 Profiles 0和2 (8位或10位, YUV 4:2:2)
- H.264 Baseline, Main 和 High Profiles; MVC (多视图视频编码)
- MPEG-2 Simple 和 Main Profiles
- VP8
- 灵活支持PIP（2160p60/2160p60）和多视图（1 x 2160p60和3 x 1080p60）。
- 支持单流2160p H.265/VP9解码，最高90-100帧/秒。
- 支持高达1080p120的单流解码。
- 静止图像 - H.264、MPEG2 I 图像解码。
多标准视频编码/转码
- 最多支持两个流编码：
- 1080p60: H.264 or VP8 (每条流)
- 支持同时进行2160p60解码和1080p60转码。
音频解码/处理
- 远场语音（FFV）和关键词检测。
- 支持麦克风输入处理。
- 支持各种格式的音频解压缩。
- 音频后处理。
二维和三维图形
- 基于GPU的图形引擎（Imagination™ PowerVR™ 系列 9XE GE9920）：
- HDR-enabled。
- 包括几何体着色器和镶嵌着色器。
- 支持 OpenGL® ES™ 1.1/2.0/3.0/3.1/3.2/ DirectFB/OpenCL™ 1.2 / Vulkan® 1.1。
- 支持Android扩展包。
- 分辨率高达3840x2160。
- 支持3D。
- 5.6 G像素/秒。
- 200 M多边形/秒。
- 89.6个16位GFLOPS，44.8个32位GFLOPS。
QDEO™ 视频/图形显示管道
- 两条独立的显示器输出路径。
- 显示路径 #1：
- MP/GFX0（或PIP）/GFX1叠加后的输出。
- 通过HDMI Tx（高达2160p60）/DSI（高达21.60p30）输出。
- 支持伽玛校正和低延迟模式（适用于源/汇设备）。
- 显示路径 #2：
- GFX0（或PIP）/GFPX/GFX2选择的输出。
- 仅通过DSI输出1080p60。
- 支持伽玛校正。
- MP：
- Dolby Vision™ (仅限源) / HDR10+ (仅限源) / HDR10 / HLG。
- SDR和HDR之间的任何转换（HDR10、HLG）。
- 缩放。
- 细节和边缘增强。
- 肤色检测。
- 亮度过渡增强。
- 色度过渡增强。
- 自适应对比度增强。
- 智能色彩重映射器（色度增强）。
-
- 90/180/270 旋转。
- 水平和垂直翻转。
- 压缩失真抑制。
- 局部调光。
- 伽玛校正。
- GFX0(或 PIP)/GFX1: 支持 Dolby Vision™
- 仅按比例放大。
- SDR和HDR之间的任何转换（HDR10、HLG）。
- GFX2：
- 仅按比例放大。
- 离线视频管道（OVP）：
- 离线影像解交错器
- 离线缩放器（缩小和放大）
- 显示路径 #1：
安全
- 250MHz Secure CPU (Arm Cortex®-M3)。
- 使用eMMC和 SPI NOR Flash的RSA数字签名验证进行安全引导。
- 片上32Kbit OTP。
- 真随机数生成器。
- DRM 引擎 支持：
- AES, DES, 3DES, RSA, ECC。
- 支持以下内容保护方案：
- Widevine™ (Google)
- PlayReady™ (Microsoft)
- 通过身份验证禁用/启用JTAG。
- 内存和I/O空间访问控制。
- 支持DRAM加扰。
音视频输出
- MIPI DSISM v1.2 输出：
- 1 x 4-lane。
- 支持最高 2160p30。
- 1个 HDMI v2.1 输出：
- 支持遵循 HDMI 2.1的HDR方案, 包括 HDR10+。
- 支持最高 2160p60 YUV 4:4:4。
- 支持高达 1080p60的12b深彩色。
- 支持 HDCP 2.2。
- 支持 HBR 输出。
- 支持 CEC。
- 支持 ARC Rx 和 eARC Rx。
- 支持 Variable Refresh Rate (VRR)。
- 支持 Auto Lip Sync Correction。
- 支持 Quick Media Switching (QMS)。
- 支持 Quick Frame Transport (QFT)。
- 支持 Auto Low-Latency Mode (ALLM)。
- 8通道 I2S 输出。
- 2通道 I2S/PCM 输出 或 8通道 TDM 输出。
- S/PDIF 输出。
音视频输入
- MIPI CSI2SM v1.2 输入：
- 1 x 2-lane, 1 x 4-lane。
- 最多支持 2160p60（单摄像头）或 2 x 2160p30（双摄像头）。
- 支持 8MP + 4MP 双传感器。
- 内部集成ISP：
- 最多支持双摄像头。
- 输入像素格式：RAW（RGGB），每像素10/12位。
- 输出像素格式：YUV420/422/444，8/10位；RGB444，8/10位；RAW，10/12位。
- 1个 HDMI v2.1 输入：
- 支持 HDR10 和 HLG。
- 支持最高 2160p60 YUV 4:4:4。
- 支持高达 1080p60 的12b深彩色。
- 支持HDCP 2.2。
- 支持 HBR 音频输入。
- 支持 CEC。
- 支持动态 HDR Metadata 功能 / HDR10+。
- 支持可变刷新率（VRR）。
- 支持 Auto Lip Sync Correction。
- 支持 Quick Media Switching (QMS)。
- 支持 Quick Frame Transport (QFT)。
- 支持 Auto Low-Latency Mode (ALLM)。
- 8通道 I2S。
- 2通道 I2S/PCM 输入或 8通道 TDM 输入。
- 4 个 2通道 PDM (麦克风) 输入。
- S/PDIF 输入。
待机模式系统管理器
- 25MHz Arm® Cortex®-M3 (ARMv7-M 兼容)。
- 128KB TCM 用于指令/数据，4KB安全RAM。
- 带有前面板控制I/O、ADC、SPI、UART、温度传感器和唤醒事件逻辑的独立供电区。
- 多个GPIO处于待机模式。
- Always-on 电源域 支持系统唤醒功能：
- Wake-on-Voice
- Wake-on-LAN
- Wake-on-CEC
- IR remote
- Front-panel key presses through ADC or GPIO
- Wake-on-Wi-Fi through GPIO
- Wake-on-Bluetooth® through GPIO
- ZigBee through GPIO
- Timer
外设
- 1个 dual-lane PCI Express® 2.0 root complex。
- 1个千兆以太网MAC：
- RGMII接口，用于连接到外部千兆以太网PHY或G.hn。
- 1个 USB 3.0 host 接口。
- 1个 USB 2.0 On-The-Go (OTG) 接口。
- 1个SDIO 3.01 host接口，高达200 MHz。
- 4条 TWSI 2-wire 总线 (I2C兼容)。
- 2个高速 UART 接口。
- 2个低速 UART 接口（在Always-on电源域中）。
- 2个 SPI 接口（其中1个带有 DMA）。
- 32位管脚复用的备用域 GPIO。
- 96位管脚复用的标准模式 GPIO。
- 4个 PWM。
- 单通道100KHz前面板ADC。
- IR接收器输入。
- 2个片上温度传感器。
电源、封装和布局
VS680 高级框图
图 1. VS680 高级框图
阅读全文
下载ECAD模型
