加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 空间计算,算盘的算
    • 空间计算应用
    • 空间计算与数字孪生
    • 空间计算技术要素
    • 空间计算产业链
    • 空间计算小史
    • 空间计算的未来
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

一文读懂Vision Pro与 Sora 眼前身后的空间计算

02/23 13:00
2919
阅读需 24 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

作者:路多,物联网智库 原创

2月初,Apple Vision Pro 头显设备终于开始销售。产品一经上市,就引来世界各地的科技爱好者的关注,大家纷纷慷慨解囊,争相感受代表空间计算科技的硬件设备。这张渲染图也终于走进了人们的生活当中,成为现实。

ifixit更是快速上线,祭出了全球VisionPro首个拆机视频,从镜头到显示屏幕,从摄像头阵列到风扇、电机,3500美元的东西没放过一个能拆的地方,甚至还做了X射线、CT扫描与显微镜拍摄。

Apple头显卖得火热,竞争对手Meta的股价居然单日上涨了20%,创下美股的历史纪录。当然,主要原因还是因为Meta的四季度财务表现,Quest VR头显也着实为Meta的业务做出了贡献。

人们开始关注Vision Pro背后的技术——空间计算

根据美国参数技术公司(PTC)的定义,空间计算是涉及机器、人、物体及其发生环境的活动的数字化,以实现和优化操作和交互。

这项技术有潜力以数字方式改变工业企业优化工厂、工作场所和仓库一线工人运营的方式,并为企业行动和交互提供数字增强的维度环境。

同时抛出王炸的还有OpenAI,一个文生视频的模型Sora,让整个圈子高呼“现实不存在了”,甚至还有投资媒体表示“所有VC的会上都在谈Sora”

因为人们发现,Sora模型基于大规模的视频生成,与空间计算有天然的关联,未来二者的结合,可能开启一种对世界物理世界更加深入的模拟和理解的新方法

那么,空间计算这一先进技术的商业模式又将如何运转,将和AIoT各个领域碰撞出怎样的火花,空间计算相关的产业链与技术如何,本文将一一进行介绍。

空间计算,算盘的算

为什么“VC都在看Sora”?为什么连红衣大炮周鸿祎也对此表示震惊,甚至表示:Sora对物理世界的模拟,至少将会对机器人具身智能自动驾驶带来巨大的影响。

如果此前给AI喂大量的内容,AIGC突然开窍(涌现)是读万卷书的结果,那么Sora给人带来的期待就是,将AI与现实进行深度结合,将带来“行万里路”、“有阅历”的真实体验。而这也必将为相关产业带来加速。

根据研究机构market.us数据显示,预计全球空间计算市场规模将从2023年的1246亿美元增长到2032年的6202亿美元,预测期间的复合年增长率为18.2%。

接下来,我们以苹果和Meta为例,分析他们各自立足头显和空间计算的商业模式。

苹果

对苹果而言,Vision Pro只是产品的一个接口,他们真正想做的是让用户觉得“我需要这个东西”,正如乔帮主此前的理念一样——用户并不知道自己想要什么,我给你最好的就行了。

一方面,苹果希望通过其自研芯片和系统的性能优势,给用户提供了“想要”的种子,一经发售,就引来全球哄抢,有数据统计,Vision Pro已经销售20万台,收入近7亿美元,更不用提正式发售之后的数量,尽管后期有报道称,一些用户表示佩戴不适将会退货,对于庞大的销售额来说不足构成影响。

另一方面,Apple并没有走社交模式,而是按照硬件+商店的方式进行空间计算产品的布局。

Meta

Meta的想法则是典型的互联网商业模式。通过低成本+社交属性吸引大量用户进来,而后提升用户黏性。同时提出了企业版本的订阅模式,兼容多种企业应用程序,可选个人模式和共享模式。

在Meta Connect 2023大会上,Meta开发者关系主管Melissa Brown在台上宣布,Quest商店的游戏和应用程序已经创造了超过20亿美元的收入。

当然,如果涉及到钱,Meta也乐于学习苹果的模式。Meta自有的元宇宙平台Horizon Worlds上,提出测试一系列的新工具,让部分创作者可以在该平台出售数字资产以获利。对web端、移动端用户从交易中抽取25%的佣金,对使用OculusVR头显的用户则抽取高达47.5%的佣金,其中包括30%来自Meta Quest Store的硬件平台费,以及Horizon Worlds收取的17.5%。此前痛斥苹果税的Meta也只有满口的“真香”。

不过,空间计算技术也面临一些新技术普遍面临的挑战——隐私问题云计算、区块链、人工智能/机器学习和XR支持下的空间计算,隐私是扩展现实市场的一个重大挑战,因为VR和AR等XR技术会收集用户的大量个人数据。这些数据包括敏感信息,如用户移动,生物特征数据,甚至个人喜好。XR市场被盯上的原因之一,就是用户的数据可以在不知情或不同意的情况下被收集。

空间计算作为智能产业的代表,融合了领先的软硬件科技,覆盖通信、感知、测绘、计算等等,可以说是自动驾驶行业之外另一个将先进技术集大成者的领域。接下来为大家介绍空间计算在AIoT等领域内的两大应用。

空间计算应用

空间计算与工业物联网

有机构预测,到2030年,空间计算应用程序,依托精确定位和地图的三维建模,能够有效改善运营和最大限度地提高人,机器,物体和工作环境之间的交互将变得无处不在。

在过去的十年中,制造商通过工业物联网计划达到了新的效率水平。这些技术已经在创建和利用大量数据的同时带来降本、提质增效。缺乏重要的空间信息可能是阻碍IIoT发展的一个问题。

从本质上讲,传统的lloT对周围的环境是盲目的。在选择安装什么传感器和连接什么机器时,物联网的采用者定义了自己数字感知的边界。这些边界可能导致操作的数字表示和其在三维环境中的物理执行之间存在巨大的知识差距。

通过采用空间计算等新技术,则可以弥补这些问题,真正实现数字化和智能化

具体来说,空间计算可以对整条生产线进行全程数字监控。它不仅能实时获取各项生产数据,还可以进行数据交叉比对,识别瓶颈,为管理人员提供决策参考。同时,它也可以通过影像识别和评估每名工人的工作动作,检查动作是否合理高效,从而给予个性化指导,帮助优化工作流程和提高安全性能。将人员行为信息融入整体生产流程,更有利于培训和提升技能。

此外,空间计算使得人机协作能够实现个性化。它可以根据人员位置动态调整机器运行参数,实现更高效的协同工作。更重要的是,它还可以不断优化整个生产环境布局,提升工作效率。

随着空间计算技术逐渐成熟。它提供的数字化和智能化解决方案必将给传统制造业带来深远影响,助推智能制造革新和产业升级。通过整合人机环境数据,空间计算可能成为实现智能制造的有力技术手段。

空间计算与数字孪生

数字孪生是采用信息技术对物理实体的进行数字化定义和建模的过程,其核心理念在于通过对“数字孪生体”的仿真、控制、预测,对物理实体实现反哺优化,因此数字孪生有时也会被称为“工业元宇宙”。因此,空间计算技术与数字孪生技术有着天然的联系,他们甚至就像兄弟一样,你中有我,我中有你。

在数字孪生的应用当中,智慧城市是其中的一个最典型、最容易收益的场景。而通过先进的空间计算技术,能够为智慧城市带来更多精细化、

中国工程院院士、国际欧亚科学院院士、自然资源部国家基础地理信息中心教授陈军在数字孪生赋能空间治理”年度学术研讨会上提到,现在数字化治理已经被赋予了新的内容,包括:时空信息的应用、统筹数字化发展以及提升智慧化应用水平等多方面。工业区、自然保护区等区域,数字孪生技术也逐渐渗透加深。城市交通、水务、文体活动等各种领域,都是数字孪生和空间计算的用武之地。

不论是空间计算也好,数字孪生也罢,都是能够为智慧城市的建设提供提质、降本、增效重要技术,随着政策和软硬件能力的不断发展,空间计算&数字孪生技术还会为城市发展带来更多的惊喜。

此外,《数字孪生城市白皮书》为数字孪生城市发展提出了“预防针”:1.防止建设方“大干快上”盲目追求新技术;2.控制数据源集中汇集和处理带来的安全风险;3.建设具有当地特色、适应地方环境的技术赋能;4.建立健全数据融合与技术集成相关标准;5.提升软硬件自主可控水平;6.提升人才储备。

空间计算技术要素

作为元宇宙和数字孪生的重要技术,空间计算主要有以下几类重要的技术要素:

1.三维重建

三维重建技术是指利用二维投影或影像恢复物体三维讯息(形状等)的数学过程和计算机技术。

该技术包含主动方法被动方法两大类。主动方法是给定深度图,通过数值近似方法重建3D轮廓并基于模型构建场景中的对象,例如移动光源、彩色可见光、飞行时间激光到微波或3D 超声波。这些方法使用测距仪以机械方式或辐射测量方式主动干扰重建对象,以便获取足够信息。而被动方法则不干扰重建对象,仅仅采用传感器来测量物体表面反射或发射的辐射亮度,通过图像理解来推断其 3D 结构,往往只需要相机等光学设备。

2.空间感知

空间感知是指获取人、物在空间中状态的能力,包括位置、方向、速度等,且可以建立周围环境的几何和语义模型,是AR导航、AR多人协作及多种空间应用的基础。通常来说,空间感知是通过一系列传感器之间的数据校准进行确认的。

这项技术在自动驾驶当中应用广泛,例如摄像头、毫米波雷达激光雷达等等,此外,空间感知也包括GPS、光通信蓝牙等不同的技术路线。

3.用户感知

在空间计算中,用户感知分为两个重要组成部分。一是对用户表达的信息处理,即设备或系统对用户形象、状态、行为表达等信息的捕捉、分析与理解,二是此基础上进行的认知引导及交互驱动。

用户感知往往聚焦在对于人类面部、姿态以及手势的感知,通过各类信息采集设备理解用户行为并帮助用户进行相应的交互操作。

4.空间数据管理

空间数据(Spatial Data)是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据,用来描述来自现实世界的目标。空间数据管理技术主要包括数据存储管理技术、数据高效检索技术、数据可视化支撑技术及数据安全技术四方面。空间数据管理技术是实现数据资产归口和高效空间计算的重要保障,海量多模空间数据一库统管成为热点方向。

5.通信与云网

随着5G这类低延迟,高带宽通信模式的发展,为越来越多的算力基础设施提供了通信保障。通过云化空间计算技术、算力网络调度、算力分时复用、端边异步渲染技术等技术,能够对空间计算的云网资源调用提供稳定、弹性、安全的底层支持。此外,5G-A的发展,带来的上行超宽带、宽带实时交互、通信感知融合的场景,也为空间计算带来了更加稳健的支撑。

空间计算产业链

对于空间计算产品来说,产业链涉及主要的硬件制造商、服务提供商等,从硬件来看,主要分为芯片、显示、光学、结构件、电池几大部分,整机成本为1509美元,服务主要来自生产和装配。其供应商列表如图所示,以下选取产业链当中较为重要部分具体介绍:

芯片

Vision Pro

苹果Vision Pro搭载的是M2+R1芯片。

据了解,M2芯片为倒装芯片封装台积电加工晶圆、Amkor 的美国封装工厂完成封测;R1芯片是一个专用协处理器,用于处理从各种传感器获得的数据。处理这些传感器数据对于Apple Vision Pro向用户渲染和提供混合现实环境至关重要。R1芯片的具体技术规格目前尚未向公众公布。现有信息显示,该硬件基本上采用台积电现有的5纳米工艺技术制造。

其他设备

Meta quest系列、Pico 4 Pro、HTC XR Elite均采用高通骁龙为XR设备设计的专用芯片。

今年1月,高通推出了第二代骁龙XR2+平台,用于MR和VR头显产品。据报道,这款芯片支持最高90FPS单眼4.3K显示分辨率;支持超12路并行摄像头,延迟12ms。包括三星和谷歌在内的厂商都参与了这款芯片在XR优化上的工作。

显示

关于头显设备的显示技术,目前有较多的选择,而Vision Pro(包括iWatch)选择的Micro-OLED,正以其独特的优势占领XR领域。Micro OLED之所以在OLED前面有个MINI,就是它可以在维持相近分辨率水平的基础上显示面积更小的OLED,这一特性使它拥有了更高的像素密度(PPI),并且具有让显示器更轻薄短小、耗电量更少、自发光、发光效率高等优点,特别适用于AR、VR等显示穿戴式设备。

此外,Fast-LCD、Mini-LED、AMOLED、Micro-LED等也占有相应的份额。供应商来自JDI、Sharp、京东方、LG、三星、天马、Sony、JBD等等…..

光学

主流的头显机型都采用Pancake方案。因其在成像质量和减薄效果好而受到广泛关注和商用,不过Pancake 模组生产难度大、工艺要求高,光学膜在成像中重要性较高,故生产技术的难点集中于膜材料、贴膜工艺和组装精度。

除此之外,依然还有一些更为前沿的光学技术,包括多叠折返式自由曲面、异构微透镜阵列、液晶偏振全息、超表面/超透镜等。只不过这些技术距离商用还很遥远,这些前沿技术为 VR 设备的进化升级提供了更多可能。

装配

尽管我们对苹果在包装盒上面标注“某某组装”较为诟病,立讯精密还是拿下来Vision Pro的组装大单。在包装盒上,现在显示的是Made In China,代表其组装生产都在中国。

系统

对于可穿戴设备来说,轻量适配的操作系统能够让设备体验更加流畅,因此企业都会针对设备进行适配和优化:

苹果 Vision Pro

VisionOS主要基于iOS的核心架构开发,并增加了与延展实境相关的框架以实现注视点渲染和实时互动。它采用3D使用者界面,通过手指追踪、眼动追踪和语音识别由使用者进行操控:例如,使用者可以轻触拇指和食指的指尖来进行选择操作,或轻拂手指使屏幕滚动,或注视检索框并直接开口讲话来输入文字。

Meta Quest3

Quest3 搭载的是基于Android修改的Meta Quest Platform。用于为 Meta Platforms发布的 Meta Quest 系列设备开发应用软件。该平台最初是为Oculus Rift和Oculus Rift S上的嵌入式操作系统开发的,自 2018 年Oculus Go发布以来,该平台在Android 操作系统上运行。当前版本为v62,同样支持类似Vision Pro的空间视频,支持单指捏合手势来打开/隐藏通用菜单或长按手势来使显示屏居中。

Pico

Pico 的操作系统PICO OS同样是基于Android的,pico方面针对ui和系统进行了整体优化,以提供干净流畅的体验。不知道是否受到了字节人员变动的影响,Pico系列设备系统的最新版本为2023年8月发布的5.8.2。

空间计算小史

空间计算这个词来自2003年,麻省理工学院媒体实验室西蒙·格林沃尔德 (Simon Greenwold) 在他的论文中创造了“空间计算”一词,将其定义为:“人类与机器的交互,其中机器保留并操纵真实物体和空间的参照物。”

笔者本以为,空间计算彼时只是一个“将来完成时”的东西时,却被狠狠打脸。

整理资料的时候想起了《兰迪·波许教授的最后一课》(2007年),巧合的是,美国卡内基梅隆大学的计算机科学、人机交互及设计教授兰迪·波许,他的研究的方向正是虚拟现实,甚至在他1991年发布的《Virtual Reality on Five Dollars a Day(享受每天不到5美元的虚拟现实)》论文当中,第一句是这样写的:
利用头显和手套输入的虚拟现实系统越来越受欢迎,只是成本高了点……

从虚拟现实的角度,让空间计算“认祖归宗”,空间计算其实也有三十年的发展历史。

如果再往前数,林克训练机某种程度上也算是虚拟现实技术的落地,并且成功实现了商业化。

1903年出生的林克发明了飞行模拟器,他生产发明的林克训练机,通过“训练用飞机” 提供俯仰、滚转与偏航等模拟飞行动作,帮助飞行员快速领会飞行驾驶技能。二战前夕,美军直接从他那里订购了六台林克训练机用于飞行员训练,训练机的单价,非常巧合地,就是一台VisionPro的价格——3500美元

而更早的虚拟现实和空间计算,就是梦境了,生物记忆的本能让你在梦境当中几乎不会有现实差异的感觉,简直是对现实世界的完美模拟,连芯片都是自适应BPU(Brain Processing Unit)算力。所谓“庄生晓梦迷蝴蝶”这种将自己想象成昆虫的场景,或许还是更高级的场景体验。

过去几年,人工智能 (AI)、摄像头传感器、计算机视觉、物联网 (IoT) 和增强现实 (AR) 等技术取得了巨大进步,使空间计算成为可能。通过这些改进,空间计算不仅成为可能,而且为改进我们的工作方式、分析数据的方式以及优化流程的方式提供了重要的机会。《黑客帝国》(1999)的科幻或许有一天能照进现实,而马斯克应该已经在着手做了。

尽管元宇宙的泡沫已经褪去,但Vision Pro,包括Meta的Quest3、字节的Pico等产品依然给大家接触空间计算提供了不同的选择。未来也会诞生出超越头显设备基于不同类型硬件的技术体验。空间计算将在包括通信和共存、制造、游戏、人力资源、媒体、体育和娱乐以及数据可视化等领域快速发展,在医疗、教育培训等领域也将产生重要的影响。

空间计算的未来

作为元宇宙的重要技术,甚至是未来工业的重要技术,空间计算展示出了极为优异的潜力。无论是通过数字孪生赋能工业物联网、智慧城市或教育、医疗等,空间计算已经开始为融入生活的方方面面,其产品形式也很快会像手机和PC一样,既能作为生产力工具,也是娱乐与生活离不开的好物。

参考内容
Spatial Computing,PTC
《5G空间计算白皮书》,中国电信
《数字孪生城市白皮书》,信通院
空间计算行业深度:相关设备、关键要素、产业链及相关公司深度梳理
Virtual Reality on Five Dollars a Day
MR:Vision Pro上市前夜,空间计算开启iphone时刻?蓝海市场开启,设备投资先行,天风证券
What Leaders Need to Know About Spatial Computing,hbr.org
Spatial Computing Market,market.us

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
ATMEGA328P-PU 1 Microchip Technology Inc IC MCU 8BIT 32KB FLASH 28DIP

ECAD模型

下载ECAD模型
$3.98 查看
DSP56F803BU80E 1 NXP Semiconductors 16-BIT, 80MHz, OTHER DSP, PQFP100

ECAD模型

下载ECAD模型
$13.78 查看
ATMEGA328P-AU 1 Atmel Corporation RISC Microcontroller, 8-Bit, FLASH, AVR RISC CPU, 20MHz, CMOS, PQFP32, 7 X 7 MM, 1 MM HEIGHT, 0.80 MM PITCH, GREEN, PLASTIC, MS-026ABA, TQFP-32

ECAD模型

下载ECAD模型
$2.05 查看

相关推荐

电子产业图谱