乔布斯的皮克斯，狂赞中国物理AI数据终端

贾浩楠 发自 凹非寺

量子位 | 公众号 QbitAI

这可能是中国智能汽车玩家里，最天马行空的一次“转身”：

这盏小台灯闻名世界，它是《玩具总动员》背后的好莱坞特效公司皮克斯的标志，过去30届奥斯卡最佳视效大奖中，24部影片都在用皮克斯的特效技术。

当然，皮克斯也因为它的创始人而闻名——史蒂夫·乔布斯，这是他在1985年被苹果公司“扫地出门”后的创业项目。

前不久，皮克斯官方上架了最新的3D渲染教程：

教创作者如何使用皮克斯官方工具处理真实世界的3D高斯泼溅数据，说明中，皮克斯特意感谢了一家中国公司提供的3D场景扫描方案Kosmo。

而这家公司，竟然就是智能汽车赛道绕不过去的名字：禾赛科技——车载激光雷达“一哥”，智能车“安全带”强力推动普及者。

这这这，一边是传统、硬核、轰隆作响的大车企，一方面是轻松、酷炫、喧嚣热闹的好莱坞娱乐业，禾赛这业务布局，也太天马行空了吧？

激光雷达公司禾赛，怎么打进好莱坞的？

RenderMan是皮克斯的核心渲染技术，算法历史比皮克斯这家公司还要早，史蒂夫・乔布斯当年就是看到了计算机图形学作为一种艺术形式的潜力，并投下重注。

发展到今天，GPU加速的XPU架构已经落地，对3D高斯泼溅（3DGS）这一全新三维数据格式的支持也已加入RenderMan，而帮助RenderMan“捕捉”真实世界的，就是禾赛的Kosmo：

皮克斯是这么描述Kosmo的价值的：

影视特效需要在像素层面完成编辑工作，数据和信息越丰富，能做的调整就越细腻。而Kosmo可以让建模师走进任何一个地方，捕捉它的每一个空间元素、精准几何结构和真实光照。

就比如，皮克斯总部Steve Jobs大楼前的台灯（Pixar Lamp）和小球（Pixar Ball），用Kosmo捕捉空间只需10-20分钟，得到的高质量3DGS数据通过USD格式直接进入工作环境：

接下来，皮克斯工程师就可以在直接输出的模型空间里，移动、缩放、调整透明度、绘画风格化……让整座广场变成一幅笔触流动的画：

真实→3DGS→渲染，禾赛给出的数据是，一般100平米左右的空间，手持Kosmo采集大概需要15-20min的时间：

△ 操作超简单，扫描完成的空间物体在显示屏上没有网格覆盖，剩下有覆盖部分是待扫描的

所以对于影视娱乐行业，Kosmo第一个价值就是快速提取真实景物环境信息，且100%真实还原。

多说一句，现象级国产3A大作《黑神话·悟空》，制作方游戏科学当年就是拿着禾赛的激光雷达去采集各种古建筑模型的，而这也是Kosmo诞生的驱动因素之一。

快速建模还只是其一，Kosmo更被认可的，是直接输出3D高斯泼溅格式的能力，采集完的数据不需要再经过任何复杂处理，可以直接用各种AI的、人工的工具编辑调试。

所以，Kosmo的本质其实是真实的3维世界数据引擎，多种不同传感器高度集成、标定完善，到手即用，直接输出可供模型训练、可以操控编辑、空间关系/色彩形状都不失真的3维数字模型。

所以，打进好莱坞影视行业，本质上只是禾赛攀登物理AI珠峰过程中，沿途下的一个“蛋”。

Kosmo的更“初心”的落地场景，是作为具身智能、物理AI底层模型最重要的数据渠道入口。

真实空间环境的材质、物体棱角、色彩，都做到了电影级还原：

甚至墙上的挂画也能无损复现，色块文字、位置关系毫无偏差：

手持设备之外，Kosmo背后的云端模型，可以直接进行3D语义分割，把一个场景中的各个元素拆分出来：

为什么要这样做呢？答案是：

Kosmo建模完成的数据资产，可以直接拿来构建机器人的训练任务——这实际上就是世界模型追求的目标，不同之处在于，Kosmo数据来自真实世界，物理定律、因果更加精准，并且对于模型的行为，更容易解释归因。

除了目标物体、材质颜色，Kosmo本身还提供空间关系这个更关键的要素：

机器人从感知到认知，主动规划路线、策略，空间关系是必不可少的决策因素和模型训练数据。

而这样“前装量产”、“前融合”的数据入口，整个具身智能、物理AI赛道之前是不存在的。

具身玩家，包括其他有测绘采集需求的团队，其实都有强需求，并且需要的远远不止激光雷达数据。

只不过长期以来，大家的玩法是各自采购不同传感器元件，自己手搓一套数据采集设备——非标、可靠性低、昂贵、没法迭代。

但这所有的痛点，都是禾赛这个激光雷达“一哥”的舒适区：精密光电设备、车规标准，工程量产。

所以Kosmo上当然集成了激光雷达，但远不止禾赛车载激光雷达业务的延伸，也不是为了卖更多激光雷达的炫技（激光雷达“一哥”年出货数百万台，早已经被广泛认可），而是在解决具身智能、物理AI领域一个困扰所有人的“重复造轮子”难题——

行业第一个“即开即扫、即扫即用”的专用数据终端。

禾赛的Kosmo有什么不一样？

Kosmo的组成分两端，用户手里的Kosmo One是采集端，云端的Kosmo World是重建端。

Kosmo One内部有四类传感器：定制激光雷达、最高8K分辨率的超高清影像系统、一英寸大底CMOS、高精度IMU。

这四类传感器输出的信号，天生就不一样：点云是一堆稀疏的三维坐标，图像是二维像素阵列，IMU是高频时序数据等等。

所谓前融合，意思是在这些信号进入任何重建算法之前，先在硬件层面把它们对齐。

分两个维度——时间上，Kosmo做到微秒级同步采集，四类传感器共享同一个时钟源和触发机制，每一帧数据在时间戳上严格绑定。

空间上，激光雷达和摄像头之间的外参标定，决定了点云中每个三维点能不能准确投影到对应图像的像素上。

Kosmo One把三者集成在同一台设备，外参出厂时标定好，使用过程中由IMU辅助维持。激光雷达测出的深度可以直接和图像像素逐点对应，不需要在软件端靠特征匹配去猜传感器之间的相对位置。

前融合的输出，是一组时空对齐的多模态数据帧。

每一帧里，激光雷达点云、图像RGB像素、IMU位姿轨迹绑在同一个时间戳下，共同描述设备在那一刻对空间的一次完整观测。

设备级前融合，其实和禾赛在毕加索SPAD-SoC上做的像素级前融合同源，也就是SPAD像素上方集成RGB滤光片，单像素同时完成光子计数和 ToF计时，直接输出时空对齐的彩色点云。

Kosmo One就是把类似思路从芯片扩展到了多传感器系统。

之后，多模态帧上传到云端，进入Kosmo Spatial Core，简称KSC，转化成3D高斯泼溅表示。

3DGS是2023年SIGGRAPH上提出的一种三维场景表示方法。它用一堆三维高斯分布来搭场景，每个高斯有自己的位置、形状、透明度和随视角变化的颜色。

训练时，从相机标定产生的稀疏点云出发，通过渲染图像和真实图像的差异来调整这些高斯，最后得到一团能实时渲染出照片级画面的三维点。

但原始3DGS有个短板：它只靠图像，单目图像没法确定场景的真实尺度，白墙、玻璃这类没什么纹理的地方容易算歪，高斯的空间分布也缺乏物理约束。

学术界过去两年在集中解决这个问题，方向就是把激光雷达的绝对深度塞进3DGS的初始化和优化里。

再对应回Kosmo，整个流程就变成这样：

Kosmo One完成微秒级同步采集，ISP做多视角色彩一致性处理，数据上传KSC。

KSC再用激光雷达点云初始化高斯位置，用深度作为几何约束参与优化，RGB信息通过可微光栅化的光度损失注入高斯的颜色参数。

三路信号在同一个优化框架里协同，最终输出位置、形状、颜色同时收敛的3DGS表示。

同时，KSC还在此基础上同步导出mesh和depth两种同源数据，空间坐标系统一，不需要跨格式配准。

最终一次重建同步输出3DGS、mesh、depth三种可直接用于机器人训练的数据形态。

最后KSC还搭载AIGC补全能力，对未扫描到的盲区做自动补全和材质识别，并通过AI语义分割把场景内物体独立识别和标注，使静态三维模型可以直接转化为AI可训练的结构化数据。

顶尖智能汽车玩家，不可能停留在智能汽车

Kosmo的特性，实际上已经远远超越智能汽车，甚至是具身智能应用场景。

影视、游戏、测绘、机器人，甚至房地产，也需要Kosmo的能力——VR看房。

△ 皮克斯创意负责人Dylan 和禾赛 CEO 李一帆

一句话：如果数据是“石油”，那Kosmo其实就是采油+炼油基础设施全流程整合，让各位“车主”（AI模型、应用层、数据需求方）加油即走开箱即用。

这是应用的广度，而在“深度”上，禾赛在Kosmo上注入了更深刻的思考。

从自动驾驶到具身智能，数据仿真和实采的对垒争论一直没听过，而今年世界模型概念流行起来以后，这门“显学”感觉要被终结了：

既有世界模型，又何必花大力气搞真实数据采集？

从这个逻辑看，Kosmo似乎是“逆AI浪潮”的。

但GPT-6 Astra和Kosmo复原场景数据的对比，其实已经说明了问题：

至少现阶段的“世界模型”，是没办法回答这样一个问题的：

AI越强，代表世界模型/机器人能推理、能解决的问题越多，也就是物理AI终端解锁的场景越多，但同时也意味着对泛化的要求越高。

那不就更需要真实世界的新鲜数据作为基础吗？

Kosmo这类空间数据采集产品，可能会长期存在。

也就是说，Kosmo不是在AI变强后被替代，而是AI越强，它越有用——“顺AI”。

回到质疑，Kosmo本身就是世界模型的kick start；

至于世界模型的本质争论，AI到底是在“猜世界”，还是真实理解世界？学界产业界争论不休，但禾赛通过Kosmo挑明了一个更底层、但传统大模型玩家一直回避忽视的问题：

模型，尤其是在训练阶段数据来源如果能对齐真实物理世界，很多问题是不是可以迎刃而解？很多争论是不是也没有必要？

至少，明确了模型的能力来源和解释归因链条，再去讨论世界模型本质问题，才不算是“镜花水月”。

禾赛这个从车圈走出来的激光雷达供应商，的确应该被充分重估了。

首先在智能汽车赛道锻炼出的精密设备制造、芯片设计、工程量产等等能力，成了物理AI时代的能力基础——除了Kosmo，还有自研的机器人驱动模组，小、大力、可靠：

禾赛的角色也从单纯服务车企的激光雷达供应商，变成了物理AI基础设施供应商，就比如Kosmo的主要营收，可能不是硬件售卖，而是卖Kosmo大脑生产数据资产消耗的token。

其次，禾赛创始团队，现在不仅仅只有禾赛这一家“基础设施”公司，还有机器人全栈公司Sharpa：

Sharpa从真实落地场景中发现问题，反馈需求，禾赛不断迭代升级，拿出更好方案提供给整个具身智能赛道，当然也从Sharpa直接营收——自己的小闭环，推动行业的大闭环。

最后，禾赛早已经突破单纯的硬件公司范围。

Kosmo本身就是硬件和模型的综合方案，但模型背后有一个较少被关注的东西：数据资产平台，用户扫描的数据、禾赛官方自己的测试数据等等，都可以在这上面开源：

CEO李一帆不经意“暴露”野心：禾赛特意把Kosmo做得有“苹果感”——顶尖的硬件研发设计制造，去支撑覆盖全行业的平台生态。

物理AI越往前走，对真实世界新鲜数据的需求只会更大。

禾赛从车圈杀出，已经站到了物理AI数据入口的位置。

接下来，它要证明的是这条从传感器到数据资产的路径，能跑出多宽、多深的商业版图。

可以肯定，顶尖智能汽车玩家的终局，不会停在智能汽车。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

🌟 点亮星标 🌟

科技前沿进展每日见