云南网站设计平台,网页设计导航栏内容,秀洲住房与建设局网站,滨海县城乡建设局网站击关注 文丨刘雨琦
你可能很难想象#xff0c;在一个没有显示屏也没有鼠标的空间#xff0c;仅凭一副AR眼镜和一台口袋主机#xff0c;就能完成一篇5000字的文章。
没错#xff0c;8月26日#xff0c;在2023 Rokid Jungle 新品发布会现场#xff0c;这样的场景正在真实…击关注 文丨刘雨琦
你可能很难想象在一个没有显示屏也没有鼠标的空间仅凭一副AR眼镜和一台口袋主机就能完成一篇5000字的文章。
没错8月26日在2023 Rokid Jungle 新品发布会现场这样的场景正在真实发生着。会上Rokid 发布了消费级OST光学透视个人空间计算平台 Rokid AR Studio包括Rokid Max Pro售价4999元和Rokid Station Pro售价3999元两大硬件产品 Rokid创始人、CEO祝铭明在发布会上表示“让空间计算能更自然地融入日常生活和工作让Rokid AR Studio成为你的第一台空间计算机。”
这和以往人们对AR眼镜的认知有很大不同。在此之前AR眼镜一直被“锁死”在娱乐场景中靠影视和游戏两大支柱产业生存而Rokid AR Studio 真正成为了个人生产力工具IM软件、写文章、写代码搜索信息等等工作场景都能通过最新的硬件完成。 使用场景的扩展让AR设备从边缘化的场景中转向更为实际的使用价值。消费者愿意买单整个AR产业链才会进入消费级市场正循环。
说自己是个“社恐”的老板祝铭明是个十足的产品和技术控他在内部曾毙掉两版产品设计初稿差点把产品部“逼疯”。可当最后产品部偷偷拿出设计好的产品时祝铭明立刻下令资源都倾斜到这个产品上。“我只关心一个数据就是用户使用时长。目前我们的真实用户使用时长已经接近一个半小时周留存率超过20%。做到这个用户会自然增长。”
用户数积累达到百万级别也意味着AR行业进入了软件系统和生态建设的第二阶段。近年来已经有越来越多的系统厂商、应用软件厂商、内容厂商加入到AR生态建设中来。
“一群疯子一个梦想十年光阴。”
正如祝铭明所言从娱乐场景到生产力工具Rokid用了10年这背后不只是思考的跃进更是从硬件技术到软件技术乃至整个产业链向前迈的一大步。苹果和Rokid开启了AR竞赛第二阶段行业比拼也正在加速。
01 单目SLAM怎么重新定义交互
在整场发布会中最令人意外的不是Rokid Max Pro 76g的机身而是只有一颗摄像头竟然能完成SLAM空间定位技术、微手势交互、第一视角分享、视觉定位VPS能力等多种融合型的交互方式。 AR/VR设备在经历了物理交互手柄、语音交互、手势交互后正在往眼球追踪和现在的多感知融合交互方案发展。
但多感知融合的交互对于硬件的要求更高除了要满足基本的需求更要全方位、多角度的捕捉到用户动作、手势才能精准地完成交互。
而用单颗摄像头完成SLAM交互有多难呢
视觉SLAM方法包含两个模块一个是Tracking已知3D点位置基础定位一个是Mapping更新3D点的位置。而无论是哪个环节哪种方法单目意味着只能选择一种摄像头以及固定位置和固定角度对于识别的范围、追踪速度和精度都存在极大的挑战。
“业界都认为单目SLAM不可置信、很难做到”祝铭明戏称“这可能也是对Rokid的一种肯定吧”。
目前市场上为数不多的具备空间交互的AR眼镜至少会搭载三颗摄像头来承担算法功能。视觉路线的不同也形成了以苹果为代表的VST视频透视和以Rokid为代表的OST光学透视两大阵营。
仍以苹果Vision Pro为例其用12颗摄像头“堆”出了快速定位捕捉、高精度的全景感知以及精密追踪并通过VST的方式将外部的世界通过摄像头显示在终端屏幕上通过摄像头的实时拍摄来看到外部世界。
但为了交互而堆硬件的方法成本提高的同时价格也在翻番上涨同时导致了机体重以及难量产两大落地难题。这也就是为什么苹果Vision Pro定价3499美元并要在2024年才能实现量产的根本原因。
而Rokid坚持的OST方案本身便存在着一定的技术壁垒由于管路设计复杂且显示画面视角有限光学零部件成本造价较高在价格不进行较大涨幅的情况下Rokid只能通过技术突破的方式来降低叠加成本。
而让行业认为“不可置信”的单目SLAM是如何做到的会后光锥智能与祝铭明进行了深度的交流发现Rokid的“绝招”在于用AI算法来突破硬件的壁垒。
祝铭明介绍到单目SLAM技术虽然早就存在但还从没有被应用在AR眼镜中手机的前置摄像头也同样应用了此类技术唯一不同的是算法。
从AI到AR这是一条看似跨越但实际上本质融通的道路但也正是因为Rokid此前数年在AI领域的积累通过多维度视觉算法模型包括视觉定位与增强、数字人技术、2D/3D手势识别、OCR识别等技术让AI在具体的场景中落地。
比如AR视觉定位与增强功能就是在解决和突破单目的限制通过构建厘米级的视觉地图将虚拟信息在真实物体世界进行精准叠加融合实现物体和场景的高精度三维重建。
Rokid副总裁、XR中心负责人王俊杰介绍道“空间定位基于SLAM技术然后才能在空间中进行稳定的自然交互。1~2秒的时间通过算法快速初始化建立映射空间。”
而市场上大多数设备还是采用双目的方案来解决但双目融合也存在很多问题除了成本多增加了一个摄像头之外还需要不断用算法来实时拟合两个摄像头的数据从而带来更多的复杂问题。
由此看来如果单目方案能够顺利进行Rokid就又率先踩准了一个技术趋势。此前Rokid也是行业首创Station 主机的厂商眼镜和主机分离的方案已经被证明是行业体验的最优解。
另外在手势识别中Rokid采用了微手势的交互方式手指一捏即可进行点击和选中手势左右拨动还可对正在浏览的界面或内容进行切换。简单的捏合和滑动手势等逻辑定义比较自然上手较快。 通过我们的现场测试结果来看目前Rokid可以实现双手的裸手空间交互目前Rokid手势识别的算法支持水平/空间轴转、明/暗光等复杂场景识别同时可识别的手势类型丰富、算法精准整体识别率约90%以上并拥有毫秒级识别的响应能力及99%的可靠性保障。
Rokid表示基于深度学习算法和大量实验数据单目3D手势算法能在移动端实时重建手部姿态参数包括手部6DoF、手部关节点6DoF以及Hand Mesh信息为AR的手势交互提供良好的算法基础。
目前Rokid的手势识别在3D空间中可实现多种操作包括点、捏、抓、握、拖、拉等等完全可以满足AR交互应用需求。例如戴上Rokid Max Pro伸出手在眼前张开手掌即可呼出菜单。
毕竟想要支持如此复杂的算法结构背后的功臣不只摄像头更与“大脑”也就是Rokid Station Pro的算力和性能息息相关。
02 口袋里的空间计算机
一直以来整个VR/AR行业都存在着“算力、舒适度、价格”的不可能三角。算力更高的设备往往更重价格也更贵舒适度高的轻量级设备又无法满足使用需求。
从现实的情况来看目前并没有一种“完美”的解决方案主流厂商们试图在二者中找平衡当下市场上存在着两类主流的解决方案一种是以苹果为代表的显示计算一体电池外接的方案另一种则是以Rokid为代表的显示计算分体设计。
苹果一体化的设计将两块micro-OLED屏幕、多个摄像头和传感器、扬声器等元件集成在一起在显示效果、计算等方面效率更高但同时也会增加机体本身重量导致只能将电池外接。
而Rokid坚持的分体式设计将佩戴性拉到了极致对比Vision Pro 454g重量76g的眼镜重量几乎和普通眼镜没有差别同时主机算力也可以不那么受空间资源限制同时一定程度上避免散热带来的不适问题。 总的来说分体式的路线可以做到眼镜的轻便和主机算力的双向极致发展同时也更加灵活算力的迭代和眼镜的技术路线可以异步进行。
Rokid Station Pro就是在分体式设计的基础上进行了更高的算力升级打造集计算、成像、通信等功能为一体的All in One终端也是真正可以被称之为“生产力工具”的超级终端。
据光锥智能了解到Rokid Station Pro 搭载了高通骁龙XR2、12G RAM 128G ROM, 支持WIFI6/6E和BT5.1Station Pro续航能力将是手机方案的2倍以上同时具有更佳的散热和更高性能可以达到厘米级6DoF跟踪精度和极低MTPMotion to Photon渲染延迟。
公开信息显示骁龙XR2是高通推出最新旗舰的XR平台能够实现50%的续航能力和30%的散热性能提升从而支持更小更轻薄的设备外形中赋能更丰富和沉浸式的体验。同时骁龙 XR2 平台引入全新图像处理管线能够实现低于 10 毫秒的时延开启全彩视频透视 MR 体验。
从光锥智能在现场的体验来看无论是观影、游戏过程中还是调用键盘进行工作生产流程尤其是在游戏的高频交互和打斗下画面的流畅度和反应速度都十分丝滑。
值得一提的是目前市场上核心算法还是3DoF三自由度追踪是指该设备能够检测到向上、前、下三个方向的转动但不能检测到头部的前后左右的空间位移。
而升级后的Station Pro采用的6DoF算法除了能检测到头部的转动带来的视野角度变化外还能够检测到由于身体移动带来的“上下前后左右”6种位移的变化。
这个算法的升级更重要的在于玩家的自由度。举个例子3DoF算法下的打僵尸射程范围在前方的一定角度而升级后僵尸从360度出现一回头身后僵尸扑面的体感是前者无法达到的。 也就是说不只算力更高、体验更丝滑、算力空间的拓展也带来了体感上的巨大不同。
高通技术公司XR产品管理高级总监Said Bakadir表示“第一代骁龙XR2平台是赋能下一代XR体验的不二之选。高通技术公司为Rokid Station Pro提供业界领先的平台支持其打造了自身独特的AR应用生态系统。”
03 做AR行业中的iOS
当然苹果手机之所以能在手机市场上常年称王称霸成功的原因并不只于它的硬件更在于它的系统和生态。通过软件系统来培养用户使用习惯所筑下的壁垒往往要比硬件本身更牢固。
这是Rokid自研AR空间操作系统——YodaOS-Master的部分原因但却不是全部的原因。
今年三月Rokid Open Day上Rokid正式推出了YodaOS-Master并发布了“AR空间创作平台灵境”让每个人都能在3D空间内创作AR内容人人可参与彻底打破AR创作的门槛让生态势能爆发。
如果说单目SLAM、3D手势识别、骁龙XR、灵境平台都是一把把利刃那YodaOS-Master通过一套自研的系统才能将这些绝招释放。
简单来说Rokid 是在走一条没有人走过的路而Rokid的理念是“软件定义一切”所有的软件都需要系统进行承载和提供才能发挥出价值。
围绕感知、理解、交互、展现、协同和数字创作五个方面YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级或是目前最为完整的一套面向AR时代的空间操作系统。 发布会现场Rokid也展示了自研系统带来的开放性和便捷性。举几个明显的例子基于自研系统和骁龙XR平台Rokid开发了多任务并行模式打破了之前只能单任务的掣肘实现一边聊钉钉、一边写代码、一边看文档的场景能够同时实现并充分的发挥了空间大屏的优势让生产效率提升到最大。
另一个极为创新的案例是Rokid基于自研系统重新定义了空间搜索。祝铭明介绍道这打破了此前搜索信息的陈列方式搜索结果的呈现不再是二维的平面的效果而是存在在三维空间中。“与问题最相关的结果会离你最近有点相关的结果在二级页面离的越远越不相关当然你也可以划掉前面的结果动态挑选你想要的结果”。 如此未来感瞬间拉满也展示出了与第一阶段AR设备的本质不同。
可以看到 AR行业开放生态已经开始进入第二阶段苹果和Rokid不仅在硬件方向上一个向左一个向右在行业系统软件、生态发展上也是如此。通过硬件、算法、软件生态、开发者和用户与平台共创AR在一个彻底开放的生态下会更快速的迈向高速发展的第二阶段。
Rokid系统研发总工程师石文峰表示“YodaOS-Master操作系统通过服务化的方式将 Rokid语音识别、手势识别、SLAM等在内的多项核心技术集成为系统服务并提供多种client SDK供开发者高效开发比如SDK for Unity可以让Unity开发者(开发者申请通道开放平台网址(ar.rokid.com))能够快速使用Rokid核心技术进行开发”。 从硬件到软件从系统到生态Rokid的发展路径颇有点当年乔布斯时代苹果的意味。
“AR 行业就在黎明前”祝铭明说道。
#rokid##AR#
欢迎关注光锥智能获取更多科技前沿知识
