做视频点播网站需要服务器存储吗,WordPress发图册,河南网站推广优化排名,网站后台seo设置如果说 OpenAI 的 ChatGPT 拉开了「百模大战」的序幕#xff0c;那 Meta 的 Ray-Ban Meta 智能眼镜无疑是触发「百镜大战」的导火索。自去年 9 月在 Meta Connect 2023 开发者大会上首次亮相#xff0c;短短数月#xff0c;Ray-Ban Meta 就突破百万销量#xff0c;不仅让马…如果说 OpenAI 的 ChatGPT 拉开了「百模大战」的序幕那 Meta 的 Ray-Ban Meta 智能眼镜无疑是触发「百镜大战」的导火索。自去年 9 月在 Meta Connect 2023 开发者大会上首次亮相短短数月Ray-Ban Meta 就突破百万销量不仅让马克·扎克伯格直呼 Amazing更促使了谷歌、三星、字节跳动等国内外大厂的纷纷入局
时隔一年Meta 再次在 Connect 开发者大会上推出了智能眼镜新产品 Orion这是该公司推出的首款全息 AR 眼镜扎克伯格称其为世界上最先进的眼镜将会改变未来人与世界的交互方式。
此外按照惯例Meta 通常会在 Connect 大会推出 Quest 头显新产品今年亦是如此。鉴于去年发布的 Meta Quest 3 被用户们普遍反映价格过高今年 Meta 推出了一款性能与 Quest 3 相近但价格更亲民的新头显 Quest 3S这款头显被认为是当前市场上最佳的混合现实设备可以提供极佳的超现实体验。
当然作为 Meta 旗下备受瞩目的核心技术之一Llama 模型也在此次发布会上迎来了重大更新。多模态 Llama 3.2 能够同时理解图像和文本手机也能跑大模型为其开源生态再添助益。
Meta 的 AR 梦想成真Orion 眼镜开启全新交互时代
今年 4 月为庆祝 Reality Labs 成立 10 周年Meta 曾发布一篇文章概述该部门的发展历史并在文中预告了其下一个核心产品——首款 AR 眼镜。Meta 表示Quest 3 能够让用户在物理世界中与数字内容沉浸式互动Ray-Ban Meta 眼镜让用户享受到 Meta AI 的实用性和娱乐性而新款 AR 眼镜则会结合这两者的优点实现最佳的技术融合。
随着 Meta Connect 2024 的临近市场上越来越多的声音推测这款 AR 眼镜将会在本次大会中发布。不出所望今天Meta 发布了其首款 AR 眼镜 Orion。 扎克伯格表示Orion 致力于改变人与世界的交互方式是有史以来最先进的 AR 眼镜历经 10 年研发而成。它拥有最先进的 AR 显示屏、定制的硅芯片、碳化硅镜片、复杂的光波导 (waveguides)、uLED 投影仪等多种技术加持让强大的 AR 体验能够在一副眼镜上运行而所消耗的电力和重量仅为 MR 头显的一小部分。 简单来说这种 AR 眼镜采用一种全新的显示架构利用微型投影仪将光线投射到波导中再将不同深度和大小的全息图投射到用户面前的世界并由一块装在眼镜腿里的电池供电。例如用户如果想与远方的朋友相聚他们将以全息图的形式出现在客厅就像真的在身旁一样。
值得一提的是Orion 在镜框边缘嵌入了 7 个微型摄像头和传感器并结合语音、眼动和手势追踪配备 EMG 腕带用户可以轻松地进行滑动、点击和滚动操作。例如如果晨跑时想拍照只需轻轻一按指尖Orion 就能定格精彩瞬间。此外只需轻敲手指还能召唤纸牌游戏、国际象棋或全息乒乓球等娱乐活动。
英伟达创始人兼 CEO 黄仁勋都迫不及待试用啦 最佳混合现实设备 Quest 3S性价超高
继去年 Meta 在 Connect 大会上发布全球首款混合现实头显 Meta Quest 3 之后Meta 今年推出了 Quest 3 的精简版本——Quest 3S。 扎克伯格表示「Quest 3S 不仅性价比高而且是目前市面上能买到的最佳混合现实设备」它具备与 Quest 3 相似的核心功能即高分辨率全彩混合现实用户可以在物理世界和虚拟世界中「无缝穿越」能够进行娱乐、健身、游戏、社交体验等一系列活动。不同的是Quest 3S 改进了镜片并在技术栈、有效分辨率和延迟等方面做了优化其混合现实手部追踪软件表现更为出色。
混合现实的神奇之处在于它将写实的空间带入元宇宙让用户有一种身临其境的感觉并在不同的体验间自由切换。比如用户可以选择影院模式把屏幕放大成一个电影院获得最佳的剧场观看体验。
在现场演示中扎克伯格展示了从 2D 移动应用到远程桌面的 PC 的沉浸式体验用户可以打开屏幕并将其放置在任何位置形成一个巨大的虚拟显示器并进行工作。他提到Meta 一直在与微软合作升级远程桌面功能不久之后这种功能或许就可以连接到 Windows 11 电脑上。
值得一提的是Meta Quest 3S 以难以置信的价格提供超现实的体验起价仅为 299.99 美元将在 10 月 15 日上市。今年秋天购买 Quest 3S 的用户还将获赠《Batman: Arkham Shadow》游戏的 VR 体验。
首个支持视觉任务的 Llama 模型多模态且开源
除了重磅的硬件发布外小扎还带来了 Llama 的更新推出 Llama 3.2 模型。作为第一个支持视觉任务的 Llama 模型Llama 3.2 能够同时理解图像和文本。其中包含适用于边缘和移动设备的中小型视觉模型 (11B 和 90B) 以及轻量级纯文本模型 (1B 和 3B这两个类别均包括预训练版和指令微调版。值得一提的是这些不同规格的模型均可通过 Meta AI 进行试用。 模型性能评估
研究人员在超过 150 个跨语言的基准数据集评估模型性能。结果显示Llama 3.2 1B 和 3B 模型支持 128K tokens 的上下文长度在遵循指令、总结、提示改写和工具使用等任务上3B 模型优于 Gemma 2 2.6B 和 Phi 3.5-mini 模型而 1B 模型则能够与 Gemma 模型一争高下。 此外研究人员评估了模型在图像理解和视觉推理基准的性能。结果显示Llama 3.2 11B 和 90B 视觉模型可以无缝替代相应的文本模型同时在图像理解任务上超越了诸如 Claude 3 Haiku 之类的闭源模型。 轻量级模型训练 对于 Llama 3.2 1B 和 3B 模型研究人员采用剪枝和蒸馏两种方法从 8B/70B 模型中提炼出高效的 1B/3B 模型。
具体而言研究人员将 Llama 3.1 的 8B 和 70B 模型的 Logit Date 纳入预训练阶段使用这些较大模型的输出 (logit date) 作为 token 级别的目标进行结构化剪枝。剪枝完成后研究人员利用知识蒸馏来恢复模型的性能。 视觉模型训练 Llama 3.2 的训练流程分为多个阶段。首先从预训练的 Llama 3.1 文本模型开始。接着研究人员添加图像适配器和编码器并在大规模的噪声图像、文本配对数据上进行预训练。然后在中等规模的高质量域内和知识增强的图像、文本配对数据上进行训练。
在后期训练中研究人员采用与文本模型相似的方法通过多轮对齐来进行监督微调、拒绝采样和直接偏好优化。研究人员使用 Llama 3.1 模型生成合成数据对域内图像的问题和答案进行过滤和增强并使用奖励模型对所有候选答案进行排序从而确保高质量的微调数据。
此外研究人员还引入了安全缓解数据以打造一个兼具高度安全性和实用性的模型。最终能够同时理解图像和文本的 Llama 3.2 模型诞生标志着 Llama 模型在通向更丰富代理能力的道路上又迈出了重要的一步。 本地部署模型及时且安全 研究人员指出本地运行 Llama 3.2 模型有两大优势。首先在响应速度上由于处理全部在本地完成提示和响应的速度可以达到接近即时的效果。
其次在隐私安全上本地运行模型无需将消息和日历等数据发送到云端保障了用户隐私使应用程序更加私密。通过本地处理应用程序可以明确控制哪些查询留在设备上哪些查询需要交由云端更大的模型来处理。 坚守开源初心模型部署更加简化和高效
Meta 始终坚守开源初心为了大幅简化开发者在不同环境包括单节点、内部部署、云端和设备中使用 Llama 模型的流程实现检索增强生成 (RAG) 和工具支持型应用的一键部署并集成安全功能Meta 宣布将分享首批官方 Llama Stack 发行版。 据官方介绍Llama 3.2 模型将在 llama.com 和 Hugging Face 上提供下载并将在包括 AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud、Snowflake 等在内的合作伙伴平台上提供即时开发支持。
作为一贯的开源倡导者扎克伯格曾在与黄仁勋的对谈中介绍道「Meta 从开源生态中获益已节省数十亿美元」。而 Llama 无疑是其打造开源生态的重要触手Llama 3.2 进一步向视觉任务拓展实现多模态也势必将为其开源生态再添助益。
