品牌网站建设内容框架,网站如何在百度上搜索到,设计素材图库,山东新闻联播科技云报道原创。
在大模型的高调火热之下#xff0c;向量数据库也获得了前所未有的关注。
近两个月内#xff0c;向量数据库迎来融资潮#xff0c;Qdrant、Chroma、Weaviate先后获得融资#xff0c;Pinecone宣布1亿美元B轮融资#xff0c;估值达到7.5亿美元。
东北证券…科技云报道原创。
在大模型的高调火热之下向量数据库也获得了前所未有的关注。
近两个月内向量数据库迎来融资潮Qdrant、Chroma、Weaviate先后获得融资Pinecone宣布1亿美元B轮融资估值达到7.5亿美元。
东北证券预测到2030年全球向量数据库市场规模有望达到500亿美元国内向量数据库市场规模有望超600亿人民币。
但是在这蒸蒸日上的发展态势下向量数据库依然面临着不可忽视的挑战。
有声音认为不必专门开发一款纯粹的向量数据库而是可以在现有数据库的基础上添加一些层赋予其向量检索的能力。更有业内人士认为现在入局向量数据库可能并非合适的时机。
那么向量数据库是否算得上AI时代的标配其热度能维持到几时此时押注后续又要挤出多少泡沫 向量数据库 大模型的“海马体”
与传统数据库不同向量数据库不依赖于结构化格式而是将数据作为数学向量存储在高维空间中并对其进行索引。
这种方法被称为“向量化”可以更有效地搜索相似性并更好地处理复杂的数据类型图像、音视频、自然语言。
某种程度上向量数据库代表了数据存储和检索的范式转变。随着大模型的兴起向量数据库的优势得以充分发挥甚至有人将其视为AIGC成功的基石。
一种通俗的比方是行业内将大模型称为“大脑”向量数据库则是其“海马体”。
目前的大模型都是预训练模型对于训练截止日之后发生的事情一无所知第一是没有实时的数据第二是缺乏私域数据或者企业数据。
向量数据库可以通过存储最新信息或者企业数据有效弥补了这些不足让大模型突破在时间和空间上的限制加速大模型落地行业场景。
同时通过向量数据的本地存储还能够协助解决目前企业界最担忧的大模型泄露隐私的问题。
不过值得一提的是向量技术并不新鲜早在ChatGPT横空出世之前向量数据库非常小众。前文提到的两家初创公司Pinecone和Weaviate都成立于2019年但此前无论是融资还是营收都是乏善可陈的状态。
Pinecone联合创始人兼首席执行官Edo Liberty曾坦率地提到如果没有ChatGPT的出现我们根本不可能获得巨额融资。
软件服务初创公司Heltar的创始人Avyukt Aggarwal也谈到AIGC的爆火成就了向量数据库。
“每次淘金热都会有人卖铲子。对于生成式AI铲子是什么向量数据库。几乎每一个LLM支持的应用程序都在使用它们或即将使用它们。”
向量数据库 有必要走向专业化吗
向量数据库系统的诞生来源于具体业务需求——想要高效处理海量的向量数据就需要更细分、更专业的数据基础设施为向量构建专门的数据库处理系统。
但这种路径是必须的吗
从产品层面讲如果传统数据库厂商不单独研发向量数据库那么基本上会主张支持原生的向量词嵌入和向量搜索引擎。
向量数据库市场的阵营在ChatGPT影响之前就已经在形成分化既包括提供开源组件的Milvus、Vald、Weaviate、Qdrant、Vaspa、Vearch、AquilaDB、Marqo到商业化服务产品Pinecone再到大厂谷歌推出的Vertex AI匹配引擎数据库厂商Elastic和Redis基于自身提供的向量检索功能等等。
这其实也表明了当前向量数据库市场存在的两种路线
一个是基于分析数据库的向量化执行引擎英文是Vectorization这是学术界2013年提出的名词如Clickhouse、Spark引擎是一种新型的执行方式用于处理传统的结构化数据如表单等更多的是结构化数据分析数据里面做并行执行的一种方式在新型的处理芯片上进行处理。
另一个则是推出向量数据库Vector Database本质上处理的是AI领域的一类新型数据类型例如对多模数据的处理相比其他的向量检索技术在检索速度和精准性上都有了一个很高的提升。
后者的做法也基本在几家主流云厂商如亚马逊云、阿里云上能够看到而这些云平台应用市场也会提供给这些第三方向量数据库企业进行托管。
例如阿里云开发的内存数据库Tair在兼容Redis生态的同时也具备向量检索能力实现缓存向量二合一已经投入在电商等场景。
有业内人士认为对于简单的用户和场景来说在传统数据库上添加一个向量分层来满足技术发展需求这种方法是可行的。
然而考虑到 AI 场景和产业需求情况可能有所不同。AI领域的迭代非常快随着数据量和应用场景的增加传统数据库可能不再适用于高要求的计算密集型场景向量数据库可能才是最终的解决方案。
押注向量数据库 挑战颇多
作为今年以来的热门技术赛道向量数据库已吸引了大量厂商和创业团队入场先发者与后来者老牌厂商与新生力量之间的竞争正在持续升温。
但值得注意的是向量数据库真的值得厂商全力投入吗
在《为什么你不应该投资向量数据库》一文中吴英骏表示现在入局向量数据库可能并非合适的时机。其理由主要集中于以下几点
其一先发优势明显。目前向量化技术目前已十分成熟并存在大量开源解决方案在不同的领域也存在不同的向量化方案潜在用户可以很容易地在现有市场中找到合适的选择。
其二需求层次不同。如果一家公司已经采用了ElasticRedisSingleStore或Rockset等商业数据库并且不需要高度先进的向量搜索功能则可以充分利用这些数据库的现有功能。
尽管在向量数据处理方面的表现不如专业的向量数据库但依然可以满足多数用户的一般要求。
其三技术在不断前进。随着数据库领域技术的进步越来越多的数据库会考虑纳入向量搜索功能以满足当前用户群的需求。对于目前缺乏向量搜索功能的数据库实现这些功能或许只是时间问题。
也有声音认为相较于大模型的高调火热向量数据库仍然靠近底层并没有达到真正意义上的全民皆知向量数据库更多时候是需要集成到其他平台或云上被销售。
而从需求端看过去向量检索还主要聚焦于机器学习和数据挖掘领域通过高效的数据存储和查询工具使得相似性搜索和聚类分析成为可能。
在推荐系统中向量数据库助力个性化推荐根据用户兴趣和商品相似性呈现给用户最贴切的推荐结果。
简言之“与其投资新的向量数据库项目不如集中精力于现有数据库并探索利用向量引擎增强这些数据库的机会使其更加健壮和强大”。
结语
无论如何在技术的快速迭代下数据库市场的持续扩张是不可避免的。当前存在着大量的需求将吸引越来越多的数据库甚至向量数据库加入竞争。
不过从长远来看向量数据库的市场需求尚处于初期中远期规模尚难以预估。在若干轮优胜劣汰之后我们或许才能看清谁是真正的执棋者。
【关于科技云报道】
专注于原创的企业级内容行家——科技云报道。成立于2015年是前沿企业级IT领域Top10媒体。获工信部权威认可可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。
