Pinecone 2.0 旨在将矢量相似性搜索引入生产环境
Pinecone 最近推出了其向量相似性搜索解决方案的2.0 版，旨在让公司更容易构建推荐系统、图像搜索和类似应用程序。
Pinecone 索引和搜索数据的向量表示以查找与查询相似的项目。您可以实时索引数十亿个项目并搜索最接近的匹配项，延迟时间为毫秒。
Pinecone 可以通过其REST API 使用，它允许开发人员创建索引，插入他们的向量数据，并查询索引以找到与输入相似的向量。矢量在 N 维空间中提供数据的表示，并且可能与元数据相关联以便于解释和过滤。简而言之，向量搜索是基于计算两个向量之间的距离并应用一种算法来寻找最近的向量，例如 K 最近邻和近似邻搜索。
Pinecone 2.0 通过支持单级过滤扩展了过滤功能，这使得可以在元数据上指定任意过滤器并检索匹配它们的最近邻居的数量。此外，Pinecone 2.0 引入了混合存储来处理十亿个项目无法放入 RAM 内存的情况。
除了新功能外，Pinecone 2.0 还引入了新的架构和基于 OpenAPI 的新 REST API。
InfoQ 借此机会与 Pinecone 的创始人兼首席执行官 Edo Liberty 进行了交谈。
InfoQ：向量相似度搜索对当今应用的重要性是什么？
Edo Liberty：简而言之，更相关的搜索结果和推荐会导致更有效的应用程序，无论您是通过用户参与度、收入、客户满意度、运营效率还是其他任何方式来衡量有效性。
信息检索是搜索、推荐、数据管理和安全系统等许多应用程序的核心功能。许多公司的增长和收入受到他们搜索数据的速度、准确性和可靠性的影响。
矢量相似性搜索——一种利用深度学习进步的新搜索方法——已经在谷歌、微软、Facebook 和亚马逊等公司证明了自己。
如果您最近对 Amazon 的个性化产品推荐、Spotify 的优质音乐推荐、Google/Bing 令人难以置信的相关搜索结果或 Facebook/LinkedIn/Twitter 的无法移开的活动源感到惊叹，那么您已经体验过矢量搜索带来的不同。这些公司在收入和参与度方面也注意到了差异。
矢量搜索在一些最大的消费公司取得的成功提高了其他所有人的风险。用户现在期望从与他们互动的所有公司（从社交应用程序到工作场所软件）提供更好的推荐和搜索结果。
然而，认识到矢量搜索的重要性只会让你走到这一步。除了少数已经拥有它的技术超大规模者之外，即使是大型企业公司也很难在生产中实施矢量搜索。例如：企业软件公司可以通过帮助用户快速找到他们需要的东西来提高他们的工作效率，但如果这会造成滞后的体验就不行；媒体平台希望提供更好的内容推荐来提高参与度和留存率，但前提是它的运行速度与用户滚动的速度一样快。这就是为什么找到一条将矢量搜索从实验室带到生产的路径同样重要的原因。
InfoQ：与替代解决方案相比，Pinecone 的专业优势是什么？
Liberty：我们正在为产品和 ML 团队制作一些东西，他们希望将矢量搜索快速部署到生产中，然后在不产生高运营成本的情况下进行扩展。因此，我们在几个方面与替代方案不同：
首先是生产准备。通过一个 API 调用，Pinecone 用户可以启动具有关键功能的矢量搜索服务，例如元数据过滤、CRUD 操作、实时索引更新和水平扩展。无需构建和维护基础设施，无需调整最近邻算法，也无需进行开发工作。
接下来是大规模的高性能。相似性搜索是一个计算密集型过程，但对于小数据集，您可能不会注意到这一点。当您扩展到 10M、100M、1B（及更高）的数据集时，如果您没有使用专门设计用于在这些级别运行相似性搜索的系统，您就会开始看到延迟飙升和可靠性下降。在 Pinecone 中，我们花在分布式系统的架构和工程上的时间比其他任何事情都多，因此当用户从 1M 扩展到 100B 项时，他们不会注意到任何事情。
该系统完全由 Pinecone 管理，在我们的多租户或专用环境中运行。我们专注于操作和安全性，因此用户不必这样做。每个用户都可以从专家团队中受益，确保高性能、高可用性和支持。
最后，这比其他管理服务或自托管开源解决方案的基础架构成本低 10 倍。矢量搜索通常完全在内存 (RAM) 中运行。对于许多目录中拥有超过 10 亿个项目的公司来说，仅内存成本就可能使矢量搜索变得过于昂贵而无法考虑。一些矢量搜索库可以选择将所有内容存储在磁盘上，但这可能以搜索延迟变得不可接受的高为代价。Pinecone 提供混合存储配置，可提供同样快速和准确的搜索结果，同时显着降低基础设施成本。
InfoQ：您能否简要介绍一下 Pinecone 的路线图？
自由：当然。我们专注于让任何规模（和任何数据大小）的 ML 团队都能轻松地将矢量搜索集成到他们的搜索和推荐系统中。
在短期内，这意味着继续提高可扩展性、可用性、部署选项、可负担性、可观察性、安全性（和合规性）、REST API 及其客户端，以及与处理数百万或数十亿条记录相关的附加功能。
Pinecone v2 提供免费试用以尝试其可能性，并提供按使用付费的生产部署定价模型。
