在本教程中，我们将使用 jina-embeddings-v3 text embedding 模型，通过 Elastic Cloud APIs 构建一个多语言语义搜索系统。
首先，你需要一个 Jina AI API key。访问 jina.ai/#apiform 并按照说明获取一个免费的 API key，包含 1000 万 tokens。
对于能够在本地运行 AI models 并在 Elasticsearch 外生成 embedding vectors 的高级用户，可以按照 Hugging Face 上模型页面的说明下载并运行 jina-embeddings-v3：huggingface.co/jinaai/jina…
为 jina-embeddings-v3 创建推理 endpoint
如果你在本地运行该 model，可以跳过本节，直接进入标题为 Index multilingual documents 的部分。
首先，打开你的 Elastic Cloud 部署控制台。本教程将使用控制台命令演示如何使用 Jina AI 设置 search。
使用以下命令注册模型，并在 "api_key" 字段中填写你的 Jina AI API key：
`
1. PUT _inference/text_embedding/jina_embeddings
2. {
3. "service": "jinaai",
4. "service_settings": {
5. "api_key": “<your-jina-api-key>",
6. "model_id": "jina-embeddings-v3",
7. }
8. }
`AI写代码
要验证你现在是否可以访问 Jina AI API 并生成 embeddings，请使用以下命令：
`
1. POST _inference/text_embedding/jina_embeddings
2. {
3. "input": ["Lo-fi playlists help me concentrate while I study."]
4. “input_type”: “ingest”,
5. }
`AI写代码
你应该会收到一个包含 "text_embedding" 字段的结果，如下所示：
`
1. {
2. "text_embedding": [
3. {
4. "embedding": [
5. 0.05003565,
6. -0.01658948,
7. 0.02177808,
8. 0.03379484
9. ...,
10. 0.0059285
11. ]
12. }
13. ]
14. }
`AI写代码
创建索引
为模型注册 mapping 定义。本教程将其命名为 “jina-multilingual-demo”。
你需要为 embeddings 选择一个 vector size。jina-embeddings-v3 支持五种维度：128、256、512、768 和 1024。维度越大，向量越大，准确率越高，但占用更多存储空间、更多内存，并增加搜索时间。
在注册请求的 "dims" 字段中填写你的选择。为了简化，本教程演示中使用最大维度：1024。
`
1. PUT jina-multilingual-demo
2. {
3. "mappings": {
4. "properties": {
5. “”: {
6. "id": { "type": "keyword" },
7. "lang": { "type": "keyword" },
8. "title": { "type": "text" },
9. "content": { "type": "text" }
10. "embedding": {
11. "type": "dense_vector",
12. "dims": 1024,
13. "index": true,
14. "similarity": "cosine"
15. }
16. }
17. }
18. }
`AI写代码
添加 ingest pipeline
Ingest pipelines 会在数据插入 Elasticsearch 之前自动处理数据。我们将创建一个名为 "jina_embed_pipeline" 的 pipeline。
使用以下命令：
`
1. PUT _ingest/pipeline/jina_embed_pipeline
2. {
3. "description": "Embed document content with jina-embeddings-v3",
4. "processors": [
5. {
6. "inference": {
7. "model_id": "jina_embeddings",
8. "input_output": {
9. "input_field": "content",
10. "output_field": "embedding"
11. }
12. }
13. }
14. ]
15. }
`AI写代码
索引多语言文档
现在你可以向 Elastic 部署添加一些 documents。下面三个文档分别为 English、French 和 Spanish，互为翻译。每条 POST 命令添加一个 document。
`
1. POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
2. {
3. "id": "1",
4. "lang": "en",
5. "title": "Emerging music styles",
6. "content": "Lo-fi and ambient genres are gaining traction among independent artists."
7. }
9. POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
10. {
11. "id": "2",
12. "lang": "es",
13. "title": "Nuevos estilos musicales",
14. "content": "Los géneros lo-fi y ambiental están ganando popularidad entre los artistas independientes."
15. }
17. POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
18. {
19. "id": "3",
20. "lang": "fr",
21. "title": "Tendances musicales émergentes",
22. "content": "Les styles lo-fi et ambiants attirent de plus en plus de musiciens indépendants."
23. }
`AI写代码
查询索引
为了演示 jina-embeddings-v3 的跨语言语义，我们将使用 German 查询该索引。查询文本的 English 翻译为：“Which new music genres are currently popular?”
首先，我们需要获取 query vector。jina-embeddings-v3 实现了 asymmetric retrieval，因此 query embeddings 和已索引文档的 embeddings 生成方式不同。确保 "input_type" 字段设置为 "search"，以获取 query embeddings。
`
1. POST _inference/text_embedding/jina_embeddings
2. {
3. "input": ["Welche neuen Musikrichtungen sind gerade beliebt?"],
4. "input_type": "search"
5. }
`AI写代码
该命令将返回一个 query vector。将得到的 vector 填入下面命令的 "query_vector" 字段中。该命令将使用 Elasticsearch 内置的 "knn" approximate nearest neighbor 算法执行搜索。
`
1. POST multilingual-demo/_search
2. {
3. "knn": {
4. "field": "embedding",
5. "query_vector": [0.103949,-0.01732728,...,0.0043687],
6. "k": 5,
7. "num_candidates": 100
8. },
9. "_source": ["id","lang","title","content"]
10. }
`AI写代码
响应将是一个列表，显示与该查询最匹配的 document（在我们的测试中是 French 文档），以及该 document 与查询的 cosine similarity score。
有关 AI 生成的 dense vector 索引搜索选项的完整文档，请参见 Elasticsearch API 的相关文档页面。
