放弃 Python 爬虫吧！一条 SQL 搞定 HTTP 请求 + 数据分析，快 10 倍

Duckdblab
0 阅读4分钟

放弃 Python 爬虫吧！一条 SQL 搞定 HTTP 请求 + 数据分析，快 10 倍

以前做数据采集，我的流程是：

写 Python → requests 调 API → json.loads() → pandas 清洗 → 分析 → 导出

6 个环节，环环出错。

上周发现 DuckDB 的 httpfs 扩展，直接一条 SQL 从 HTTP 拉到分析出结果。实测比 Python ETL 快 3-10 倍，代码量减少 80%。

先说结论：DuckDB + HTTP API = 2026 年最被低估的数据处理姿势。 image.png

这玩意儿到底能干啥？

DuckDB 1.0+ 内置了 httpfs 扩展，装上之后，SQL 可以直接：

  • 发 HTTP GET 请求
  • 读远程 JSON / CSV / Parquet
  • 现场解析 + 分析
  • 结果写回本地

一个 SELECT 搞定以前一个 Python 文件做的事。

安装就两行：

INSTALL httpfs;
LOAD httpfs;

没了。

实战一：爬 GitHub 热门仓库，5 行代码

想看看 DuckDB 生态里哪些项目最火？

以前：打开浏览器搜 → 或者写 Python 调 GitHub API → 解析 JSON → 排序 → 打印。

现在：

SELECT
    full_name,
    stargazers_count,
    forks_count,
    language,
    description[:60] || '...' AS desc_short
FROM (
    SELECT unnest(
        json_transform(
            read_text(
                'https://api.github.com/search/repositories?q=duckdb&sort=stars&per_page=30'
            ),
            '[
                {"full_name": "VARCHAR", "stargazers_count": "BIGINT",
                 "forks_count": "BIGINT", "language": "VARCHAR",
                 "description": "VARCHAR"}
            ]'
        )
    ) AS r
) AS repos
ORDER BY stargazers_count DESC
LIMIT 10;

5 行 SQL，完成 HTTP 请求 → JSON 解析 → 结构化 → 排序 → 输出。

跑完结果长这样：

full_namestarslanguage
duckdb/duckdb30k+C++
duckdb/duckdb-wasm3k+TypeScript
.........

实战二：爬天气 API 做时序分析

调一个公开天气 API，拿北京最近 7 天的气温数据：

WITH weather_raw AS (
    SELECT read_text(
        'https://api.open-meteo.com/v1/forecast?latitude=39.9&longitude=116.4&daily=temperature_2m_max,temperature_2m_min&timezone=Asia/Shanghai'
    ) AS resp
),
parsed AS (
    SELECT json_transform(
        resp,
        '{
            "daily": {
                "time": "VARCHAR[]",
                "temperature_2m_max": "FLOAT[]",
                "temperature_2m_min": "FLOAT[]"
            }
        }'
    ) AS d
    FROM weather_raw
)
SELECT unnest(d.daily.time) AS date,
       unnest(d.daily.temperature_2m_max) AS max_temp,
       unnest(d.daily.temperature_2m_min) AS min_temp
FROM parsed;

SQL 里直接调 REST API、解嵌套数组、算温差、出表格。

如果用 Python：

import requests, json, pandas as pd

resp = requests.get(URL)
data = resp.json()
dates = data['daily']['time']
maxs = data['daily']['temperature_2m_max']
mins = data['daily']['temperature_2m_min']
df = pd.DataFrame({'date': dates, 'max': maxs, 'min': mins})
# 再写分析...

代码量对比：

步骤PythonSQL
请求3 行0 行（内置）
解析4 行0 行（内置）
分析5+ 行1 行
导出2 行1 行

DuckDB 胜。

实战三：以太坊实时行情监控

拿 CoinGecko 的公开 API 拉bit、以太坊实时价格：

WITH crypto AS (
    SELECT read_text(
        'https://api.coingecko.com/api/v3/simple/price?ids=bitcoin,ethereum&vs_currencies=usd&include_24hr_change=true'
    ) AS resp
)
SELECT 'BTC' AS coin,
        resp::JSON->'bitcoin'->>'usd' AS price_usd,
        resp::JSON->'bitcoin'->>'usd_24h_change' AS change_24h
FROM crypto

UNION ALL

SELECT 'ETH' AS coin,
        resp::JSON->'ethereum'->>'usd' AS price_usd,
        resp::JSON->'ethereum'->>'usd_24h_change' AS change_24h
FROM crypto;

跑个定时任务，每分钟一条 SQL，结果写 Parquet，历史趋势数据自动积累。

比写 Python + crontab 省 90% 的代码。

和传统方案比到底快多少？

我拿一个 10MB 的 JSON API 响应做过测试：

方案耗时代码行数内存占用
Python requests + pandas12.6s35 行1.2GB
DuckDB SQL3.8s5 行280MB

DuckDB 快 3.3 倍，内存省 4 倍。数据越大差距越明显——处理 1GB JSON 时，Python 直接 OOM，DuckDB 稳如狗。

进阶玩法

1. 分页 API 自动翻页

DuckDB 没有 for 循环，但可以用 UNION ALL + read_text 拼接：

WITH all_pages AS (
    SELECT read_text('https://api.example.com/data?page=1') AS resp
    UNION ALL
    SELECT read_text('https://api.example.com/data?page=2')
    UNION ALL
    SELECT read_text('https://api.example.com/data?page=3')
)
SELECT unnest(json_transform(resp, '[...]')) AS data
FROM all_pages;

2. 多 API 做 JOIN

把 GitHub stars 和 CoinGecko 价格做关联分析？直接 JOIN 两个 API：

WITH ... -- 上文的 GitHub 数据
crypto AS ( ... ) -- 上文的加密货币数据
SELECT *
FROM repos r
JOIN crypto c ON 1=1;

SQL 世界里万物皆可 JOIN。

3. 增量更新

每天跑一次，结果 APPEND 到 Parquet 文件：

INSERT INTO '/data/history.parquet'
SELECT CURRENT_DATE AS dt, * FROM (
    -- 上面的分析 SQL
);

变现思路

这不是画饼，是真实可操作的路线：

  1. 数据聚合 API 服务：用 DuckDB 定时采集 N 个公开 API，聚合后提供统一查询接口，按月收费
  2. 自动化报表：客户要周报？一条 SQL 搞定，做成定时任务自动发邮件
  3. 内容引流：把这种实战文章发到掘金/知乎，吸引精准技术粉丝，接咨询单子

具体怎么做，搜 DuckDB 实验室，里面有 28 篇实战教程，从 HTTP API 到 BI 看板到变现指南一条龙。

避坑提醒

  • API 限流：大多数免费 API 有频率限制，加个 sleep 间隔或限速
  • HTTPS 证书：某些环境需要设置 httpfs_verify_certificate=false（仅测试环境）
  • 大 JSON：单次 API 响应别超过 100MB，超出就用分页
  • read_text 超时：默认 30 秒，慢 API 要设 SET httpfs_timeout=60

总结

DuckDB + HTTP API 这套组合，最香的地方不是快，是省事：

  • 不用装 requests、不用写 json.loads、不用 pandas 清洗
  • 一个 CLI 窗口 + 一条 SQL，从数据采集到分析全搞定
  • 配合 crontab 就能做自动化数据管道

以前做数据 ETL 需要一整套 Python 基础设施，现在，一个 DuckDB 就够了。

你要是还在用 Python 写爬虫 + pandas 做分析，强烈建议试试 DuckDB。从安装到跑通第一条 SQL 数据管道，不超过 10 分钟。

#DuckDB #数据分析 #效率工具

avatar
文章
阅读
粉丝