爬取GitHub开源项目信息并生成词云：从数据抓取到可视化实践

站大爷IP
126 阅读6分钟

​

在开源技术蓬勃发展的今天，GitHub已成为全球开发者协作的核心平台。通过分析GitHub上的项目数据，开发者可以洞察技术趋势、发现热门工具，甚至挖掘潜在的合作机会。本文将结合实战案例，详细介绍如何用Python爬取GitHub开源项目信息，并通过词云技术直观展示技术关键词分布。

免费python编程教程：pan.quark.cn/s/2c17aed36…

一、技术选型与工具准备

1.1 核心工具链

  • requests/PyGithub：发送HTTP请求获取GitHub数据，PyGithub提供官方API封装
  • BeautifulSoup/lxml：解析HTML页面结构（适用于非API场景）
  • pandas：结构化存储爬取数据
  • jieba+wordcloud：中文分词与词云生成
  • matplotlib：可视化结果展示

1.2 环境配置

pip install requests PyGithub beautifulsoup4 lxml pandas jieba wordcloud matplotlib

转存失败，建议直接上传图片文件

二、GitHub数据获取的两种路径

2.1 官方API：稳定高效的首选方案

GitHub提供REST API和GraphQL API，推荐使用PyGithub库简化操作：

from github import Github

# 使用Token认证（需在GitHub设置生成）
g = Github("your_github_token")

# 获取热门Python仓库
repos = g.search_repositories(query="language:python", sort="stars", order="desc")
for repo in repos[:10]:  # 取前10个
    print(f"{repo.name} - Stars: {repo.stargazers_count}")

转存失败，建议直接上传图片文件

优势：

  • 官方支持，稳定性高
  • 支持精确查询（按语言、时间、星标数筛选）
  • 请求频率限制宽松（未认证50次/小时，认证后5000次/小时）

2.2 网页爬取：突破API限制的备选方案

当需要获取API未暴露的数据时，可通过解析HTML实现：

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0",
    "Accept-Language": "zh-CN"
}

url = "https://github.com/trending/python"
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "lxml")

for repo in soup.select(".Box-row"):
    name = repo.select_one("h1 a").text.strip()
    desc = repo.select_one(".f6").text.strip()
    print(f"{name}\n{desc}\n")

转存失败，建议直接上传图片文件

注意事项：

  • 必须设置User-Agent模拟浏览器访问
  • 遵守robots.txt规则（GitHub允许爬取公开数据）
  • 控制请求频率（建议每秒1-2次）

三、数据清洗与预处理

3.1 结构化存储

使用pandas将爬取数据转为DataFrame：

import pandas as pd

data = {
    "repo_name": ["tensorflow", "pytorch"],
    "stars": [165000, 68000],
    "description": ["机器学习框架", "深度学习框架"]
}
df = pd.DataFrame(data)
df.to_csv("github_repos.csv", index=False, encoding="utf-8")

转存失败，建议直接上传图片文件

3.2 文本处理关键步骤

  • 去噪：移除代码片段、URL等非自然语言内容

  • 分词：使用jieba处理中文

    import jieba


text = "深度学习框架PyTorch支持动态计算图"
words = [word for word in jieba.cut(text) if len(word) > 1] # 过滤单字
print(words) # ['深度学习', '框架', 'PyTorch', '支持', '动态', '计算图']

    转存失败，建议直接上传图片文件

  • 停用词过滤：加载中文停用词表

    stopwords = set()
with open("stopwords_cn.txt", "r", encoding="utf-8") as f:
    for line in f:
        stopwords.add(line.strip())

filtered_words = [word for word in words if word not in stopwords]

    转存失败，建议直接上传图片文件

四、词云生成实战

4.1 基础词云实现

from wordcloud import WordCloud
import matplotlib.pyplot as plt

text = " ".join(filtered_words)
wc = WordCloud(
    font_path="simhei.ttf",  # 中文字体路径
    width=800,
    height=600,
    background_color="white",
    max_words=100
).generate(text)

plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.savefig("github_wordcloud.png", dpi=300)
plt.show()

转存失败，建议直接上传图片文件

4.2 进阶定制技巧

  • 形状掩码：使用图片作为词云轮廓

    from PIL import Image
import numpy as np

mask = np.array(Image.open("github_logo.png"))
wc = WordCloud(mask=mask, contour_width=1, contour_color="steelblue")

    转存失败，建议直接上传图片文件

  • 颜色映射：自定义配色方案

    from wordcloud import get_single_color_func

def grey_color_func(word, **kwargs):
    return "hsl(0, 0%%, %d%%)" % random.randint(60, 100)

wc = WordCloud(color_func=grey_color_func)

    转存失败，建议直接上传图片文件

五、完整案例：分析GitHub趋势库

5.1 爬取趋势仓库

def get_trending_repos(language="python", days="weekly"):
    url = f"https://github.com/trending/{language}?since={days}"
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    
    repos = []
    for item in soup.select(".Box-row"):
        name = item.select_one("h1 a").text.strip()
        desc = item.select(".f6").text.strip().replace("\n", " ")
        stars = item.select_one("a[href*='stargazers']").text.strip()
        repos.append({"name": name, "desc": desc, "stars": stars})
    
    return repos

转存失败，建议直接上传图片文件

5.2 生成技术关键词词云

# 合并所有描述文本
all_text = " ".join([repo["desc"] for repo in get_trending_repos()])

# 生成词云
wc = WordCloud(
    font_path="msyh.ttc",
    width=1000,
    height=800,
    max_words=150,
    collocations=False  # 避免重复词组
).generate(all_text)

plt.figure(figsize=(15, 10))
plt.imshow(wc)
plt.axis("off")
plt.tight_layout()
plt.savefig("trending_tech_wordcloud.png", bbox_inches="tight")

转存失败，建议直接上传图片文件

六、常见问题Q&A

Q1：被网站封IP怎么办？
A：立即启用备用代理池，建议：

  1. 使用住宅代理（如站大爷IP代理）
  2. 配合requests.Session()实现自动轮换
  3. 设置随机延迟（time.sleep(random.uniform(1, 3))）
  4. 监控HTTP状态码，403/429时自动切换IP

Q2：如何处理GitHub的反爬机制？
A：

  • 使用Cookie模拟真实用户（需定期更新）
  • 降低请求频率（建议间隔3-5秒）
  • 分布式爬取时控制并发数（不超过5）
  • 参考GitHub的robots.txt规则

Q3：词云中无关词汇过多如何解决？
A：

  1. 扩展停用词表（添加技术无关词汇如"使用"、"方法"）
  2. 使用TF-IDF算法筛选关键词
  3. 手动过滤特定词（如项目名称）
  4. 增加最小词长限制（min_word_length=2）

Q4：PyGithub报错404怎么办？
A：

  • 检查仓库是否存在或是否公开

  • 确认Token权限是否足够（需repo权限）

  • 验证API端点是否正确（如/repos/{owner}/{repo}）

  • 捕获异常并重试：

    from github import GithubException

try:
    repo = g.get_repo("tensorflow/tensorflow")
except GithubException as e:
    print(f"请求失败: {e}")

    转存失败，建议直接上传图片文件

七、总结与扩展应用

通过本文介绍的方法，开发者可以快速构建GitHub数据采集与分析系统。实际应用中可进一步扩展：

  • 结合NLP技术进行情感分析
  • 构建技术趋势预测模型
  • 开发可视化仪表盘（如Streamlit）
  • 实现自动化报告生成（PDF/HTML）

技术演进方向：

  • 使用Scrapy框架构建分布式爬虫
  • 采用Elasticsearch存储海量数据
  • 集成D3.js实现交互式词云
  • 部署为Serverless函数（AWS Lambda）

掌握GitHub数据爬取与可视化技术，不仅能提升个人技术洞察力，更为开源社区研究、技术选型等场景提供有力支持。建议从简单案例入手，逐步优化各环节性能，最终构建完整的数据处理流水线。

​

avatar
文章
阅读
粉丝