在大中型网站的 SEO 优化中，Sitemap 不仅是搜索引擎发现新页面的入口，作为网站索搜引擎推广运营比较重要的一环，对于产品目录繁杂，Url 动不到就上百万甚至上亿，维护站点地图的工作量足以让运营和开发人员抓破头。看是简单的工作，既耗时又容易出错，你在开发维护中是否遇到此类问题，今天我们以解决问题的角度做一个简单的实战案例。
注意：该实例只解决基本问题，为了体现效果，未使用外部库及存储，有需要的朋友修改数据源和存储源即可使用。
在最终的案例中实现了：
- 增量 Sitemap 生成
- 智能分片
- 自动索引更新
- 文件清理
- 搜索引擎 Ping
文章尾部附完整可运行源码，让你的网站 Sitemap 管理变得 高效、自动化。
1️⃣ 背景与问题分析
Sitemap 对 SEO 的作用不可替代，但在大型动态网站中存在几个痛点：
- ⏳ 全量生成耗时：上百万条 URL，每次生成都要遍历整个数据库或内容源；
- 🌐 重复通知搜索引擎浪费带宽：未更新的 URL 再次推送给搜索引擎没有意义，错误的Url直接影响了索搜引擎的信任度；
- 🗂 索引文件更新和文件管理复杂：Sitemap 分片多、文件命名混乱，索引难维护；
- ⚙️ 缺乏自动化：手动生成、上传、索引更新、Ping 搜索引擎效率低。
针对这些问题，我们设计了以下目标方案：
- 增量生成：只对新增或更新时间变化的 URL 生成 Sitemap；
- 自动分片压缩：每个分片控制在 50,000 条 URL 或 50MB 未压缩大小；
- 自动索引维护：新分片自动追加到主索引，保留最近 N 个分片，旧文件自动删除；
- 搜索引擎 Ping：自动通知 Google、Bing 索引更新；
- 时间戳文件命名：保证可追溯与管理便捷。
2️⃣ 设计思路
🔹 数据存储与增量判断
核心思想是使用 state.json 存储 URL 与最后更新时间 lastmod：
{
"https://example.com/item/1": "2025-11-08",
"https://example.com/item/2": "2025-11-07"
}
每次生成 Sitemap 前，程序会：
- 读取历史
state.json； - 比较当前 URL 集合与历史记录；
- 筛选出 新增或 lastmod 变更的 URL；
- 仅对这些 URL 生成新的 Sitemap 分片。
Go 实现示例：
type UrlEntry struct {
Loc string `xml:"loc"`
LastMod string `xml:"lastmod,omitempty"`
}
type StateMap map[string]string
func diffURLs(old StateMap, all []UrlEntry) (changed []UrlEntry, newState StateMap) {
newState = make(StateMap, len(all))
for _, u := range all {
newState[u.Loc] = u.LastMod
if last, ok := old[u.Loc]; !ok || last != u.LastMod {
changed = append(changed, u)
}
}
return
}
🔹 自动分片与压缩
每个 Sitemap 分片必须满足：
- URL ≤ 50,000 条
- 未压缩大小 ≤ 50MB
分片命名示例：
delta-20251108-153045-001-part001.xml.gz
核心写入逻辑（支持 gzip 压缩和分片）：
func writeSitemapGzipWithLimit(baseFilename string, urls <-chan UrlEntry, maxURLs int, maxBytes int64) ([]SitemapMeta, error) {
// 循环写入 URL 到分片
// 超过限制则关闭当前分片，打开新分片
}
🔹 自动索引维护与旧文件清理
每次生成新分片后，自动追加到主索引sitemap-index.xml：
type SitemapMeta struct {
Loc string
LastMod string
}
func appendToSitemapIndex(indexPath string, newEntries []SitemapMeta, baseURL string, keep int) (int, error) {
// 读取已有索引
// 追加新条目
// 保留最近 keep 个
// 写回文件
}
同时，删除已不在索引内的旧分片：
func cleanupOldFiles(dir string, indexPath string) error {
// 读取索引中的文件
// 遍历目录，删除不在索引内的分片
}
🔹 搜索引擎 Ping
自动通知搜索引擎，确保新内容快速抓取：
func pingSearchEngines(sitemapURL string) {
endpoints := []string{
"https://www.google.com/ping?sitemap=" + url.QueryEscape(sitemapURL),
"https://www.bing.com/ping?sitemap=" + url.QueryEscape(sitemapURL),
}
for _, ep := range endpoints {
resp, _ := http.Get(ep)
log.Printf("[INFO] ping %s status: %d", ep, resp.StatusCode)
}
}
🔹 总体运行逻辑
完整执行流程：
- 加载
state.json - 拉取当前 URL 集合
- 筛选变更 URL → 分片生成 gzip 文件
- 追加到主索引并保留最近 N 个
- 删除旧分片
- 更新
state.json - Ping 搜索引擎
运行示例：
./sitemap-gen -n 120000 -workers 6 -base https://mysite.com -keep 50 -ping=true
3️⃣ 源码与开源地址
完整 Golang 源码已开源，可直接运行或二次开发：
-
GitHub(国际): github.com/louis-xie-p…
-
Gitee（国内）: gitee.com/louis_xie/s…
