【玩转掘金】掘金专栏文章正生成pdf文档｜Python 主题月掘金有很多优秀的专栏，我一直在思考，如何把这些专栏的文章

本文正在参加「Python主题月」，详情查看活动链接

前言

掘金有在看各位的很多优秀的专栏，我一直在思考，如何把这些专栏的文章内容整合在一起呢？

对，生成PDF文件，数据聚合，方便你我她他它。
Don't worry! 实现的方法方式都很简单，一共不到200行代码。

源码：JueJinColToPdf

在线预览: 我的掘金前端周栏.pdf

效果演示

代码执行

PDF文档效果

基本思路

收集API信息和关联
下载专栏数据
生成html代码 (markdown转html)
生成pdf文件

收集API信息和关联

数据是一切的根源，所以先分析如何获取掘金专栏数据。

其实三个API就满足需求：

专栏摘要信息
作用： 获取专栏的摘要信息，主要是专栏ID和专栏名称
API地址： api.juejin.cn/content_api…
专栏文章列表
作用： 获取专栏文章列表，主要是文章ID，一个中间商罢了。
API地址： api.juejin.cn/content_api…
文章详情
作用： 获取文章详情，主要是文章标题和MarkDown格式的文章内容
API地址： api.juejin.cn/content_api…

整体流程如下：

获取专栏信息

API地址： api.juejin.cn/content_api…]

请求参数
QueryString

column_id 专栏ID

数据结构
有用的就是 title字段，生成html和pdf时需要。

{
    column_id：""6979380367216082957" 
    data: {
        "column_version": {
            "title": "前端基础进阶“  // 专栏标题
        }
    }
}

获取专栏文章列表

API 地址 https://api.juejin.cn/content_api/v1/column/articles_cursor

请求参数

{
    "column_id":"6979380367216082957", // 专栏ID
    "cursor":"0", // 当前下标
    "limit":20, // 一页大小
    "sort":0  // 0 发布事件从近到远，反之从远到近
}

数据结构 有用的其实就 artcile_id

{
   "err_no": 0,
   "err_msg": "success",
   "cursor": "2",
   "count": 5,
   "has_more": false,
   "data": [
       {
            "article_id": "6989391487200919566",
             .....................
   
       }
   ]
}

获取文章详情

API地址:
https://api.juejin.cn/content_api/v1/article/detail

请求参数:

{
    "article_id": "6989391487200919566" // 文章ID
}

返回结果:
data属性中的mark_content字段就是markdown语法的原始内容。

{
    "data": {
        "article_id": "6989391487200919566",
        "article_info": {
            "mark_content": "---\ntheme: channing-cyan\nhighlight: a11y-dark\n---\n\n\n## 前言\n\n本文收录在 **[前端基础进阶](https://juejin.cn/column/6979380367216082957)** 专栏"
        }
    },
    "err_no": 0,
    "err_msg": "success",
}

下载专栏数据

我们选择Python里面比较有名的requests库，虽然不支持异步，不过问题不大。

基本顺序：

下载专栏信息
下载专栏文章列表信息
下载单篇文章信息

注意点：

我们会按照专栏ID创建文件夹，把下载下来的JSON格式的文件都放到下面

至于为什么？ 21世纪什么最重要，数据!!
有了数据，你可以自己生成网页，做成word, pdf，亦或其他，无线的选择。

本着本文为Python类别，还是贴一段主流程代码：更多细节查看源码 JueJinColToPdf

def downloadColumn(cid):

    column = getColumn(cid);
    print("获取专栏信息成功，专栏名称：", column["data"]["column_version"]["title"]);
    saveColumn(cid, json.dumps(column["data"]))

    articleList = getArticleList(cid)
    saveArticleList(cid, json.dumps(articleList["data"]))

    articleIds = list(map(lambda item: item["article_id"], articleList["data"]))
    print("获取专栏文章列表成功：", articleIds)

    for artId in articleIds:
        artContent = getArticleContent(artId)
        saveArticleContent(cid, artId, json.dumps(artContent["data"]))
        print("文章ID为 %s 的文章下载完毕" % artId)

生成Html代码

直接说一些问题

如何把markdown格式转为html代码

巨人的肩上markdown库

 html += markdown.markdown(
         removeScheme(article["article_info"]["mark_content"]), extensions=extensions)

如何高亮代码

Pygments库，

pygmentize -S default -f html -a .codehilite > code.css

然后设置一个markdown库的extensions

extensions = [  # 根据不同教程加上的扩展
    'markdown.extensions.extra',
    'markdown.extensions.codehilite',  # 代码高亮扩展
    'markdown.extensions.toc',
    'markdown.extensions.tables',
    'markdown.extensions.fenced_code',
]

 html += markdown.markdown(
            removeScheme(article["article_info"]["mark_content"]), extensions=extensions)

去掉掘金主题和代码风格

如果你选择了主题或者代码高亮，markdown头部会多出如下的内容。

---
theme: github
highlight: a11y-light
---

方案：正则替换或者字符串截取

如何自定义样式

新建一个 extend.css

* {
    font-size: 30px;  // 默认字体
}

img{
    display: block;  
    min-width: 50%; // 图片至少50%
}

如何生成一个大的html文件

创建一个html文件，
core.css和extend.css文件写入html的style标签里面
写入头部的html，
写入markdown转换后的html,
最后写入尾部的html。

如果文章太多，怎么办

以一定文章数量分割，比如20篇
以一定文字数量分割，比如5万字

在笔者的代码中是未实现的，不过问题不大，我之前有用html生成400多页的pdf也妥妥的。

转为pdf文件

借助 wkhtmltopdf.exe, 这款神奇可以把网络地址或者本地html文件直接转换成为pdf文件。
最重要的是其完美的支持目录。

从官方下载安装，然后配置一下环境变量就可以，代码嘛就下面这点。

def genPdf(title):
    # TODO:: 需要配置全局路径
    exePath = "wkhtmltopdf.exe"
    sourcePath = "./htmls/%s.html" % title
    targetPath = "./pdfs/%s.pdf" % title
    cmd = '"%s" --outline-depth 2 --footer-center [page] "%s" "%s"' % (
        exePath, sourcePath, targetPath)
    print(cmd)
    subprocess.call(cmd)

写在最后

写作不易，你的一赞一评，就是我最大的动力。

【玩转掘金】掘金专栏文章正生成pdf文档 ｜Python 主题月

前言