获得徽章 0
我用python开发的抖音链接转换软件，取名为：dy_trans_tool
它支持以下三个功能：
1. 个人主页链接转为抖音号（图1）
2. 个人抖音号转为主页链接（图2）
3. app端作品链接转为pc端链接（图3）
它具备以下特点：
1. Windows系统、Mac系统均可运行
2. 软件通过接口协议爬取，并非通过模拟浏览器等RPA类工具，稳定性较高！
3. 软件目前支持3个功能：主页链接和抖音号互转、app端作品链接转为pc端作品链接
5. 软件运行完成后，会在当前文件夹（即，软件所在文件夹）生成csv结果文件
6. 爬取过程中，每爬一条，存一次csv。并非爬完后一次性保存！防止因异常中断导致丢失前面的数据（每条间隔1~2s）
7. 爬取过程中，有log文件详细记录运行过程，方便回溯
我是@马哥python说，一枚10年开发经验的pythoner，欢迎技术交流~
#码上掘金#
它支持以下三个功能：
1. 个人主页链接转为抖音号（图1）
2. 个人抖音号转为主页链接（图2）
3. app端作品链接转为pc端链接（图3）
它具备以下特点：
1. Windows系统、Mac系统均可运行
2. 软件通过接口协议爬取，并非通过模拟浏览器等RPA类工具，稳定性较高！
3. 软件目前支持3个功能：主页链接和抖音号互转、app端作品链接转为pc端作品链接
5. 软件运行完成后，会在当前文件夹（即，软件所在文件夹）生成csv结果文件
6. 爬取过程中，每爬一条，存一次csv。并非爬完后一次性保存！防止因异常中断导致丢失前面的数据（每条间隔1~2s）
7. 爬取过程中，有log文件详细记录运行过程，方便回溯
我是@马哥python说，一枚10年开发经验的pythoner，欢迎技术交流~
#码上掘金#
展开
9
3
#码上掘金# 之前收集的软件反馈，宝贵建议我已逐条细看。持续优化迭代，满足更多共性需求！
三年来，跟我对接过的小伙伴很多，有刚上大一大二的本科生，也有在读研读博的研究生、高校导师，有专门从事自媒体流量的，也有传统行业需要数字赋能的同仁，甚至还有十一二岁的小学生。
人群形形色色不尽相同，需求纷纷扰扰难取共识。君子和而不同，方为大同！
三年来，跟我对接过的小伙伴很多，有刚上大一大二的本科生，也有在读研读博的研究生、高校导师，有专门从事自媒体流量的，也有传统行业需要数字赋能的同仁，甚至还有十一二岁的小学生。
人群形形色色不尽相同，需求纷纷扰扰难取共识。君子和而不同，方为大同！
展开
评论
点赞
#人生苦短，我用python# 爬虫🕷开发多了，会发现一些规律。
很多大厂出于数据保护或用户体验目的，都不会把全部数据开放出来。比如，在抖音搜任一关键词，只有几百条视频或用户；在小红书搜任一关键词，只有220条笔记；在知乎搜任一关键词，只有几百条回答或文章。微博某些帖子下的评论，实际数量远小于显示总数；诸如此类，等等。
所以，重点是，爬虫只能爬网站开放的数据，仅此而已。就算通过某些技术手段爬到了未开放的数据，大概率是网站bug，甚至有wf风险。网站维护人员也会致力于修复这些。
尽管如此，也有对策: 更换近义关键词、更换筛选条件、不同账号下的大数据推荐、不同时段定期采集，最后再合并去重。办法总比困难多。
@马哥python说
2024.02.03
很多大厂出于数据保护或用户体验目的，都不会把全部数据开放出来。比如，在抖音搜任一关键词，只有几百条视频或用户；在小红书搜任一关键词，只有220条笔记；在知乎搜任一关键词，只有几百条回答或文章。微博某些帖子下的评论，实际数量远小于显示总数；诸如此类，等等。
所以，重点是，爬虫只能爬网站开放的数据，仅此而已。就算通过某些技术手段爬到了未开放的数据，大概率是网站bug，甚至有wf风险。网站维护人员也会致力于修复这些。
尽管如此，也有对策: 更换近义关键词、更换筛选条件、不同账号下的大数据推荐、不同时段定期采集，最后再合并去重。办法总比困难多。
@马哥python说
2024.02.03
展开
评论
点赞