dony7247

后羿爬虫软件 + 3个实习生，200 个网站，要求1.5个月完成采集工作。后羿生成模板是很方便的，也遇到一些问题。...

总结现在爬虫行业的现状，分为爬虫技术框架，爬虫行业产品，爬虫安全, 行业优秀个人。给后来者一些参考。...

Neo4j简介： Neo4j 是图数据库的代表，支持Cyber语法进行操作。 与mysql 类似，操作时，通过定义schema, 再导入数据。 Community 与专业版...

我正在参加「创意开发 投稿大赛」详情请看：掘金创意开发大赛来了！ 当代方仲出口成章指物作诗与唐寅再现之微信小程序 伤仲永 唐伯虎 1.俺也想有才艺 俺也想有方仲永的才艺以及...

百度新发布的UIE功能强大。安装过程遇到了各种问题。本文记录了安装过程中遇到的4个问题，及解决办法。...

spider-flow 使用有一年多的时间。在使用中发现网上教程不多。selenium 节点变量不好使用，经常不明使用的就采集不到数据。今天分析下中联重科反爬，并用spid...

spider-flow 是一款开源的爬虫软件，采用工作流图形化界面，定义了爬虫的流程。爬虫技术可分为两步： 抓取 html 源码，解析元素...

现在舆情系统建设中，以新闻采集模板配置工作量大。采集数据主要靠模板。模板的维护更新，关系到数据采集的质量。 新闻采集主要是几个区域识别，包括：列表标签，翻页标签，详情标题，...

1. 标题，来源查重.     2. url 查重. 3. url 做hash 查重。4.布隆表达式 。 5. simhash...

前言 它来了！它来了！作为一名程序员，英语句子不会翻译，这我不能忍，必须安排脚本！！！ 百度翻译版本（简单） 分析 进入百度翻译，F12进入网络中的全部，在你写你要翻译的东...

本文简单介绍文本自动摘要的概念，提供一些简单可行的思路和解决方法，主要功能是记录一些心得和希望读者能得到一些启发。现阶段有监督的文本自动摘要，存在非常成熟和强大的解决方法，...

当看到一只鸟走起来像鸭子、游泳起来像鸭子、叫起来也像鸭子，那么这只鸟就可以被称为鸭子。 我们就可以如下面的方法，使用这三个类的定义。 要在Java、C++那些静态语言中，要...

youtube,facebook,twitter 中视频无法直接下载，需要使用youtube-dl 第三方包。本文讲了在window 服务器下youtube-dl 安装过程...

Google, Facebook,youtube,instagram 爬虫，使用Selenium, api获取数据...