dony7247

spider-flow 使用有一年多的时间。在使用中发现网上教程不多。selenium 节点变量不好使用，经常不明使用的就采集不到数据。今天分析下中联重科反爬，并用spider-flow 实现采集

spider-flow 是一款开源的爬虫软件，采用工作流图形化界面，定义了爬虫的流程。爬虫技术可分为两步： 抓取 html 源码，解析元素

现在舆情系统建设中，以新闻采集模板配置工作量大。采集数据主要靠模板。模板的维护更新，关系到数据采集的质量。 新闻采集主要是几个区域识别，包括：列表标签，翻页标签，详情标题，时间，详情正文。

1. 标题，来源查重.     2. url 查重. 3. url 做hash 查重。4.布隆表达式 。 5. simhash

youtube,facebook,twitter 中视频无法直接下载，需要使用youtube-dl 第三方包。本文讲了在window 服务器下youtube-dl 安装过程，各种参数

Google, Facebook,youtube,instagram 爬虫，使用Selenium, api获取数据

介绍深度学习的基本概念，神经元，深度神经网络，卷积神经网络，循环神经网络基本概念，基本级成及发展历史。

Android开发中，Retrofit + okhttp 的组合非常流行，原因是使用方便，扩展性好。下面分析下Retrofit 源码及扩展性好的地方： Retrofit 原理简单，通过动态代理实现接口请求，委托类是ServiceMethod. 这有个兼容处理，如果是普通委托请求…

使用freemaker 生成BeanDao 对象， DaoMaster, DaoSession. StandardDatabase, EncrytedDatabase 来操作 SQLiteDatabase.