本文将分别使用 Python ，Golang 以及 GraphQuery 来解析某网站的 素材详情页面 ，这个页面的特色是具有清晰的数据结构，但是DOM结构不够规范，无法通过单独的选择器定位页面元素，对页面的解析造成了一些曲折。通过这个页面的解析过程，深入浅出的了解爬虫的解析思…

个人近期面试情况 今年以来，面试的几个代表性的公司，包括腾讯、饿了么、宝宝树、旷世科技等等，基本都成了。 最终，饿了么刚给我确认了p7的职位。也算自己到了另一个奋斗的阶段了。对自己的经历，做一个面试总

接口设计应该考虑正交性，组合更利于正交性。 Go 的类型系统是比较容易和 C++/Java 混淆的，特别是习惯于类体系和虚函数的思路后，很容易想在 Go 走这个路子，可惜是走不通的。而 interface 因为太过于简单，而且和 C++/Java 中的概念差异不是特别明显，所以…

基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。 项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务…

那么都会检测到instance为nil,就会创建多个对象，所以出现了饿汉模式... 在环境变量控制、配置项控制等位置都用到了这种模式。

大家好，我叫谢伟，是一名程序员。 我写过很多爬虫，这是我最后一次在文章中内提及爬虫。以后都不再写了，想要研究其他领域。 本节的主题：Golang 爬虫如何上手。 1. 获取网页源代码 使用上面两个函数，不管是遇到的请求是Get 或者是 Post 都可以获取到网页源代码，唯一需要…

前阵子老板安排了一个新任务，要建设一个商家商品搜索系统，能够为用户提供快速、准确的搜索能力，在用户输入搜索内容时，要能从商家名称和商品名称两个维度去搜索，搜索出来的结果，按照准确率排序，并按商家所属商品的关联关系，来组合数据结构，同时提供API给业务系统调用。 带着以上3个问…

最近尝试在 B 站录些小视频，我的 B 站主页。录视频当是为了彻底搞懂某个知识点的最后一步吧，同时也希望能习得一些额外的能力。在讲 Go 如何实现 bitset 的时候，发现这块内容有点难讲。思考后，我决定通过文字辅以视频的方式说明，于是就写了这篇文章。 如果发现有什么不妥的地…

大家好，我叫谢伟，是一名程序员。 日常编写代码的过程中，字符串和数值型、布尔类型之间的转换算是很频繁了。所以有必要研究下内置的 strconv 库。 这节的主题是：字符串和其他基本数据类型之间的转换。 浮点数需要注意精度。 私以为，掌握这些能处理绝大多数场景。 所以可以将任意进…