杨小邪

写爬虫，尤其时抓取中文页面，总是不可避免的要和不同的编码打交道。 最常用的UTF-8，GBK，如果抓取时返回的是二进制数据，解码的encoding设置不对很可能引起乱码。 r.text会自动猜测文件编码，返回str格式的内容，但好像经常猜不准，所以还是乱码，很蛋疼。 所以事先如…

jieba分词，很好的中文分词库。前一段时间我用它来检测网页的敏感词。 遇到几个问题，记一下。 我的敏感词库里面，‘妈比’是个敏感词。将敏感词库（TXT）导入结巴的辞典，分词结果为辣妈，妈比，比美，很尴尬 我先用scrapy将网页内容抓取下来存入HBASE，然后从HBASE中取…

e.g. e.g.

先说废话，这是半个多月之前遇到的问题了，趁历史记录还找得到赶快记一下背景：三台阿里云Ubuntu服务器，Hadoop（2.6.5）完全分布式搭建，Zookeeper（3.4.10），HBase（1.2