获得徽章 0
26.27日学习总结:
这两天有学习啦,但是感觉没取到什么实际进展😭,所以总结日记有点不知道怎么写,就晚发了一点(。。对不起)。这两天大概实现了音乐的批量爬取,但是用户交互界面有点不知道怎么弄,可能还需要一点时间。。。。还有数据库还没有开始弄。。。进度可能有点落后了,但是我会努力的。。。😶
羊村的骄傲于2019-03-28 09:24发布的图片
评论
今日学习
重新温习了一下爬虫的知识点,并看了一部分gui编程。
羊村的骄傲于2019-03-26 00:29发布的图片
评论
本周总结:
距离周三晚上接到研发考核大礼包开始,已经过去了四天。对于考核里面涉及的知识点,我最开始比较感兴趣的是爬虫,所以我选择了先学习了爬虫的基本理论。开始的时候我选择了先看关于爬虫0基础入门的网课,讲的是如何爬取一个网站中的小说,在这之中我了解到了爬虫的结构与其相应的功能。后来我想模仿视频写一个爬虫,在配置完系统python环境和安装了requests数据库后,我便开始了行动,第一步是先获取网站的地址(url),然后再调用requests函数向服务器发送请求,并将服务器传回的报文(响应)赋给变量response,为了清除response中的乱码调用了encoding方法把编码方式改为“utf-8”(中文)和text。
然后运用正则表达式匹配响应的内容,其实一开始我看到正则表达式是懵逼的,当时我是模拟了视频的方法在开发者工具中找到了需要匹配的项,获得了每个章节的url和标题。最后再利用循环语句将下载的内容存入一个txt文档中。
然后后来我就恶补了一下html和http,tcp/ip的相关知识点,我找了很多资料,发现不是有所缺失,要么就是太过离散,或者讲得太复杂,最后我想起计算机导论的课本中有这一部分内容,我进行了认真的学习,并把其中比较重要的知识点输入了word文档里面以便于以后复习。
正则表达式的学习也是通过python自动化的那本教材,自我感觉学习效果还行,最后也把其中一些比较基础的概念打入了文档以便日后复习。
展开
羊村的骄傲于2019-03-25 01:06发布的图片
评论
今日总结
今天把python入门前面的知识又过了一遍,又看了一些爬取图片的爬虫视频,小小练习了一下requests库的应用,没怎么学到新的东西。。。。(对不起)
羊村的骄傲于2019-03-24 00:50发布的图片
评论
今日总结:
今天凌晨的时候,非常艰难地配置好了python的环境变量,并安装了requests第三方库,但奇怪的是cmd可以调用requests,而pycharm提示没有此模块,我一度感觉十分绝望,很想很想问师兄师姐。但后来查了下百度发现是对python的执行路径不对所以无法引用,花了一小会重新设置路径就搞好了,事实证明百度一下还是蛮管用的嘿嘿。
因为下午没有课,中午的时候我重新看了一遍那个爬虫入门视频,想根据他的讲解模仿他的方法整一个爬虫去爬取另一个网站中的小说,毕竟实践出真知嘛。虽然是模仿,但过程也不太顺利,视频中的爬虫是用python2编写的,而python3与python2的语法又存在一定的差异,所以模仿起来有点不太一样。其中的正则表达式也有点吓人,但我经过一点点了解后,勉强也能用得上。一路上波涛汹涌,终于在傍晚的时候成功爬取了笔趣阁中一部叫“道君”的小说,虽然是模仿出来的,但还是很开心。
晚上了解了一下http的八种请求类型,还有看了点requests()库的内容(ps:虽然看不太进,可能有点累了),然后就乖乖过来写日志了。

明日目标:
不需要参考视频,自己动手更熟练地爬取另一部小说,还有继续requests()库,模块re的正则表达式的学习吧,目前就酱紫。
展开
羊村的骄傲于2019-03-22 22:42发布的图片
评论
今日总结:
今天又是满课的一天,我很难受,只在思修课上偷偷看了一个关于爬虫入门的视频,视频讲的是关于制造一个爬取网络小说的爬虫。在这之中我了解到了爬虫的定义,运行机理,组成部件和实现代码,但有部分知识我还尚未涉及,例如:两个超文本传输协议http和html,python的第三方库request模块,re模块和正则表达式,需要深入学习。
明日目标:
尽快了解爬虫其他的其他知识,争取在这两天内制造一个简单的爬虫。
展开
羊村的骄傲于2019-03-21 21:14发布的图片
评论
个人成就
文章被阅读 97
掘力值 10
收藏集
0
关注标签
5
加入于