用ChatGPT写一个数据采集程序

231 阅读2分钟

既然ChatGPT可以理解并生成代码,那么自然而然,它的作用不仅仅是帮助学习代码,同样也可以直接用在实际的软件开发当中。

对于网页上的数据采集及处理是Python的常见应用场景之一。我们来看下ChatGPT是不是也能完成这样的任务。

假设我们现在需要抓取并整理某个网页上的表格数据:

python666.cn/static/scor…

图片

我们直接来问问ChatGPT,能不能给个抓取的代码:

图片

ChatGPT给了我们一份代码,但很遗憾,把这个代码复制到编辑器中运行后,生成的Excel是空的。

简单调试后发现,原来是因为页面上的表头元素用的是标签

图片

而ChatGPT因为没有获知具体的页面代码信息,直接当做标签来处理,所以没采集到表头信息。

图片

这种情况下,我们可以手动对代码做一些修改。

或者,我们点击回答下方的“Regenerate response”,让它重新回答一次试试:

图片

这次ChatGPT给出的代码比之前简洁:

import pandas as pd
# 读取网页上的表格url = 'https://python666.cn/static/score.html'tables = pd.read_html(url)
# 假设目标表格是第一个表格table = tables[0]
# 将表格保存为Excel文件output_file = 'table.xlsx'table.to_excel(output_file, index=False)
print(f"表格已保存为 {output_file}")

运行后,成功得到了我们要的结果:

图片

顺利拿到数据后,我们再进一步,让ChatGPT来对数据进行排序。当然,在排序前,我们需要告诉它关于表格内容的必要信息:

图片

代码:

import pandas as pd
# 读取网页上的表格url = 'https://python666.cn/static/score.html'tables = pd.read_html(url)
# 假设目标表格是第一个表格table = tables[0]
# 将缺失值替换为0table.fillna(0, inplace=True)
# 计算每个学生的均分table['均分'] = table.mean(axis=1)
# 按均分降序排序table.sort_values(by='均分', ascending=False, inplace=True)
# 将表格保存为Excel文件output_file = 'sorted_table.xlsx'table.to_excel(output_file, index=False)
print(f"按均分排序后的表格已保存为 {output_file}")

这次,ChatGPT完美实现了我们提出的需求:

图片

可以看出,虽然ChatGPT很强大,但并不能保证每次生成的代码都是完美,仍然可能需要引导它修正或人工干预。

但即便如此,它也已经算得上一个十分得力的编程助手,可以大大提高开发效率。尤其像数据处理这种场景,以往开发时常常需要查找各种函数及其参数的使用方法。现在有了ChatGPT,只要准确描述数据格式及需求,就可以立刻得到相应的处理代码,非常的方便。

我现在做数据分析已经快离不开它了。