导语
你的童年我的童年好像都一样
小小身体大大书包上呀上学堂
世界上本没有喜欢上学的小孩
被爸妈打多了,也就有了~
上学意味着什么呢~意味着开始做作业
假期作业没写怎么办?赶紧拿姐妹的来抄,你心里悄咪咪的笑了,终于赶上了最后学委去办公室的那趟高速。
哈哈哈这很可以,童年的真实情况一览无余了。今天我还看到一个笑话:
为防抄作业,爸爸要求将五胞胎分在五个班 。
这操作真神了,但是哪用这么麻烦撒!
今天小编带大家写一款抄袭检测小脚本,在家就能知道你孩子的作业都互相抄袭了没~
正文
首先载入所有必要的模块(1):
import os
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
使用OS模块加载文本文件的路径,然后使用TfidfVectorizer对文本数据和余弦相似度执行词嵌入,来计算是否存在抄袭。(2):
用列表推导式(List Comprehension)读取所有文本文件
接下来使用列表推导式来加载项目目录中所有的路径文件,如下:
student_files =[doc for doc in os.listdir() if doc.endswith( .txt )]
使用Lambda功能来向量化并计算相似性(3):
需要创建两个lambda函数,一个用来将文本转换成数字数组,另一个用来计算它们的相似性。
vectorize =lambda Text: TfidfVectorizer().fit_transform(Text).toarray()
similarity = lambda doc1, doc2:cosine_similarity([doc1, doc2])
将文本数据向量化(4):
加入下列两行代码,将加载的学生文件向量。
vectors =vectorize(student_notes)
s_vectors = list(zip(student_files,vectors))
创造一个计算相似性的功能。下面是脚本的主要功能,负责管理计算学生之间相似度的整个过程。
def check_plagiarism():
plagiarism_results = set()
global s_vectors
for student_a, text_vector_a in s_vectors:
new_vectors=s_vectors.copy()
current_index = new_vectors.index((student_a,text_vector_a))
del new_vectors[current_index]
for student_b , text_vector_b in new_vectors:
sim_score =similarity(text_vector_a, text_vector_b)[0][1]
student_pair= sorted((student_a, student_b))
score = (student_pair[0], student_pair[1],sim_score)
plagiarism_results.add(score)
return plagiarism_results
Let’s print plagiarism results
for data in check_plagiarism():
print(data)
最终代码如下检测学生作业中是否存在抄袭行为:
import os
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
student_files = [doc for doc in os.listdir() if doc.endswith( .txt )]
student_notes=[open(File).read() for File in student_files]
vectorize = lambda Text:TfidfVectorizer().fit_transform(Text).toarray()
similarity = lambda doc1, doc2: cosine_similarity([doc1,doc2])
vectors = vectorize(student_notes)
s_vectors= list(zip(student_files, vectors))
def check_plagiarism():
plagiarism_results = set()
global s_vectors
for student_a, text_vector_a in s_vectors:
new_vectors=s_vectors.copy()
current_index = new_vectors.index((student_a,text_vector_a))
del new_vectors[current_index]
for student_b , text_vector_b in new_vectors:
sim_score =similarity(text_vector_a, text_vector_b)[0][1]
student_pair= sorted((student_a, student_b))
score = (student_pair[0], student_pair[1],sim_score)
plagiarism_results.add(score)
return plagiarism_results
for data in check_plagiarism():
print(data)
总结
抄袭检测器完成啦!老师们用起来,广大中小学生们的美梦就此结束了。
哈哈哈!源码基地:#959755565# 进来的小可爱记得三连哦~爱你