大家好，我们是成都小火科技，今天是2025年6月30日，星期一。我们公司成立于2013年，有自己的全栈技术开发团队。目前我们开发的APP等软件系统中，90%都有AI的功能。可以这样说，AI可以让传统的软件更进一步，甲方可以选择接入AI功能，或者重新开发AI相关的功能。  

去年我们接了个高校的需求，他们想要一套AI文档查重系统，解决毕业论文抄袭检测的问题。当时市面上的查重工具只能查文字重复，遇到图表、公式就歇菜，而我们的目标是做全类型文档的查重。开发初期，我们用传统的TF-IDF算法测试，发现对改写后的文本识别率只有60%，比如“软件开发”换成“软件研发”就识别不出来，这让我们意识到必须上深度学习模型。  

核心技术架构上，我们采用了“文本向量化+图神经网络”的方案。先用BERT模型把文档转换成768维的语义向量，这样即使句子结构改变，意思相近的文本也能被识别。记得训练模型时，我们爬取了10亿字的学术文献做语料库，用了8块GPU跑了三天三夜，才把模型准确率提升到92%。然后用图神经网络建模文档间的引用关系，比如A文档引用B文档的某个观点，即使文字表述不同，系统也能识别出关联。 

文档预处理模块藏着很多细节。我们支持20多种格式解析，像PDF、Word、PPT都得转换成纯文本。遇到扫描版文档，还得用OCR技术识别文字，起初用开源的Tesseract，在复杂排版下识别率只有75%，后来我们用PaddleOCR做了定制训练，识别率才提到90%。公式处理更麻烦，传统方法把公式转成Latex字符串比对，但“y=kx+b”和“kx+b=y”会被当成不同公式，后来我们用符号计算库SymPy解析公式结构，准确率提升到85%。  相似度计算模块我们做了三级优化。初级阶段用余弦相似度比对语义向量，速度快但不够精准；中级阶段用编辑距离计算句子相似度，能识别改写后的文本；高级阶段引入强化学习，让模型根据历史查重结果自动调整权重。有次检测一篇论文，系统发现作者把某段话拆分成三段混在文中，普通算法没识别出来，但我们的强化学习模型通过上下文关联，准确标记了重复区域。 

系统还加入了AI辅助降重功能。用户上传文档后，系统不仅标出重复处，还会给出改写建议，比如“建议将‘软件开发流程’替换为‘软件研发生命周期’”。这个功能用了序列到序列（Seq2Seq）模型，我们用100万对“原文-改写”数据训练，现在建议的可读性达到82%。有个学生用了降重功能后，论文重复率从35%降到了8%，还特意给我们发来了感谢信。  在隐私保护方面，我们做了三层防护。文档上传时用AES-256加密，存储时拆分成1024个碎片存在不同服务器，查重完成后72小时自动删除。记得给某律所做项目时，他们要求本地部署，我们就开发了离线版查重系统，所有计算都在本地服务器完成，断网状态下也能使用，那次项目让我们积累了私有化部署的经验。 

现在这个系统已经迭代到3.0版本，新加入了跨语言查重功能。我们用mBERT多语言模型，能检测中文、英文、日文等10种语言的文档重复。有次帮出版社检测一本翻译书，发现译者大段照搬了另一本已出版书籍的内容，跨语言查重功能准确识别出了问题。目前系统每天处理超过20万篇文档，最高并发时能同时检测5000篇，响应时间控制在15秒以内。  

开发过程中遇到过不少挑战。有次处理古籍文档，里面的繁体字和异体字让模型犯了难，我们只好手动构建了3万字的古籍词库，才解决了这个问题。还有图表查重，我们用计算机视觉技术提取图表特征，比如折线图的走势、柱状图的比例，现在图表重复识别率达到78%。这些细节优化让系统不仅能查文字，还能查公式、图表、甚至代码片段，真正实现了全类型文档的智能查重。

文章来源网址：https://www.xiaohuokeji.com/index.php/archives/xitongkaifa01/1953，转载请注明出处！