摘要
本文详细介绍了基于Python的网络文学抄袭检测系统中爬虫模块的设计与实现。系统采用Scrapy框架结合Selenium动态爬取技术，能够高效地从多个文学网站抓取小说内容，并通过布隆过滤器和Redis实现分布式去重。文章涵盖了技术选型、系统架构、核心代码实现以及性能优化策略，为网络文学版权保护提供了技术解决方案。
关键词：网络爬虫；抄袭检测；Scrapy；Selenium；布隆过滤器；分布式爬虫
1. 引言
随着网络文学的蓬勃发展，文学作品的数量呈现爆炸式增长，与此同时，文学作品的抄袭现象也日益严重。传统的抄袭检测方法主要依赖于人工比对，效率低下且容易遗漏。因此，开发一个自动化的网络文学抄袭检测系统具有重要的现实意义。
爬虫作为抄袭检测系统的数据采集模块，其性能直接决定了系统的检测范围和效率。本文设计的爬虫系统能够从主流文学网站（如起点中文网、晋江文学城等）高效抓取小说内容，为后续的文本相似度计算提供数据支持。
2. 技术选型与系统架构
2.1 技术选型
本系统采用以下技术栈：
- 爬虫框架：Scrapy 2.5+，提供高效的异步爬取能力和完善的中间件机制
- 动态页面处理：Selenium 4.0+配合Chrome Driver，解决JavaScript渲染问题
- 去重机制：Redis布隆过
