| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/gdgy/Class34Grade23ComputerScience |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/gdgy/Class34Grade23ComputerScience/homework/13477 |
| 这个作业的目标 | 实现一个3000字以上论文查重程序 |
github地址：https://github.com/ironlifes/3123004784
一、PSP表格如下
| Process Stages | Process Stages (中文) | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 20 | 15 |
| · Estimate | · 估计这个任务需要多少时间 | 190 | 240 |
| Development | 开发 | 200 | 180 |
| · Analysis | · 需求分析 (包括学习新技术) | 120 | 120 |
| · Design Spec | · 生成设计文档 | 15 | 15 |
| · Design Review | · 设计复审 | 25 | 25 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 20 | 10 |
| · Design | · 具体设计 | 40 | 50 |
| · Coding | · 具体编码 | 50 | 70 |
| · Code Review | · 代码复审 | 30 | 55 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 20 | 30 |
| Reporting | 报告 | 70 | 90 |
| · Test Report | · 测试报告 | 40 | 50 |
| · Size Measurement | · 计算工作量 | 20 | 20 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 20 | 10 |
| · 合计 | 880 | 980 |
二、计算模块接口的设计与实现过程
1、程序整体结构
d:\java code\rjgc/
├── src/ # 源代码目录
│ ├── Main.java # 主程序入口和测试类
│ ├── PaperChecker.java # 原始论文查重实现
│ ├── OptimizedPaperChecker.java # 优化版论文查重算法
│ └── PerformanceAnalyzer.java # 性能分析工具类
├── out/ # 编译输出目录
│ └── production/rjgc/ # 编译后的class文件
├── orig.txt # 原始论文文本文件
├── orig_add.txt # 抄袭版论文文本文件
├── ans.txt # 查重结果输出文件
└── .idea/ # IntelliJ IDEA配置文件
2、程序流程图
graph TD%% 全局设置classDef user fill:#add8e6,stroke:#000000;classDef entry fill:#90ee90,stroke:#000000;classDef algorithm fill:#ffffcc,stroke:#000000;classDef performance fill:#ffb6c1,stroke:#000000;classDef data fill:#b0e0e6,stroke:#000000;classDef specificAlgorithm fill:#fffacd,stroke:#000000;%% 用户层subgraph "用户层" user[用户]:::userend%% 入口层subgraph "入口层" main["Main.java\n测试入口"]:::entrypaperCheckerMain["PaperChecker.java\n主程序入口"]:::entryend%% 算法层subgraph "算法层" paperChecker["PaperChecker.java\n基础算法实现"]:::algorithmoptimizedPaperChecker["OptimizedPaperChecker.java\n优化算法实现"]:::algorithm%% 具体算法cosineSimilarity["余弦相似度算法"]:::specificAlgorithmsimpleMatch["简单词频匹配算法"]:::specificAlgorithmjaccardSimilarity["Jaccard相似度算法"]:::specificAlgorithmsimHash["SimHash算法"]:::specificAlgorithmend%% 性能分析层subgraph "性能分析层" performanceAnalyzer["PerformanceAnalyzer.java\n性能分析工具"]:::performanceend%% 数据层subgraph "数据层" fileIO["文件读写操作"]:::datatokenization["文本分词处理"]:::datatfCalculation["词频计算"]:::dataend%% 连接关系 - 用户交互user -->|运行主程序| paperCheckerMainuser -->|运行测试| main%% 主程序流程paperCheckerMain -->|读取文件| fileIOpaperCheckerMain -->|调用算法| paperCheckerpaperCheckerMain -->|写入结果| fileIOpaperCheckerMain -->|记录性能| performanceAnalyzer%% 测试流程main -->|测试基础算法| paperCheckermain -->|测试优化算法| optimizedPaperCheckermain -->|记录测试性能| performanceAnalyzer%% 算法调用关系paperChecker -->|默认算法| cosineSimilaritypaperChecker -->|可选算法| simpleMatchpaperChecker -->|可选算法| jaccardSimilaritypaperChecker -->|分词| tokenizationpaperChecker -->|计算词频| tfCalculationoptimizedPaperChecker -->|优化版本| cosineSimilarityoptimizedPaperChecker -->|新增算法| simHashoptimizedPaperChecker -->|优化分词| tokenizationoptimizedPaperChecker -->|优化词频计算| tfCalculation%% 性能分析调用paperChecker -->|性能监控| performanceAnalyzeroptimizedPaperChecker -->|性能监控| performanceAnalyzer%% 辅助流程cosineSimilarity -->|使用词频| tfCalculation%% 图例说明legend["图例说明:"]legend --> legend1["→ 数据流向"]legend --> legend2[":::user 用户层"]legend --> legend3[":::entry 入口层"]legend --> legend4[":::algorithm 算法层"]legend --> legend5[":::performance 性能分析层"]legend --> legend6[":::data 数据层"]
3、算法关键与独到之处
3.1 余弦相似度算法
- 核心思想：将文本转换为向量空间中的向量，计算两个向量之间的夹角余弦值
- 实现步骤：文本分词 → 计算词频 → 构建向量 → 计算余弦值
- 独到之处：考虑了词频因素，对于较长文本有较好的区分度
3.2 SimHash算法
- 核心思想：将高维特征向量压缩为低维指纹，通过汉明距离衡量相似度
- 实现步骤：文本分词 → 计算每个词的哈希值 → 更新向量 → 生成最终哈希值
- 独到之处：适用于大规模文本比较，计算效率高，空间占用小
三、计算模块接口部分的性能改进
1、性能改进思路
1.1 分词算法优化：
- 将正则表达式分词改为字符遍历分词
- 对于中文文本，采用更高效的二元语法分词策略
- 使用StringBuilder代替字符串拼接操作
1.2 词频计算优化：
- 预分配HashMap容量，减少扩容开销
- 使用compute方法替代getOrDefault+put操作
1.3 余弦相似度计算优化：
- 选择较小的集合进行迭代，减少循环次数
- 预先计算向量模长，避免重复计算
1.4 新增SimHash算法：
- 针对大文本比较场景，提供更高效的相似度计算方法
- 使用位运算优化哈希值计算过程
2、性能分析图
3、性能对比数据
| 操作 | 原始算法耗时(ms) | 优化算法耗时(ms) | 性能提升 |
|---|---|---|---|
| 文件读取 | 0.456 | 0.280 | ~39% |
| 文件写入 | 0.321 | 0.215 | ~33% |
| 文本分词 | 2.143 | 1.331 | ~38% |
| 词频计算 | 1.897 | 0.942 | ~50% |
| 余弦相似度计算 | 3.568 | 1.476 | ~59% |
| 整体性能 | 45.32 | 15.637 | ~66% |
四、计算模块部分单元测试展示
1、单元测试代码
/*** 测试基本功能*/
private static void testBasicFunctionality() {System.out.println("\n--- 基本功能测试 ---");String original = "今天是星期天，天气晴，今天晚上我要去看电影。";String plagiarized = "今天是周天，天气晴朗，我晚上要去看电影。";String different = "这是一段完全不同的文本内容，与原文没有任何关系。";// 测试相同文本double sameSimilarity = PaperChecker.calculateSimilarity(original, original);System.out.printf("相同文本相似度: %.2f%%\n", sameSimilarity);// 测试相似文本double similarSimilarity = PaperChecker.calculateSimilarity(original, plagiarized);System.out.printf("相似文本相似度: %.2f%%\n", similarSimilarity);// 测试不同文本double differentSimilarity = PaperChecker.calculateSimilarity(original, different);System.out.printf("不同文本相似度: %.2f%%\n", differentSimilarity);
}/*** 测试多种算法*/
private static void testDifferentAlgorithms() {System.out.println("\n--- 多种算法测试 ---");String original = "今天是星期天，天气晴，今天晚上我要去看电影。";String plagiarized = "今天是周天，天气晴朗，我晚上要去看电影。";double cosineSimilarity = PaperChecker.calculateSimilarityWithCosine(original, plagiarized);double simpleMatchSimilarity = PaperChecker.calculateSimilarityWithSimpleMatch(original, plagiarized);double jaccardSimilarity = PaperChecker.calculateSimilarityWithJaccard(original, plagiarized);double simHashSimilarity = OptimizedPaperChecker.calculateSimilarityWithSimHash(original, plagiarized);System.out.printf("余弦相似度: %.2f%%\n", cosineSimilarity);System.out.printf("简单匹配相似度: %.2f%%\n", simpleMatchSimilarity);System.out.printf("Jaccard相似度: %.2f%%\n", jaccardSimilarity);System.out.printf("SimHash相似度: %.2f%%\n", simHashSimilarity);
}/*** 大规模数据测试*/
private static void testLargeScaleData() {System.out.println("\n--- 大规模数据测试 ---");// 创建大规模测试数据StringBuilder originalBuilder = new StringBuilder();StringBuilder plagiarizedBuilder = new StringBuilder();for (int i = 0; i < 10000; i++) {originalBuilder.append("这是一段用于大规模测试的文本内容，包含各种不同的词汇和句子结构。");if (i % 7 != 0) { // 约70%的内容保持一致plagiarizedBuilder.append("这是一段用于大规模测试的文本内容，包含各种不同的词汇和句子结构。");} else {plagiarizedBuilder.append("这是替换后的不同内容，用于测试算法在大规模数据下的表现和准确性。");}}String original = originalBuilder.toString();String plagiarized = plagiarizedBuilder.toString();// 测试优化算法和SimHash算法long startTime = System.currentTimeMillis();double optimizedResult = OptimizedPaperChecker.optimizedCalculateSimilarity(original, plagiarized);long optimizedTime = System.currentTimeMillis() - startTime;startTime = System.currentTimeMillis();double simHashResult = OptimizedPaperChecker.calculateSimilarityWithSimHash(original, plagiarized);long simHashTime = System.currentTimeMillis() - startTime;System.out.println("===== 大规模数据测试结果 ====");System.out.printf("优化余弦相似度算法: %d ms, 结果: %.2f%%\n", optimizedTime, optimizedResult);System.out.printf("SimHash算法: %d ms, 结果: %.2f%%\n", simHashTime, simHashResult);System.out.printf("预期相似度约为70%%，因为约30%%的内容被替换\n");
}
2、测试数据构造思路
2.1 基本功能测试：
- 构造相同文本：验证算法是否能正确识别完全相同的文本
- 构造相似文本：验证算法对近义词、语序变化的敏感度
- 构造不同文本：验证算法对完全不同内容的区分能力
2.2 多种算法测试：
- 使用相同的测试数据对比四种不同算法的结果差异
- 分析各算法的优缺点和适用场景
2.3 大规模数据测试：
- 生成包含10000段文本的大规模测试数据
- 控制相似度比例（约70%内容相同），验证算法在大数据量下的性能和准确性
五、计算模块部分异常处理说明
1、异常设计目标
本系统设计了以下几种异常处理机制，确保系统在各种情况下能够稳定运行：
参数验证异常：确保程序接收到正确的参数格式和数量
文件操作异常：处理文件不存在、权限不足等问题
内存溢出防护：避免处理超大文件时出现内存问题
算法计算异常：确保在边界情况下（如空文本）算法能够正常工作
2、异常处理示例
参数验证异常
public static void main(String[] args) {if (args.length != 3) {System.out.println("Usage: java -jar main.jar [原文文件] [抄袭版论文的文件] [答案文件]");System.exit(1);}// 后续代码...
}
场景说明：当用户未提供正确数量的命令行参数时，系统会显示正确的使用方法并退出，避免后续代码因参数错误而崩溃。
文件操作异常
try {// 开始测量整个程序执行时间PerformanceAnalyzer.start("整个程序执行");String originalText = readFile(originalFilePath);String plagiarizedText = readFile(plagiarizedFilePath);double similarity = calculateSimilarity(originalText, plagiarizedText);writeFile(outputFilePath, similarity);// 结束测量并打印性能统计PerformanceAnalyzer.end("整个程序执行");PerformanceAnalyzer.printStatistics();
} catch (Exception e) {e.printStackTrace();
}
场景说明：当文件不存在、路径错误或权限不足时，系统会捕获异常并打印详细的错误信息，方便用户排查问题。
边界情况处理
// 计算余弦相似度
static double calculateCosineSimilarity(Map<String, Integer> tf1, Map<String, Integer> tf2) {// 计算点积double dotProduct = 0;for (String word : tf1.keySet()) {if (tf2.containsKey(word)) {dotProduct += tf1.get(word) * tf2.get(word);}}// 计算向量长度double magnitude1 = 0;for (int count : tf1.values()) {magnitude1 += count * count;}magnitude1 = Math.sqrt(magnitude1);double magnitude2 = 0;for (int count : tf2.values()) {magnitude2 += count * count;}magnitude2 = Math.sqrt(magnitude2);// 计算余弦相似度if (magnitude1 == 0 || magnitude2 == 0) {return 0; // 处理空向量情况}return dotProduct / (magnitude1 * magnitude2);
}
场景说明：当输入为空文本或两个文本没有共同词汇时，会出现向量模长为0的情况，此时返回相似度为0，避免除零异常。
六、总结
本论文查重系统通过采用多种相似度计算算法，实现了高效准确的文本相似度检测功能。通过性能分析和优化，我们成功将系统整体性能提升了约66%，特别是在处理大规模文本时表现更为突出。
系统的主要亮点包括：
- 支持多种相似度计算算法（余弦相似度、简单词频匹配、Jaccard相似度、SimHash）
- 提供了全面的性能分析工具，方便开发者进行性能优化
- 针对中文文本特点进行了专门的分词优化
- 具备良好的异常处理机制，确保系统稳定运行
- 提供了丰富的测试方法，便于功能验证和性能评估
通过本项目，我不仅学习了各种文本相似度计算算法的原理和实现方法，还深入了解了性能分析和优化的技巧，提高了系统设计和代码实现的能力。