知识库-向量化功能-读取PDF文件内容的方法

知识库-向量化功能-读取PDF文件内容的方法

一、核心逻辑

基于Apache PDFBox组件解析PDF文件，仅提取原生文本内容（不处理图片、扫描件，也不涉及OCR光学字符识别），解析后对文本做格式化处理，为后续向量化提供干净的数据源。

二、依赖配置（Maven）

<!-- PDF文本解析核心依赖 --> <dependency> <groupId>org.apache.pdfbox</groupId> <artifactId>pdfbox</artifactId> <version>3.0.2</version> <!-- 稳定版本，兼容主流PDF格式 --> </dependency>

说明：PDFBox 3.0.2适配Java 8+，若项目为低版本Java，可降级至2.0.x系列（如2.0.32）。

三、核心实现代码

3.1 配置类（支持扩展OCR）

import org.apache.pdfbox.pdmodel.PDDocument; import org.apache.pdfbox.text.PDFTextStripper; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.List; /** * PDF解析配置类（预留OCR扩展能力，默认仅提取原生文本） */ public static class Config { // 核心配置：是否提取原生文本（默认开启） private boolean extractNativeText = true; // OCR扩展配置（当前功能未启用，仅预留） private String ocrLanguage = "chi_sim+eng"; // 识别语言（中文+英文） /** * 设置是否提取原生文本 * @param enable 开启/关闭 * @return 配置对象（链式调用） */ public Config extractNativeText(boolean enable) { this.extractNativeText = enable; return this; } /** * 设置OCR识别语言（预留配置） * @param lang 语言编码（如chi_sim=简体中文，eng=英文） * @return 配置对象（链式调用） */ public Config ocrLanguage(String lang) { this.ocrLanguage = lang; return this; } // 配置项getter（按需添加） public boolean isExtractNativeText() { return extractNativeText; } public String getOcrLanguage() { return ocrLanguage; } }

3.2 结果封装类

/** * PDF解析结果封装类 */ public static class OcrResult { // 原生文本内容（核心字段） public String nativeText = ""; // OCR文本（预留字段，当前未启用） public String ocrText = ""; // 图片路径（预留字段，当前未启用） public List<String> imagePaths = new ArrayList<>(); /** * 获取合并后的文本（当前仅返回原生文本） * @return 格式化后的原生文本 */ public String getCombinedText() { return nativeText; } }

3.3 核心解析方法

/** * 核心PDF处理方法（仅提取原生文本） * @param pdfFile 待解析的PDF文件 * @param config 解析配置 * @return 解析结果对象 * @throws Exception 文件读取/解析异常 */ public static OcrResult process(File pdfFile, Config config) throws Exception { OcrResult result = new OcrResult(); // 资源自动关闭，避免文件句柄泄漏 try (PDDocument doc = org.apache.pdfbox.Loader.loadPDF(pdfFile)) { // 仅处理原生文本提取（核心逻辑） if (config.isExtractNativeText()) { String nativeText = extractNativeText(doc); result.nativeText = nativeText; // 预留：智能触发OCR的逻辑（当前功能未启用） // boolean needOcr = nativeText.trim().length() < 100; // 示例：文本过短时触发OCR } // OCR处理逻辑（当前功能未启用，预留扩展） } return result; } /** * 提取PDF原生文本 * @param doc PDF文档对象 * @return 原始文本内容 * @throws IOException 解析异常 */ private static String extractNativeText(PDDocument doc) throws IOException { PDFTextStripper stripper = new PDFTextStripper(); // 可选：设置提取页码范围（如stripper.setStartPage(1); stripper.setEndPage(5);） return stripper.getText(doc); }

3.4 文本格式化方法

/** * 格式化PDF解析后的文本，清理冗余字符 * @param content 原始解析文本 * @return 格式化后的干净文本 */ public static String trimContent(String content) { if (content == null || content.isEmpty()) { return ""; } return content .replaceAll("-\\n", "") // 合并PDF断行（如"文本-\\n换行"→"文本换行"） .replaceAll("\\s{2,}", " ") // 压缩连续空格（多个空格→单个空格） .replaceAll("(?m)^\\d+$", "") // 删除纯数字页码行（仅匹配整行数字） .replaceAll("\\r\\n|\\r|\\n", " ") // 统一换行符为空格 .trim(); // 去除首尾空白 }

3.5 统一调用入口

/** * 统一读取PDF文件文本内容 * @param filePath PDF文件绝对路径 * @return 格式化后的纯文本 * @throws RuntimeException 解析失败异常 */ public static String getContent(String filePath) { // 初始化配置：仅提取原生文本，预留OCR语言配置 Config config = new Config() .extractNativeText(true) .ocrLanguage("chi_sim+eng"); // 中文+英文（预留配置） try { File file = new File(filePath); // 前置校验：文件存在性、合法性 if (!file.exists()) { throw new FileNotFoundException("PDF文件不存在：" + filePath); } if (!file.isFile() || !filePath.endsWith(".pdf")) { throw new IllegalArgumentException("非合法PDF文件：" + filePath); } OcrResult result = process(file, config); String combinedText = result.getCombinedText(); // 格式化文本，返回干净数据 return trimContent(combinedText); } catch (Exception e) { throw new RuntimeException("PDF文本提取失败: " + e.getMessage(), e); } }

四、核心设计说明

4.1 关键优化点

4.2 方法调用示例

// 调用示例 public static void main(String[] args) { try { String pdfText = getContent("D:/test.pdf"); System.out.println("PDF解析后的文本：" + pdfText); } catch (RuntimeException e) { System.err.println("解析失败：" + e.getMessage()); e.printStackTrace(); } }

五、注意事项

1. 格式支持范围：仅支持原生文本PDF（可复制文字的PDF），扫描件/图片型PDF解析后无内容（需扩展OCR）；
2. 特殊内容处理：PDFBox会忽略PDF中的图片、表单、批注，仅提取文本；若需解析表格，需额外适配PDFTextStripperByArea；
3. 性能优化：解析大PDF（>100MB）时，建议分页码解析（设置startPage/endPage），避免内存溢出；
4. 编码问题：PDFBox默认采用UTF-8编码，解析乱码时可检查PDF文件本身的编码格式；
5. 依赖冲突：若项目中存在其他PDFBox版本，需统一为3.0.2，避免NoSuchMethodError；
6. 权限问题：解析网络路径/只读文件时，需确保文件读取权限，避免AccessDeniedException。

六、扩展建议

1. 分页码解析：在extractNativeText方法中增加页码范围参数，支持指定页码提取；
2. 异步解析：结合线程池实现大批量PDF异步解析，提升处理效率；
3. OCR扩展：集成Tesseract OCR，实现“原生文本+OCR”混合解析（适配扫描件PDF）；
4. 进度监控：解析大文件时增加进度回调，便于前端展示解析进度；
5. 容错处理：对损坏的PDF文件增加重试机制，或返回空字符串避免程序崩溃；
6. 日志记录：增加解析日志（文件路径、解析耗时、文本长度），便于问题排查；
7. 大小限制：在getContent方法中增加文件大小校验（如限制最大解析200MB），避免内存耗尽。