【Rag实用分享】小白也能看懂的文档解析和分割教程

1. 我们要做什么？

我们要做一件“魔术”一样的事情：把一份份“看不懂”的文档，变成电脑能理解、能提问、能回答的格式。我们会教电脑怎么“读文件”“找重点”“分段落”。
就像我们把一本厚厚的书，按小故事一个个剪下来，这样以后看、问、找都方便！
2. 我们需要的工具（环境准备）

就像做蛋糕前要准备面粉、鸡蛋，我们也要先装好工具！
先装 Python（电脑必须装过 Python 才能继续）
接下来打开你的终端或命令行，依次输入这些命令：

1. # 创建虚拟环境（可选）
2. python -m venv env
3. source env/bin/activate  # Windows上是 env\Scripts\activate
5. # 安装我们需要的工具包
6. pip install langchain
7. pip install unstructured
8. pip install beautifulsoup4
9. pip install pymupdf
10. pip install openpyxl
11. pip install python-docx
12. pip install python-pptx
13. pip install modelscope

复制代码

3. 让我们教电脑认识“文档”

电脑不像人，不认识 Word、PDF 这些文件，它只懂“文本”和“结构”这两样东西。
我们要先教它一个“概念”——Document（文档对象）。

1. from langchain.schema import Document
3. doc = Document(
4.     page_content="我是正文内容",
5.     metadata={"source": "我的文件路径.pdf"}
6. )
7. print(doc.page_content)  # 打印正文
8. print(doc.metadata)      # 打印元数据（比如文件名、页数）

复制代码

这就像我们告诉电脑：“这是第几页的内容，它是来自哪里，它的原话是这些。”

4. 解析 HTML 网页

有两种方法：

• 方法一：网页链接直接读（推荐）
  
• 方法二：本地 HTML 文件
  

1. from langchain_community.document_loaders import WebBaseLoader,BSHTMLLoader
3. # 方法一：从网址抓网页内容
4. loader = WebBaseLoader(
5.     "https://flask.palletsprojects.com/en/stable/tutorial/layout/")
6. docs = loader.load()
7. for doc in docs:
8.     print(doc.page_content,doc.metadata)
10. # 方法二：读取本地html文件
11. loader = BSHTMLLoader("student-grades.html")
12. docs = loader.load()
13. for doc in docs:
14.     print(doc.page_content,doc.metadata)

复制代码

我们可以用 BeautifulSoup 自己抓代码块：

1. from bs4 import BeautifulSoup
3. with open("student-grades.html", "r", encoding="utf-8") as f:
4.     html = f.read()
6. soup = BeautifulSoup(html, "html.parser")
7. code_blocks = soup.find_all("td", class_="py-3 px-4")
9. for block in code_blocks:
10.     print(block.get_text())

复制代码

5. 解析 PDF 文件

PDF 是最常见的办公文档。我们用两个方法来解析它。
方法一：简单读取文字内容

1. from langchain.document_loaders import PyMuPDFLoader
3. loader = PyMuPDFLoader("analysisReport.pdf")
4. docs = loader.load()
6. for doc in docs:
7.     print(doc.page_content)

复制代码

方法二：高级自定义——提取表格

安装依赖
pip install pymupdf pandas openpyxl

1. import fitz  # PyMuPDF
2. import pandas as pd
4. # 打开PDF文件
5. doc = fitz.open("analysisReport.pdf")
7. # 创建一个ExcelWriter对象，用于写入多个工作表
8. with pd.ExcelWriter("output_tables.xlsx", engine="openpyxl") as writer:
9.     page_num = 0
10.     for page in doc.pages():
11.         page_num += 1
12.         tables = page.find_tables()
13.         for table_index, table in enumerate(tables, start=1):
14.             df = table.to_pandas()
15.             print(df)
16.             # 写入Excel，每个表格作为一个sheet，命名方式为 Page_1_Table_1 等
17.             sheet_name = f"Page_{page_num}_Table_{table_index}"
18.             df.to_excel(writer, sheet_name=sheet_name, index=False)
19.             print(f"已写入：{sheet_name}")

复制代码

6. Word、PPT、Excel 怎么解析？

Word

1. from docx import Document as DocxDocument
3. doc = DocxDocument("analysisReport.docx")
5. print("文本段落:")
6. for para in doc.paragraphs:
7.     print(para.text)
9. print("表格:")
10. for table in doc.tables:
11.     for row in table.rows:
12.         print([cell.text for cell in row.cells])

复制代码

PPT

1. import os
2. import uuid
4. from pptx import Presentation
6. ppt = Presentation("demo.pptx")
7. # Create a directory to save images if it doesn't exist
8. output_dir = "ppt_images"
9. os.makedirs(output_dir, exist_ok=True)
11. for slide_id, slide in enumerate(ppt.slides):
12.     print(f"\n--- 第{slide_id+1}页 ---")
13.     for shape in slide.shapes:
14.         if shape.has_text_frame:
15.             print("[Text]", shape.text)
16.         elif shape.shape_type == 13:  # picture
17.             print("[Image] 有图片，保存")
18.             try:
19.                 # Get the image
20.                 image = shape.image
22.                 # Generate a unique filename using UUID
23.                 unique_id = uuid.uuid4()
24.                 image_filename = os.path.join(output_dir, f"slide_{slide_id + 1}_image_{unique_id}.{image.ext}")
26.                 # Save the image
27.                 with open(image_filename, 'wb') as img_file:
28.                     img_file.write(image.blob)
30.                 print(f"[Image] Saved: {image_filename}")
32.             except Exception as e:
33.                 print(f"Error saving image: {e}")
34.         elif shape.has_table:
35.             print("[Table]")
36.             for row in shape.table.rows:
37.                 print([cell.text for cell in row.cells])

复制代码

Excel

1. from openpyxl import load_workbook
3. wb = load_workbook("fake.xlsx")
4. sheet = wb.active
6. print("按行打印单元格:")
7. for row in sheet.iter_rows():
8.     print([cell.value for cell in row])
10. print("合并单元格:")
11. for merged_range in sheet.merged_cells.ranges:
12.     print("合并: ", merged_range)

复制代码

7. 把文档“切”成小段落（分块）

方法一：递归文本分块（最常用）

1. from langchain.text_splitter import RecursiveCharacterTextSplitter
3. text_splitter = RecursiveCharacterTextSplitter(
4.     chunk_size=128,
5.     chunk_overlap=30,
6.     separators=["\n", "。", "！", "？"]
7. )
9. docs_split = text_splitter.split_documents(docs)
10. for i, doc in enumerate(docs_split[:3]):
11.     print(f"第{i+1}块：\n{doc.page_content}\n")

复制代码

方法二：语义分块（智能一点）

1. from langchain.embeddings import HuggingFaceEmbeddings
2. from langchain.text_splitter import SemanticChunker
4. embedding = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh")
6. chunker = SemanticChunker(embedding)
7. docs_split = chunker.split_documents(docs)

复制代码

方法三：模型分块（阿里的模型）

1. from modelscope.pipelines import pipeline
3. splitter = pipeline(
4.     task="text-segmentation",
5.     model="damo/nlp_corom_sentence-segmentation_chinese-base"
6. )
8. result = splitter("这是第一句话。这是第二句话。这是第三句话。")
9. print(result)

复制代码

8. 总结一下！

工具名用途安装命令langchain框架，封装 documentpip install langchainunstructured自动识别多种文档pip install unstructuredPyMuPDF解析 PDFpip install pymupdfbeautifulsoup4HTML解析pip install beautifulsoup4python-docxWord处理pip install python-docxpython-pptxPPT处理pip install python-pptxopenpyxlExcel处理pip install openpyxlmodelscope使用 AI 模型pip install modelscope
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！