Ai 文本生成式大模型 基础知识
提示工程-RAG-微调工程当中也是这个次序 提示词工程 RAG 微调
[*]先问好问题
[*]再补充知识
[*]最后微调模型
RAG相关技术细节
[*]选择合适的 Chunk 大小对 RAG 流程至关重要。
[*]Chunk 过大：检索精度下降、浪费 Prompt(token) 空间；过小：信息太碎、检索和拼接(embedding)成本高。
[*]综合文档结构、任务需求和模型限制等因素，通常选择数百到一千字左右进行切分。
将文档拆分为合适大小的 Chunk 并向量化存入向量数据库；当用户提出问题时，也将问题向量化并检索相关片段，然后与提示一起传给大语言模型生成答案。
需注意事项，可改变rag结果
[*]文档选择(ppt pdf excel)
[*]chunks大小
[*]embeding选择
[*]用户的问题需要进一步处理
[*]向量数据库检索
[*]raking拿到精排的信息，对相关信息进行排序
[*]prompt设计
[*]使用什么样的大模型LLM(通用大模型还是开源大模型+微调)
[*]回复直接返回还是二次处理
LoRA微调vs全量调整
模型微调，有些时候发现模型在某一个方面能力不够，对模型的改动
全量微调 每个参数都要通过学习的方法得出来 100亿参数要找100亿数得到新的结果
张三写文章，写了2000字，他本人比较啰嗦，还写了重复性的内容。不够简洁，传达的内容是有限的。
怀疑大模型的千亿参数的价值性
大模型学到的千亿参数，但他传达的信息是否还是非常有限？那么全量微调的话可能会浪费资源
“LoRA 微调不会直接修改原有的大模型参数，而是通过在其上叠加一组可训练的低秩矩阵（
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]