破局AI问答专有名词检索迷局：分词期神器强势登场！

有客户深度使用全文检索模式检索分段，反馈一些专有名词无法被检索到（例如把“小米手机”分成了“小米”和“手机”两个词，对检索结果造成较大干扰），而 MaxKB 的分词器采用流行的 jieba 库，确认了一个临时解决方案。
1、定义自定义字典

1. cat /opt/my_dic.txt
3. 小米手机 1000 n
4. 苹果手机 1000 n

复制代码

字典组成：{词语}空格{词频}空格{词性}

1. 示例：
3. 小米手机 1000 n
4. 小米手机：自定义词语
5. 1000      ：词频，越大优先级越高
6. n            ：词性。名词 (n)、专有名词 (nz)、动词 (v)、形容词 (a)、副词 (d)

复制代码

2、将自定义字典文件拷贝到容器中

1. docker cp /opt/my_dic.txt maxkb:/opt/maxkb/app/apps/common/util/

复制代码

3、split_model.py 引入自定义字典

1. jieba.load_userdict('/opt/maxkb/app/apps/common/util/my_dic.txt')

复制代码

4、测试验证

分段情况：

检索结果

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

用心讨论，共获提升！

过来提前占个楼

过来提前占个楼

懂技术并乐意极积无私分享的人越来越少。珍惜

感谢分享，下载保存了，貌似很强大

东西不错很实用谢谢分享

感谢分享，学习下。

用心讨论，共获提升！

前排留名，哈哈哈

感谢分享

这个好，看起来很实用

感谢分享，学习下。

谢谢分享，辛苦了

分享、互助 让互联网精神温暖你我

用心讨论，共获提升！

感谢，下载保存了

新版吗？好像是停更了吧。

感谢发布原创作品，程序园因你更精彩

过来提前占个楼