lmstudio中配置使用新版fuseo1-32b

新版fuseo1是基于qwq-32b正式版和r1-32b、lightR1合并的，比有新版qwq的加持比旧版能力更强，个人觉得比qwq-32b更强，精度更好，qwq思考过程中有大量的问号不确定，绕着绕着就死循环了，而fuseo1不会这样，而且普通的提问“你好”fuseo1可以直接回复，复杂问题会输出think标签思考，qwq不能自行切换。fuseo1即使是静态q4_k_m量化(下载)也有很棒的精度，但是它的模板有点问题，在lmstudio中直接使用不正确，需要修改模板配置，修改如下：将Reasoning Section Parsing中 改为  

将Prompt Template改为如下

1. {%- if tools %}  
2.     {{- '<|im_start|>system\n' }}  
3.     {%- if messages[0]['role'] == 'system' %}  
4.         {{- messages[0]['content'] }}  
5.     {%- else %}  
6.         {{- '' }}  
7.     {%- endif %}  
8.     {{- "\n\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}  
9.     {%- for tool in tools %}  
10.         {{- "\n" }}  
11.         {{- tool | tojson }}  
12.     {%- endfor %}  
13.     {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{"name": <function-name>, "arguments": }\n</tool_call><|im_end|>\n" }}  
14. {%- else %}  
15.     {%- if messages[0]['role'] == 'system' %}  
16.         {{- '<|im_start|>system\n' + messages[0]['content'] + '<|im_end|>\n' }}  
17.     {%- endif %}  
18. {%- endif %}  
19. {%- for message in messages %}  
20.     {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}  
21.         {{- '<|im_start|>' + message.role + '\n' + message.content + '<|im_end|>' + '\n' }}  
22.     {%- elif message.role == "assistant" and not message.tool_calls %}  
23.         {%- set content = (message.content.split('<|box_end|>')|last).lstrip('\n') %}  
24.         {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}  
25.     {%- elif message.role == "assistant" %}  
26.         {%- set content = (message.content.split('<|box_end|>')|last).lstrip('\n') %}  
27.         {{- '<|im_start|>' + message.role }}  
28.         {%- if message.content %}  
29.             {{- '\n' + content }}  
30.         {%- endif %}  
31.         {%- for tool_call in message.tool_calls %}  
32.             {%- if tool_call.function is defined %}  
33.                 {%- set tool_call = tool_call.function %}  
34.             {%- endif %}  
35.             {{- '\n<tool_call>\n{"name": "' }}  
36.             {{- tool_call.name }}  
37.             {{- '", "arguments": ' }}  
38.             {{- tool_call.arguments | tojson }}  
39.             {{- '}\n</tool_call>' }}  
40.         {%- endfor %}  
41.         {{- '<|im_end|>\n' }}  
42.     {%- elif message.role == "tool" %}  
43.         {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != "tool") %}  
44.             {{- '<|im_start|>user' }}  
45.         {%- endif %}  
46.         {{- '\n<tool_response>\n' }}  
47.         {{- message.content }}  
48.         {{- '\n</tool_response>' }}  
49.         {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}  
50.             {{- '<|im_end|>\n' }}  
51.         {%- endif %}  
52.     {%- endif %}  
53. {%- endfor %}  
54. {%- if add_generation_prompt %}  
55.     {{- '<|im_start|>assistant\n<|box_start|>' }}  
56. {%- endif %}

复制代码

可以愉快的使用啦！

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！