聊聊SpringAI流式输出的底层实现？

在 Spring AI 中，流式输出（Streaming Output）是一种逐步返回 AI 模型生成结果的技术，允许服务器将响应内容分批次实时传输给客户端，而不是等待全部内容生成完毕后再一次性返回。
这种机制能显著提升用户体验，尤其适用于大模型响应较慢的场景（如生成长文本或复杂推理结果）。
技术实现

在 Spring AI 中流式输出的实现有以下两种方式：

• 通过 ChatModel 实现流式输出。
  
• 通过 ChatClient 实现流式输出。
  

ChatModel 流式输出

Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现：

1. @RequestMapping(value = "/streamChat", produces = "text/event-stream")
2. public Flux<String> streamChat(@RequestParam(value = "msg") String msg) {
3.     return chatModel.stream(msg);
4. }

复制代码

ChatClient 流式输出

ChatClient 流式输出实现也很简单，也是调用 stream().content() 返回 Flux 对象即可：

1. @RequestMapping("/stream")
2. public Flux<String> stream(String question) {
3.     return chatClient.prompt(question)
4.             .stream()
5.             .content();
6. }

复制代码

底层实现

那么问题来了流式输出的底层实现究竟是啥呢？
根据以往的经验我们知道，流式输出的实现技术基本有两种：

• Spring MVC（Servlet）+ SSE 实现流式输出。
  
• Spring WebFlux Reactor 模型实现流式输出。
  

SSE 介绍

SSE（Server-Sent Events）是一种允许服务器向浏览器或其他客户端推送实时更新的技术。它是一种单向通信机制，服务器可以主动向客户端发送数据，而客户端无需频繁轮询服务器请求数据。SSE 是基于 HTTP 协议的，使用标准的 text/event-stream MIME 类型来传输数据。
SSE 主要特点

• 单向通信：SSE 仅支持服务器到客户端的单向通信，客户端不能向服务器发送消息。如果需要双向通信，可以结合 WebSocket 或其他技术。
  
• 基于 HTTP：SSE 使用标准的 HTTP 协议，不需要额外的协议支持，因此兼容性较好。
  
• 自动重连：客户端在连接中断后会自动尝试重新连接。
  
• 数据格式：SSE 数据以特定的格式发送，每条消息以 data: 开头，以两个换行符 \n\n 结尾。
  
• 事件类型：可以为每条消息指定事件类型，客户端可以通过监听特定事件类型来处理不同的消息。
  

Spring MVC（Spring Web）底层是基于 Servlet 实现的，它是使用 SseEmitter 技术实现 SSE 协议实现流式输出的。
SseEmitter 基本用法

这里提供一个 SseEmitter 的简单使用案例，实现流式输出，让大家更好的理解这个技术点：
[code]import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.RestController;import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;import java.io.IOException;@RestControllerpublic class SseDemoController {    @GetMapping(value = "/sse-demo", produces = "text/event-stream")    public SseEmitter streamData() {        // 设置超时时间（单位：毫秒）        SseEmitter emitter = new SseEmitter(30_000L); // 30秒超时        // 异步任务模拟流式输出        new Thread(() -> {            try {                for (int i = 1; i