1. LangChain4j 初识,想使用Java开发AI应用?
1. 简介LangChain4j 是一个基于 Java 的开源框架,用于开发 人工智能驱动的应用程序,尤其是涉及 大语言模型(LLM)交互 的场景。它的设计目标是简化开发者与大语言模型的集成过程,提供一套工具和组件来处理复杂的 LLM 应用逻辑,例如对话管理、提示工程、工具调用等。
核心功能与特点
[*]大语言模型集成
[*]支持多种 LLM 接入方式,包括:
[*]本地运行的开源模型(如 Llama 2、ChatGLM 等)。
[*]第三方 API 模型(如 OpenAI 的 GPT 系列、Anthropic 的 Claude 等)。
[*]通过统一的接口抽象,降低模型切换的成本。
[*]提示工程工具
[*]提供模板化的提示构建器,帮助开发者结构化输入(如填充变量、管理上下文历史)。
[*]支持动态组合提示链(Prompt Chain),例如根据用户问题逐步调用不同的提示模板。
[*]对话状态管理
[*]维护多轮对话的上下文,支持记忆管理(如设置上下文窗口大小、选择性遗忘旧信息)。
[*]可集成外部知识库(如向量数据库)实现长期记忆。
[*]工具调用能力
[*]支持调用外部工具(如计算器、数据库查询、API 接口等),并将工具返回结果整合到 LLM 的回答中。
[*]提供工具调用的决策逻辑(如判断何时需要调用工具、如何解析工具返回结果)。
[*]链式流程编排
[*]通过 Chain 机制编排多个组件(如提示生成、工具调用、结果处理),形成复杂的工作流。
[*]典型场景:问答系统中先调用搜索引擎获取实时数据,再用 LLM 生成回答。
[*]扩展性与生态
[*]基于 Java 生态,可轻松与 Spring框架集成。
[*]支持自定义组件(如自定义提示策略、工具适配器),灵活适配业务需求。
2. 话不多说,直接展示
本章主要通过单元测试的方式展示LangChain4j的各项功能,后续会出通过LangChain4j Starter的方式快速集成SpringBoot。
使用SDK版本信息如下:
Java: 21
SpringBoot: 3.4.5
LangChain4j: 1.0.1
AI 模型主要使用的是阿里的百炼平台免费的token,需要ApiKey的可以自行去申请, 平台地址如下:
https://bailian.console.aliyun.com/?tab=model#/model-market
3. Maven
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
spring-boot-starter-parent</artifactId>
<version>3.4.5</version>
<relativePath/>
</parent>
<groupId>com.ldx</groupId>
langchain-test</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>langchain-test</name>
<description>langchain-test</description>
<properties>
<java.version>21</java.version>
<langchain4j.version>1.0.1</langchain4j.version>
<guava.version>33.0.0-jre</guava.version>
</properties>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>dev.langchain4j</groupId>
langchain4j-bom</artifactId>
<version>${langchain4j.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>dev.langchain4j</groupId>
langchain4j</artifactId>
</dependency>
<dependency>
<groupId>com.google.guava</groupId>
guava</artifactId>
<version>${guava.version}</version>
</dependency>
<dependency>
<groupId>dev.langchain4j</groupId>
langchain4j-open-ai</artifactId>
</dependency>
<dependency>
<groupId>dev.langchain4j</groupId>
langchain4j-reactor</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
maven-compiler-plugin</artifactId>
</plugin>
<plugin>
<groupId>org.springframework.boot</groupId>
spring-boot-maven-plugin</artifactId>
<configuration>
<excludes>
<exclude>
<groupId>org.projectlombok</groupId>
lombok</artifactId>
</exclude>
</excludes>
</configuration>
</plugin>
</plugins>
</build>
</project>4. 构建模型对象
// 普通的对话模型
private static ChatModel chatModel;
// 流式对话的模型(可以模拟gpt的打字机效果)
private static StreamingChatModel streamingChatModel;
@BeforeAll
public static void init_chat_model() {
chatModel = OpenAiChatModel
.builder()
// apikey 通过环境变量的方式注入,大家可以使用自己的apikey
.apiKey(System.getenv("LLM_API_KEY"))
.modelName("qwen-plus")
.baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1")
.build();
streamingChatModel = OpenAiStreamingChatModel
.builder()
.apiKey(System.getenv("LLM_API_KEY"))
.modelName("qwen-plus")
.baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1")
.build();
}5. 返回字符串
@Test
public void should_return_str_when_use_normal_chat() {
String q = "你是谁";
String content = chatModel.chat(q);
log.info("call ai q: {}\na: {}", q, content);
}测试结果如下:
22:12:37.807 INFO com.ldx.langchaintest.lowapi.AiChatTest -- call ai q: 你是谁
a: 我是通义千问,阿里巴巴集团旗下的超大规模语言模型。我能够回答问题、创作文字,比如写故事、公文、邮件、剧本等,还能进行逻辑推理、编程,甚至表达观点和玩游戏。我在多国语言上都有很好的掌握,能为你提供多样化的帮助。有什么我可以帮到你的吗?6. 返回流
这里使用flux对象接收流式返回的结果
如果想流式的返回给前端,也可以使用SSE的方式返回(代码注释的部分)
@Test
public void should_return_stream_when_use_stream_model() {
Sinks.Many<String> sinks = Sinks
.many()
.multicast()
.onBackpressureBuffer();
Flux<String> flux = sinks.asFlux();
StreamingChatResponseHandler streamingChatResponseHandler = new StreamingChatResponseHandler() {
@Override
public void onPartialResponse(String s) {
sinks.tryEmitNext(s);
}
@Override
public void onCompleteResponse(ChatResponse chatResponse) {
sinks.tryEmitComplete();
}
@Override
public void onError(Throwable throwable) {
sinks.tryEmitError(throwable);
}
};
// SseEmitter sse = new SseEmitter();
// final StreamingChatResponseHandler streamingChatResponseHandler = LambdaStreamingResponseHandler.onPartialResponseAndError(s -> {
// try {
// log.info("ai response stream data: {}", s);
// sse.send(s);
// } catch (IOException e) {
// throw new RuntimeException(e);
// }
// }, e -> sse.complete());
streamingChatModel.chat("你是谁", streamingChatResponseHandler);
flux
.toStream()
.forEach(partial -> log.info("ai response stream data: {}", partial));
}测试结果如下:
22:45:26.442 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 我是
22:45:26.444 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 通
22:45:26.444 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 义
22:45:26.541 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 千问,阿里巴巴
22:45:26.771 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 集团旗下的通义
22:45:26.790 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 实验室自主研发的超
22:45:26.949 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 大规模语言模型。
22:45:27.103 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 我能够回答问题
22:45:27.199 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 、创作文字,
22:45:27.320 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 比如写故事、
22:45:27.482 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 写公文、
22:45:27.586 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 写邮件、写
22:45:27.789 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 剧本、逻辑推理
22:45:27.863 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 、编程等等,
22:45:27.982 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 还能表达观点,
22:45:28.435 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 玩游戏等。如果你
22:45:28.453 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 有任何问题或需要
22:45:28.576 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 帮助,欢迎随时
22:45:28.665 INFO com.ldx.langchaintest.lowapi.AiChatTest -- ai response stream data: 告诉我!7. 提示词/模板
@Testpublic void should_return_prompt_content_when_use_prompt() { // 申明系统提示词 // SystemMessage systemMessage = Prompt.from("你是一名java专家,请协助用户解决相应的专业性问题").toSystemMessage(); // 申明提示词模板 final PromptTemplate promptTemplate = new PromptTemplate("""
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页:
[1]