SpringBoot进阶教程(八十七)数据压缩

最近在使用Redis的时候，经常遇到一些不常用的大key，对存储有一些负担。就想着把大key压缩一下。压缩可以分很多种，比如拆分JSON字符串​， ​​压缩JSON字符串​，优化JSON体积​，流式处理大型JSON​和分段存储。

v拆分JSON字符串​

1.1按结构拆分​数组拆分​​：若JSON包含大型数组，可将其拆分为多个小数组。

1. // 示例：将大数组拆分为多个子数组
2. JSONArray bigArray = new JSONArray(jsonString);
3. int chunkSize = 100;
4. for (int i = 0; i < bigArray.length(); i += chunkSize) {
5.     JSONArray chunk = new JSONArray();
6.     for (int j = i; j < Math.min(i + chunkSize, bigArray.length()); j++) {
7.         chunk.put(bigArray.get(j));
8.     }
9.     String chunkJson = chunk.toString();
10.     // 处理或保存chunkJson
11. }

复制代码

​​对象拆分​​：若JSON是嵌套对象，可按层级拆分为子对象。
1.2按大小拆分（流式处理）​​使用流式API（如Jackson的JsonParser）逐块读取JSON内容，避免一次性加载到内存：

1. JsonFactory factory = new JsonFactory();
2. try (JsonParser parser = factory.createParser(new File("large.json"))) {
3.     while (parser.nextToken() != null) {
4.         // 逐Token处理，如按特定条件拆分
5.     }
6. }

复制代码

v压缩JSON字符串​

2.1使用GZIP压缩​

1. import java.util.zip.GZIPOutputStream;
2. import java.io.ByteArrayOutputStream;
4. public static byte[] compress(String data) throws IOException {
5.     ByteArrayOutputStream bos = new ByteArrayOutputStream(data.length());
6.     try (GZIPOutputStream gzip = new GZIPOutputStream(bos)) {
7.         gzip.write(data.getBytes());
8.     }
9.     return bos.toByteArray();
10. }
12. // 压缩后的数据可用于传输或存储
13. byte[] compressed = compress(jsonString);

复制代码

2.2使用Deflater压缩​

1. import java.util.zip.Deflater;
3. public static byte[] deflateCompress(String data) {
4.     Deflater deflater = new Deflater();
5.     deflater.setInput(data.getBytes());
6.     deflater.finish();
7.     byte[] buffer = new byte[1024];
8.     ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
9.     while (!deflater.finished()) {
10.         int count = deflater.deflate(buffer);
11.         outputStream.write(buffer, 0, count);
12.     }
13.     deflater.end();
14.     return outputStream.toByteArray();
15. }

复制代码

v优化JSON体积​​

3.1移除无用空格​使用紧凑格式（无缩进、换行）：

1. new JSONObject(jsonString).toString(); // 默认紧凑格式

复制代码

3.2​​缩短键名​将长字段名替换为短名称：

1. {"n":"Alice","a":30} // 原始键名可能为"name"、"age"

复制代码

v流式处理大型JSON​​

使用流式API逐步解析，避免内存溢出：

1. // Jackson流式API示例
2. JsonFactory factory = new JsonFactory();
3. try (JsonParser parser = factory.createParser(new File("large.json"))) {
4.     JsonToken token;
5.     while ((token = parser.nextToken()) != null) {
6.         if (token == JsonToken.START_ARRAY) {
7.             while (parser.nextToken() != JsonToken.END_ARRAY) {
8.                 // 逐条处理数组元素
9.                 JsonNode node = parser.readValueAsTree();
10.                 // 处理node...
11.             }
12.         }
13.     }
14. }

复制代码

v分页处理​

其实也是拆分，将数据拆成若干份
v实践方案

1. import com.fasterxml.jackson.databind.JsonNode;
2. import com.fasterxml.jackson.databind.ObjectMapper;
3. import java.io.ByteArrayInputStream;
4. import java.io.ByteArrayOutputStream;
5. import java.io.IOException;
6. import java.util.zip.GZIPInputStream;
7. import java.util.zip.GZIPOutputStream;
8. import org.apache.commons.codec.binary.Base64;
9. import java.nio.charset.StandardCharsets;
11. public class CompressHelper {
13.     private static final ObjectMapper objectMapper = new ObjectMapper();
15.     /**
16.      * 方式1：去除JSON中的空格/换行等冗余字符（文本压缩）
17.      * @param formattedJson 格式化的JSON字符串（含空格换行）
18.      * @return 紧凑格式的JSON字符串
19.      * @throws IOException JSON解析异常
20.      */
21.     public static String compressJsonByRemovingSpaces(String formattedJson) throws IOException {
22.         JsonNode jsonNode = objectMapper.readTree(formattedJson);
23.         return objectMapper.writeValueAsString(jsonNode);
24.     }
26.     /**
27.      * 方式2：使用GZIP算法对JSON字符串进行二进制压缩（适合网络传输）
28.      * @param json 原始JSON字符串
29.      * @return Base64编码的压缩后字符串（可直接传输）
30.      * @throws IOException 压缩异常
31.      */
32.     public static String compressJsonByGzip(String json) throws IOException {
33.         try (ByteArrayOutputStream byteOut = new ByteArrayOutputStream();
34.              GZIPOutputStream gzipOut = new GZIPOutputStream(byteOut)) {
36.             gzipOut.write(json.getBytes("UTF-8"));
37.             gzipOut.finish();
39.             return Base64.encodeBase64String(byteOut.toByteArray());
40.         }
41.     }
43.     public static String decompressJson(String source) throws IOException {
44.         byte[] compressedData = Base64.decodeBase64(source);
45.         try (ByteArrayInputStream byteIn = new ByteArrayInputStream(compressedData);
46.              GZIPInputStream gzipIn = new GZIPInputStream(byteIn);
47.              ByteArrayOutputStream byteOut = new ByteArrayOutputStream()) {
49.             // 读取压缩数据并解压缩
50.             byte[] buffer = new byte[1024];
51.             int len;
52.             while ((len = gzipIn.read(buffer)) != -1) {
53.                 byteOut.write(buffer, 0, len);
54.             }
55.             return byteOut.toString(StandardCharsets.UTF_8.name());
56.         }
57.     }
58. }

复制代码

v源码地址

https://github.com/toutouge/javademosecond/tree/master/hellolearn

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！