煅汾付 发表于 7 天前

SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?

在 5 月和 6 月,SeaTunnel 社区迎来了一轮密集更新:2.3.11 正式发布,新增对 Databend、Elasticsearch 向量、HTTP 批量写入、ClickHouse 多表写入等多个连接器能力,全面提升了数据同步灵活性。同时,近 100 个修复与优化 PR 合入,涵盖 Spark 引擎并行性修复、Paimon 精度兼容性增强、Mongo-CDC ExactlyOnce 默认值优化、Oracle DDL 类型支持补全等核心问题,稳定性和兼容性持续升级。
此外,Merge 之星榜单也已揭晓,感谢所有活跃贡献者对社区建设的持续投入!
月度Merge之星

感谢以下小伙伴 5、6 月份为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):

@hawk9821,@CosmosNi,@suntectec,@zhangshenghang,@dailai,@fcb-xiaobo,@Hisoka-X,@jw-itq,@ocean-zhc,@liudechang,@xiaochen-zhou,@itnccuong,@Adamyuanyuan,@e-mhui,@SEZ9,@misi1987107,@hailin0,@prclin,@dybyte,@chl-wxp,@Zzih,@liunaijie,
@litiliu,@papadave66,@scienceyang,@emmanuelmoon,@ShuiMu-peng,@hantmac,@corgy-w,@sohurdc,@joexjx,@mrtisttt,@dyp12,@yzeng1618,@zhilinli123,@WenDing-Y
apache/seatunnel仓库

修复


[*] Sink的 plugin_input 配置不正确@e-mhui
[*] 优化 Paimon 的 DECIMAL 类型检查以防止精度丢失@xiaochen-zhou
[*] 更新批处理模式和只写模式的 waitCompaction 值@xiaochen-zhou
[*] 修复 starrocks 小数列定义生成 #9470@prclin
[*] 修复了负载驱动不准确的情况@chl-wxp
[*] 端到端测试错误@WenDing-Y
[*] 修复主节点切换时的操作线程泄漏@Hisoka-X
[*] 修复 Iceberg 时间戳类型的时区问题@yzeng1618
[*] 修复重复依赖项@litiliu
[*] 修复 mongo 的 ExactlyOnce 默认为 true 导致 room 出现故障的问题@jw-itq
[*] 修复 Paimon 中小数类型精度不兼容时的 NPE 问题@hawk9821
[*] 修复发布打包异常@hawk9821
[*] 更正批量大小每扫描选项的键中的拼写错误@corgy-w
[*] 在 SeaTunnelRow 中设置默认 tableid 以进行 Debezium JSON 反序列化@corgy-w
[*] 将 SeaTunnelTask 中的 parallelStream 改为 stream 以避免类加载器不匹配@sohurdc
[*] Oracle CDC 在启用 LOB 时未更新事务提交@Hisoka-X
[*] 日期格式字符串中 'T' 的正确处理@corgy-w
[*] 箭头到Seatunnel行读取器转换Seatunnel行值 添加处理第二个TIMESTAMP类型@dyp12
[*] 修复 OceanBase Oracle 不支持的数据类型创建@Hisoka-X
[*] 修复 Kafka 中偏移量为 -1 时的 IllegalArgumentException@WenDing-Y
[*] 修复无效的 MIME 类型@litiliu
[*] 将 iris docker 版本更新为修复 ci@Hisoka-X
[*] Kafka的固定端到端测试用例未能按预期工作@WenDing-Y
[*] 修复源并行性在 Spark 引擎上无法正常工作的问题@joexjx
[*] 修复 Prometheus 检查时间无法解析双精度值@chl-wxp
[*] 修复更新构建状态操作错误@Hisoka-X
[*] 修复 PostgreSQL sink 尝试更新唯一键 #9293@papadave66
[*] 禁用死链检查@Hisoka-X
[*] 将 continue-on-error 设置为 true 以处理死链任务@Hisoka-X
[*] 修复 Hive 客户端线程不安全问题@corgy-w
[*] SeaTunnelClient 无法带错误退出@CosmosNi
[*] 修复构建 ClickHouse 节点时缺失选项配置的问题@mrtisttt
[*] 从健全性检查中移除死链检查@Hisoka-X
[*] 修复 OceanBase MySQL JDBC sink 创建语句错误@Hisoka-X
[*] 修复极端情况下的检查点调度丢失问题@Hisoka-X
[*] 修复自定义 UDF 抛出异常@hawk9821
优化


[*] 套接字选项@liunaijie
[*] 表存储选项@liunaijie
[*] 移除不必要的取消引用方法并简化日期解析@corgy-w
[*] 支持在upsert会话模式下使用MaxCompute输出写入器进行upsert/删除操作@dybyte
[*] Paimon 支持的投影更新@WenDing-Y
[*] 删除 JDBC 参数 support_upsert_by_query_primary_key_exist@chl-wxp
[*] 实现过滤器@WenDing-Y
[*] 将开始时间添加到作业信息中@hawk9821
[*] TDengine 选项@liunaijie
[*] Typesense 选项@liunaijie
[*] 向BinaryReadStrategy添加可配置的二进制块大小支持@CosmosNi
[*] 添加 presto/trino 语法@dyp12
[*] 通过正则表达式支持读取多个表@yzeng1618
[*] Paimon 中的谓词下推支持@hawk9821
[*] JdbcInputFormat nextRecord 抛出异常 TableId@zhilinli123
[*] JDBC 支持将 tinyint1 读取为 byte(tinyint)@Hisoka-X
[*] 从 2.3.11 版本升级到 2.3.12 版本@zhangshenghang
[*] 移除重复的加载表名@hailin0
[*] 支持转换为 TINYINT/SMALLINT@hailin0
[*] SQL 转换 EXTRACT 函数支持更多字段@CosmosNi
[*] 文件支持新格式:maxwell_json、canal_json、debezium_json #9278@dyp12
[*] 修复 paimon 连接器的单词拼写错误@dailai
[*] 支持Databend源/目标连接器@hantmac
[*] 支持向量变换Sink@SEZ9
[*] 为FTP数据通道添加远程主机验证选项@corgy-w
[*] 为时间戳开始模式添加结束时间戳@WenDing-Y
[*] 优化 stop-seatunnel-cluster.sh 中变量处理的健壮性@mrtisttt
[*] 修复 Oracle 重命名 DDL 事件中缺失的列类型@hailin0
[*] EasySearch 支持 schema_save_mode/data_save_mode@CosmosNi
[*] 移除无用的 iceberg sink 配置 iceberg.table.config@Hisoka-X
[*] 添加了不区分大小写的特性@yzeng1618
[*] 支持将Oracle BLOB数据作为字符串而不是字节读取@yzeng1618
[*] 在开发分支中删除 release-note.md@Hisoka-X
[*] 支持 ClickHouse 的多表写入功能@mrtisttt
[*] 实现HTTP批量写入@ocean-zhc
[*] Sentry 选项@liunaijie
[*] sls 命令的选项@liunaijie
[*] RocketMQ 选项@liunaijie
[*] Iceberg 添加胶水目录支持@itnccuong
[*] 支持 MaxCompute sink 编写器的 timestamp 字段类型@dybyte
[*] 改进 SQL 转换异常以定位错误表达式@misi1987107
[*] 脉冲星选项@liunaijie
[*] SQL 转换支持多条件判断函数@CosmosNi
[*] 使用 Amazon Titan 和 cohere 嵌入模型支持单次/批量模式的向量化@SEZ9
[*] support chinese 好的。@scienceyang
[*] Hive sink连接器支持覆盖模式 #7843@Adamyuanyuan
其他


[*] 移除 ConfigBuilder 中无用的参数@Hisoka-X
[*] 修复链接错误和DynamoDB参数错误@ShuiMu-peng
[*] 更新连接器变更日志@zhangshenghang
[*] 将 deepwiki 添加到 README.md #9354@emmanuelmoon
[*] 添加 MongoDB-CDC 连接器中文文档@liudechang
[*] 添加HiveJdbc连接器的中文文档(#8497)@liudechang
[*] 更新OssFileSink的保存模式配置@Zzih
[*] 支持非主键表的自动创建@hawk9821
apache/seatunnel-website仓库

修复


[*] 修复 transform-v2 文本标题@suntectec
[*] Sink的 plugin_input 配置不正确@e-mhui
[*] 在 version.js 中使用动态导入代替 execa@zhangshenghang
[*] 修复无法显示的 con@fcb-xiaobo
其他


[*] 更新Seatunnel网站文档@zhangshenghang
[*] 更新安全通知@hailin0
本文由 白鲸开源 提供发布支持!

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?