找回密码
 立即注册
HBase基础知识分享(二)
HBase的Split机制 Region的分裂策略 HBase中的Region存储的是一张表的数据。当Region中的数据条数过多时,会直接影响查询效率,过大的Region会被拆分为两个Region,HMaster会将这些分裂的Region分配到不同的RegionServer上,最终达到负 ...
艾曼语 2025-6-10 19:06
891 0 0
某大型商超客户采购数据分析(Spark实战)
写了一些使用sparksql以及spark机器学习来进行数据分析的东西,希望能给大家做一些参考 项目需求:对某大型商超客户采购数据集进行数据分析 数据来源:https://www.heywhale.com/mw/dataset/656069b19a74cc18269207c4/content 首先使用 ...
鞣谘坡 2025-6-10 19:06
646 0 0
DBeaver如何设置自动刷新数据库表的数据,彻底解放双手!
前言大家好,我是小徐啊。DBeaver是一款常用的数据库连接工具,它的优点是免费使用,而且支持的数据库类型超级多,甚至可以直接安装数据库对应的驱动jar包来连接数据库。比如达梦数据库,之前版本是可以通过jar包方式设置驱动来连接达梦 ...
替攀浮 2025-6-10 19:06
266 0 0
多表关联更新(mysql,oracle,postgreSQL)
每种数据库在实现多表更新和子查询优化方面的支持各不相同。以下是 Oracle、MySQL 和 PostgreSQL 中多表更新的一些主要差异和惯用写法: 1. Oracle [*]MERGE 语句:Oracle 支持 MERGE INTO ... USING ... ON ... 语法,非常适合多表更 ...
删一 2025-6-10 19:05
268 0 0
10月回顾 | Apache SeaTunnel社区动态与进展一览
各位热爱 Apache SeaTunnel 的小伙伴们,社区10月份月报来啦,请查收! 这里将记录Apache SeaTunne社区每月动态和进展,欢迎关注。 月度Merge之星 感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后): @Hisoka- ...
全阳霁 2025-6-10 19:03
328 0 0
PostgreSQL libpq的客户端故障转移和负载均衡
什么是libpq libpq是应用程序使用PostgreSQL的C接口。libpq是一个库函数的集合,它们允许客户端程序传递查询给PostgreSQL后端服务器并且接收这些查询的结果。libpq也是很多其他PostgreSQL应用接口的底层引擎,包括为 C++、Perl、Python ...
滥眩 2025-6-10 19:03
259 0 0
读数据质量管理:数据可靠性与数据质量问题解决之道05数据标准化
1. 批处理 1.1. 批处理在一段时间内收集数据,然后将大量数据“批处理”在离散的数据包中 1.2. 直到20世纪10年代中期,批处理都是处理分析型数据最常用的方法 1.3. 批处理比流处理要便宜得多,即使是对时间要求最苛刻的处理需求也 ...
昝梓菱 2025-6-10 19:01
53 0 0
读数据质量管理:数据可靠性与数据质量问题解决之道06数据测试
1. 运行分析型数据转换 1.1. 确保ETL期间的数据质量 [*]1.1.1. ETL即“提取-转换-加载”​ [*]1.1.2. 步骤 [*]1.1.2.1. 在提取步骤中,原始数据从一些上游数据源中导出,并将其移动到暂存区 [*]1.1.2.2. 暂存区中的数据按照数 ...
孔季雅 2025-6-10 18:59
36 0 0
读数据质量管理:数据可靠性与数据质量问题解决之道06数据测试
1. 运行分析型数据转换 1.1. 确保ETL期间的数据质量 [*]1.1.1. ETL即“提取-转换-加载”​ [*]1.1.2. 步骤 [*]1.1.2.1. 在提取步骤中,原始数据从一些上游数据源中导出,并将其移动到暂存区 [*]1.1.2.2. 暂存区中的数据按照数 ...
古修蟑 2025-6-10 18:58
50 0 0
PostgreSQL pg_wal目录下都哪些类型的文件(译)
笔者最近写了一个PostgreSQL自动故障转移脚本,在测试的过程中,发现pg_wal目录中除了常规的wal日志文件,还会生成其他类型的文件,参考如下截图,除了wal日志,其他的这些文件代表什么意思,用什么用途?如下译文中将会给出一个完成的答 ...
站竣凰 2025-6-10 18:57
158 0 0
MySQL 8.0特性-自增变量的持久化
MySQL 8.0特性-自增变量的持久化 在MySQL 8.0之前,自增主键AUTO_INCREMENT的值如果大于max(primary key)+1,在MySQL重启后,会重置AUTO_INCREMENT=max(primary key)+1,这种现象在某些情况下会导致业务主键冲突或者其他难以发现的问题 ...
余思洁 2025-6-10 18:57
325 0 0
[20241112]无法理解sqlplus的输出.txt
[20241112]无法理解sqlplus的输出.txt --//昨天遇到的问题,执行10tox.sql脚本出现一些状况。分析认为oracle 把8d当作数字。 --//但是还是遇到我无法理解的情况: 1.环境: SCOTT@book> @ver1 PORT_STRING              ...
盗衍 2025-6-10 18:57
95 0 0
微软憋大招:SQL Server + Copilot = 地表最强AI数据库!
微软憋大招:SQL Server + Copilot = 地表最强AI数据库! 微软布局代码AI霸主地位 微软在人工智能领域的布局引人注目,尤其在代码生成领域,微软通过Copilot展现出了强大的竞争力。Copilot是基于人工智能的大模型代码助手工具,能够帮 ...
申倩语 2025-6-10 18:57
805 0 0
解决高版本laravel/framework中SQLServer2008分页报错问题
前提:laravel自6.0后就明确了支持的SQL Server版本最低为2017,而SQL Server是在2012版本后,引入的offset语法来实现分页,在此之前只能使用ROW_NUMBER()函数来完成分页。 问题:生产环境的SQL Server由于历史原因,仍旧使用的2008版本 ...
辖瑁地 2025-6-10 18:56
645 0 0
第三十六讲:什么时候会使用内部临时表?
第三十六讲:什么时候会使用内部临时表? ​ 在第 16和第 34篇文章中,我分别和你介绍了 sort buffer、内存临时表和 join buffer。这三个数据结构都是用来存放语句执行过程中的中间数据,以辅助 SQL 语句的执行的。其中,我们在排序的 ...
澹台吉星 2025-6-10 18:56
734 0 0
MySQL基础知识
sql语句类型及用途: [*]Ddl:建表、改表、删表 [*]Dql:查询 where, group by, order by, join [*]Dml:新增、修改、删除数据 [*]Dcl:新增、删除用户对数据库权限 事务 ACID特性简介 [*]原子性(Atomicity) 事务被视为一个不可分 ...
诈知 2025-6-10 18:56
534 0 0
达梦数据库DM管理工具如何浏览数据,用条件筛选数据
前言大家好,我是小徐啊。达梦数据库是我们一款常用的国产数据库,我之前一直在使用它。用起来和mysql和postgresql比起来,还是差不多的。而且它自带了数据库连接工具DM管理工具,使我们很方便的连接它。今天,小徐就来介绍下如何用DM管 ...
幌斛者 2025-6-10 18:55
156 0 0
达梦数据库数据类型的变更无效错误,如此解决妙啊
前言大家好,我是小徐啊。之前在做国产化改造,用到了达梦数据库。其中的一项工作就是将旧数据库里面的数据和结构迁移到达梦数据库。达梦提供了迁移的的工具,大部分时间是挺好用的。但是这里也有问题,比如我原来的数据库是postgresql, ...
锺冰洁 2025-6-10 18:55
873 0 0
Windows平台下安装与配置MySQL5.7
1.下载mysql安装文件下载地址:https://downloads.mysql.com/archives/installer/  2.安装与配置MySQL双击打开,接受许可协议,点击下一步:选择自定义安装,点击下一步:选择要安装的产品,点击下一步:点击执行按钮:安装完成,点击 ...
劳怡月 2025-6-10 18:55
272 0 0
读数据质量管理:数据可靠性与数据质量问题解决之道03数据目录
1. 同步数据 1.1. 不同的数据仓库和数据湖通过数据集成层来进行桥接 1.2. AWS Glue、Fivetran和Matillion等数据集成工具从不同来源收集数据,统一这些数据,并将其转换为上游来源 1.3. 数据集成的一个典型用例是收集数据湖的数据并 ...
余思洁 2025-6-10 18:55
32 0 0

快速发帖

还可输入 80 个字符
您需要登录后才可以发帖 登录 | 立即注册

本版积分规则