工作十余年以来,在多个行业,不同背景的公司中从事数据相关的岗位,用过各种类型的数据库。如今就职于证券行业数据治理岗位,面临数据库信创升级。借此机会总结一下曾经或正在使用的各类数据库以及数据库升级替换所要关注的事项。
一,数据库使用经验总结(按照使用时间排序)
1、SQL Server,微软的产品,可应对数据规模在千万级左右的数据仓库。使用专用TSQL进行数据开发,与Windows系统高度融合(可直接调度windows shell命令),结合SSIS,SSRS等可完整实现各类数据应用及服务。在一家专注做CRM企业级数据服务的外企中广泛使用。
2、Netezza,IBM的MPP数据产品,一体机架构,性能强大,轻松处理亿级数据规模,在一家国外头部保险项目中使用。曾在国内金融和电信行业广泛使用,缺点是价格昂贵。
3、Redshift,AWS的云数据库产品,MPP架构,性能强大,由于是云产品,部署和运维比较方便,可满足在千万级数据规模的数据仓库。
4、Oracle,在旅游、地产、金融等各类场景中的数据仓库广泛使用到,性能稳定,功能强大,通过PLSQL存储过程实现复杂业务逻辑,自带调度功能。
5、Mysql,搭建方便,广泛用于各类系统中,如大数据平台与报表之间的缓存层,各类小型OLTP应用系统。
6、网易大数据平台,基于开源Hadoop平台搭建的商业化系统,全家桶,包含数据采集、数据服务、数据质量、调度运维等多种功能。无需额外安装客户端,直接基于网页端编写SQL。支持Hive、Impala、Spark三种SQL查询引擎。
7、ClickHouse,作为报表的加速层使用,列式存储,单表访问速度快。可基于docker进行安装部署。
二、数据库选型关注事项
如今信创大环境中,国内公司面临数据库信创迁移的场景,在选择迁移数据库时重点关注点主要有以下方面:
1、是否满足信创要求;
对于金融行业,27年年底要求数据库完成信创替换。信创的基本要求是自主可控。目前主流开源数据库主要是Mysql和PostgreSQL,Mysql分为开源版和商业版。由于开源版采用的GPL协议,因此无法在商业化环境中进行使用。而商业版则由Oracle公司进行开发维护。PostgreSQL采用的BSD协议,较为宽松。二次开发后可包装成闭源版本进行商业化使用,符合信创要求。
2、价格成本;
对于小型企业,成本控制极其严格,不同数据库的差价很大,从免费开源版到商业百万一体机,差价极大。
3、高可用性能;
考察数据库系统在遇到硬件故障、软件错误或其他问题时是否仍能持续提供服务,停机时间有多长,是否能保证数据的完整性和一致性。
4、数据安全;
是否支持加密、脱敏,权限控制粒度级别:库、表、字段、行。数据导出控制,读写权限控制。
5、并发性能,查询性能;
支持多少并发量的查询;复杂SQL的查询性能;支持多大量级表数据查询。
6、兼容性与数据迁移难度;
SQL语法是否兼容标准SQL,是否与存量数据库SQL兼容。数据迁移到新系统的难度有多大。
7、用户体验,学习成本;
客户端编辑器的使用是否方便,用户学习新数据库是否编辑,是否有各类学习文档支持,是否有售后人员对接。
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |