甲骨文断供俄罗斯!中国数据库能否出来一战?

今日头条
Toutiao
最新回复:2022年3月13日 11点57分 PT
  返回列表
73926 阅读
39 评论
智东西

近期,俄乌冲突持续焦灼,美欧也一直没闲着,除了直接提供武器物资,制裁大棒一刻没停下。3月3日,乌克兰副总理米哈伊洛·费多罗夫在社交媒体向50多家美国科技公司发起呼吁,用科技战逼退俄罗斯的军队,呼吁这些企业断供俄罗斯。短短三小时内,甲骨文就第一个宣布,暂停俄罗斯所有业务。紧随其后,IBM、英特尔、谷歌、苹果、微软、Facebook、亚马逊、戴尔等20多家美国科技公司也宣布对俄罗斯进行制裁。

数据库是IT行业的核心环节,而甲骨文是商业数据库最有代表性的科技巨头。甲骨文与IBM、EMC公司合作,形成了一条完整的数据库产业链,称作“IOE”架构。可喜可贺的是,我国早在10多年前就开始布局了“去IOE”化。2021上半年中国公有云关系型数据库规模6.7亿美元,叱咤风云的甲骨文,则仅占3.6%。中国企业,有了属于自己的数据生态。但是,数字经济的不断发展,我国自主的数据库产业仍远远不够。

本期的智能内参,我们推荐招商证券的报告《数据库深度复盘与展望》,七大维度全面梳理数据库发展历程,分析国内数据库市场发展趋势。

原标题:

《数据库深度复盘与展望》

作者:刘玉萍

一、七大维度看数据库发展历程

回顾数据库70年发展历程,分布式、云计算、人工智能等创新技术和基础设施的发展陆续为演化注入新活力。以下我们将从数据模型逻辑、技术架构、需求功能、部署方式、存储介质、商业模式、数据库治理模式等七大维度对数据库发展脉络进行详细阐述,理清行业演化逻辑与发展趋势。

▲数据库发展历程

数据模型的演化本质由底层数据规模、逻辑关系、类型等驱动,其路径是:层次->网状->关系->关系、非关系并行。 在当前关系、非关系并行时代,新型NewSQL与多模数据库快速发展。传统SQL受限于其拓展性,在大数据发展下逐渐面临瓶颈, 而NewSQL提供了与NoSQL相同的可扩展性,而且仍基于关系模型,保留了极其成熟的SQL作为查询语言,从而保证了数据的强一致性;同时,基于分布式架构,对接多种数据模型引擎,避免搭建多种类数据库的多模数据库快速发展。

▲数据库模型发展路径

数据库前期的演化史本质上是关系型数据库的演化,关系型数据库已统治市场超过 50年。关系型数据库以二维表形式存储实体和关系,具有易理解、易使用、易维护,自1970年诞生以来,逐步成为业界的霸主。时至今日,关系型数据库不断融入分布式、云原生、AI等新兴技术持续进化,仍是数据库的主流,据DB-Engines热度排名(截至2022/02),前四大数据库Oracle、MySQL、Microsoft、PostgreSQL均为关系型数据库,且分数遥遥领先。

SQL是关系型数据库的标准语言,相比C、Java、Python等编程语言,SQL贴合口语的设计使得其代码复杂度大大简化、便于数据分析人员上手,同时嵌入式的设计也保证了SQL可以被其他编程语言轻松调用,据TIOBE统计,SQL在近20年稳居TOP10编程语言榜单。关系型数据库的二维表数据存储模式为关系型数据库的流行普及提供了环境基础;而SQL语言的流行也反哺了关系型数据库的推广,两者相辅相成,共赢于数据库市场。

▲DB-Engines流行数据库排名前十

随着互联网业务规模快速增长,拥有灵活拓展与高读写并发能力NoSQL数据库得到快速发展。由于传统的关系型数据库在保证数据强一致与系统可用的前提下,其水平扩展能力受到限制;非关系型数据库NoSQL则是基于分布式存储原理,放弃了传统的关系模型,在一致性与可用性之间寻求平衡,从而保证了系统地灵活拓展与高读写并发能力。随着社交媒体等互联网业务快速发展,数据量激增,传统关系型数据库性能逐渐达到瓶颈,因此,以保证拓展性与高并发性能为前提地NoSQL数据库得到快速发展。

为了应对数据的海量增长并追求更低的扩容成本,数据库由单机、集中式向分布式架构快速发展。随着信息化水平快速提升,对数据库的存储、读写并发、扩容要求更高,集中式架构的“Scale Up”纵向扩容机制面临硬件性能瓶颈,因此“Scale Out”式的横向扩容分布式架构成为新趋势,通过网络将物理分散的数据库单元连接为逻辑上的统一整体。从集中式到分布式的演进降低了对硬件性能的要求,使得企业数据库拓展成本大幅降低。

分布式架构由共享磁盘、共享内存架构,逐步向纯无共享架构发展,在无共享架构中,每个处理器私有内存和磁盘空间,利用网络通信,“Scale Out”式横向增加处理器和相应的内存、磁盘,从而避免事务对内存访问和网络带宽的竞争,提高处理性能。国产方面,无共享分布式架构已经趋于成熟,如PingCAP的TiDB、华为的GaussDB、蚂蚁的Oceanbase、达梦的达梦+、阿里云的PolarDB、腾讯云TDSQL、南大通用的GBase、人大金仓的KingBase、中兴通讯的Golden DB等分布式数据库均为MPP无共享架构。

▲各架构对比

需求功能决定数据库逻辑架构,逻辑架构决定访问性能。为实现海量数据存储、在线高并发,并同时支持OLTP和OLAP的功能,HTAP应运而生,按照具体架构可分为3类:

▲HTAP不同架构

根据墨天轮排名(截至2022/02),目前国内前六大数据库均为HTAP+分布式架构,包括PingCAP的TiDB、华为openGauss、蚂蚁OceanBase、达梦的达梦+、华为GaussDB、阿里PolarDB。其中排名第一的PingCAP基于Google的Spanner模型和Stanford的Raft算法研发TiDB数据库,借助底层数据同步及行列透明转换技术,将面向联机交易的行存引擎与面向实时分析的列存引擎融合改造为行列混合数据架构。在HTAP技术浪潮中,TiDB数据库凭借水平线性扩展、强一致分布式事务、故障自恢复的金融级高可用、真正跨数据中心多活等核心特性拔得头筹。

部署方式的演化上,数据库上云成为重要发展趋势。随着云基础设施的成熟和企业解放DBA运维难度的需求日渐迫切,将传统数据库直接部署在云端,由云厂商提供安装和维护服务的云托管数据库逐渐受到业内追捧。据Gartner预测:2023年云DBMS收入将占DBMS市场总收入的50%,75%的数据库将部署在云端。在数据库上云过程中,数据迁移是最大的痛点。针对企业面临的完整性、安全性、一致性等难题,市场催生了安畅网络、数腾软件等提供数据上云迁移的第三方公司。

据IDC统计,2021年H1中国关系型数据库本地部署模式被Oracle、华为、Microsoft、IBM垄断,而同期的公有云部署市场由阿里巴巴、腾讯、AWS和华为领衔。2020年,阿里云陆续推出Lindorm、PolarDB-X、ADB等云原生分布式数据库,是首家Gartner全球数据库魔力象限归入领导者象限的国内厂商。腾讯云研发TDSQL-C,积极拥抱开源,100%兼容MySQL 和 PostgreSQL,实现超百万级QPS高吞吐,助力中小企业,连续两年增速全球前三。华为云深耕金融行业信创,早在2015年就开始部署上线业界首个AI Native的云原生数据库GaussDB。

商业模式上,已逐渐成为数据库产业的共识。2021年1月,根据DB-Engines,全球数据库开源许可证流行度首次超过商业许可证,开源数据库逐渐成为行业主流。截止2021年6月,开源与商业许可证数量分别为198和185个,流行度分别占比51.4%和48.6%。开源有助于扩大人才规模及上下游生态影响力,通过运营开源社区快速获得反馈并加快产品开发、提升产品质量,同时反哺社区开发者及独立软件开发商(ISV)等生态伙伴,能够达到多方共赢目的。据信通院调查:超八成的企业认可开源,开源主要应用在存储、大数据分析和数据库领域。

从2014年起,巨杉SequoiaDB、PingCAP TiDB、百度Doris和HugeGraph、涛思数据Tdengine、欧拉NebulaGraph、华为openGauss、阿里PolarDB、蚂蚁OceanBase等相继宣布开源,国内开源大军不断壮大。

存储介质分类演化:内存数据库提升读写性能。早期数据库将大部分数据保存在磁盘上,使用内存缓存磁盘内容作为临时存储,统称磁盘数据库;随着电商、直播、新闻查询等对读写性能要求高的场景出现,业界对响应速度的要求逐渐提升,将数据全部存储在内存中、数据更新过程不受磁盘I/O限制的内存数据库逐渐成为主流。据Research and Market统计,全球内存数据市场未来5年的CAGR为19%。

自1982年80286芯片推出以来,内存市场历经40年的发展,容量遵循摩尔定律翻倍,价格下降超过百万倍,数据大规模存储在内存中成为可能。国际市场上,Pivotal支持的Redis和SAP的HANA领衔键值对、关系型内存数据库;国内市场上 , 快 立 方 的 Qcubic 和 科 蓝 软 件 的Goldilocks已经应用在运营商、金融、交通等行业。

治理模式分类演化:AI助力数据库自治。以Oracle的Autonomous Database为例,自治驱动自动针对特定负载配置调优、按需扩展提供高可用数据库;自治修复自动检测和防范系统故障、用户错误,在故障发生时自动切换备用数据库,确保数据零丢失;自治安全自动保护敏感和受监管数据,及时修补数据库安全漏洞,有效防范未经授权的访问。

数据安全是数据库建设的重要前提,自动检测、防范系统故障、运维保护和修补安全漏洞对数据库而言至关重要;随着信息化的发展,应用系统和数据规模井喷式增长,数据库的负载调优压力增大。因此,摆脱对DBA的经验决策依赖,基于人工智能自动执行安全、备份、打补丁和其他需要大量人工重复劳作、从根本上彻底消除人为差错、减轻DBA工作压力的自治数据库成为历史的必然选择。目前自治数据库仍停留在事后判断阶段,展望未来,提前预判数据规模增长趋势和数据库负载状况,事前主动调优是自治数据库的发展新方向。

二、三大增量需求,国内数据库突飞猛进

根据信通院数据,2020年中国数据库市场规模为35亿美元(约合240.9亿元人民币),占全球总规模的5.2%。预计到2025年,全球数据库市场规模将达到798亿美元。中国的IT总支出将占全球12.3%。预计中国数据库市场在全球的占比将在2025年接近中国IT总支出在全球的占比,市场总规模将达到688亿元,CAGR为23.4%。

金融、电信、政务、制造、互联网五个行业为数据库行业下游主要需求领域,大数据应用快速发展为数据库提供增长动力。根据信通院统计,其合计市场份额高达80%以上,2020年整体采购额超过192亿元。此外,根据赛迪顾问,2020年国内大数据市场结构数据,其中互联网、政府、金融、电信、工业位列前五,占比分别为48%、14%、12%、9%、5%,合计约88%,大数据应用与数据库需求结构基本吻合,预计随着大数据应用领域拓展与规模持续增长,将为数据库行业规模增长提供充足动力。

▲国内数据库规模预计将快速增长

去年各领域“十四五”规划陆续发布,数据库建设与应用在信息技术、金融、交通物流、农业等众多领域被多次提及,其中数据库标准化攻关的重要性首次被提升到前所未有的高度。随着数据库顶层设计不断加码,十四五期间,国产数据库研发将步入快车道,国产数据库竞争实力将显著增强,行业有望进入加速发展期。

▲强化国产数据库建设在“十四五”规划中被重点提及

未来数据库市场增量需求主要来自于以下三方面:

1、国产化进程逐步加速;

2、传统集中式数据库向分布式架构升级;

3、非关系型数据库应用场景不断丰富,得到快速发展。

以Oracle、Microsoft、SAP、IBM为代表的海外厂商,一直以来,因其产品具有更好的性能、稳定性、安全性、与海外ERP、CRM等更好地兼容性等优势,在企业核心OLTP业务场景一直占据主导地位。近些年,随着国产数据库产品功能、性能水平不断增强,其产品水平已经逐步趋近于海外厂商,根据IDC,在传统关系型数据库领域,Oracle、Microsoft、SAP、IBM合计份额从2019年66.8%下降至2021H1的48.5%,首次降至半数以下,显示出国产数据库技术正趋于成熟,在海外厂商为主导的核心OLTP应用场景,已经逐步具备运营能力,国产化进程持续加速。

根据信通院统计,目前我国金融行业海外Oracle与IBM DB2占比约74%,占据主导,基于MySQL与PostgreSQL二次开发的国产数据库合计占比约为19%,国产化仍有广阔空间。其中,我们通过对金融行业国产化数据库建设案例梳理发现,国产数据库已经从边缘系统逐步实现核心系统国产化,显示出国产数据库产品功能、性能水平不断增强。预计随着行业信创逐步落地,对国产数据库需求将进一步提速。

▲传统部署关系型数据库海外厂商份额不断下降

随着数据类型、规模的指数级增长,传统的终端计算场景已经难以应对 数据存储处理的工作量与复杂度。云计算通过存算分离、资源弹性动态分配、边缘节点计算打破了传统计算场景的瓶颈,实现了当前数据处理的需求,云计算场景的需求推动了分布式数据库的应用发展:通过资源池化管理实现物理或逻辑层的相互隔离与资源的自由伸缩,

1)具备弹性扩张、HTAP事务能力、多租户管理能力、高可用性,与云计算场景需求相匹配。

2)对多种访问接口和数据类型的兼容,可以实现对存储与不同物理服务器、不同格式的数据进行结构与算法的优化,突破服务器类型的限制,为上层不同类型的应用提供多模式的数据服务。

目前,互联网、金融、电信等行业分布式升级进展较快,以金融和电信行业为例,其核心业务数据类型均为关系型数据库,此类集中式数据库所面临的业务体量将呈现爆发性增长。由于单一硬件能力增长有限,所以无法依靠纵向升级硬件扩展存量数据库能力上限。而分布式数据库采用多种模式实现数据的分散存储,将压力分散到不同服务器上,并不断通过增加存储或计算节点来实现弹性升级,克服了集中式数据库的诸多缺点,业界已有分布式数据库在股份制银行、城商行、二三线城市运营商等实现了核心业务系统的改造落地,同时,去年12月,腾讯分布式数据库TDSQL落地东吴证券核心交易系统,也标志着分布式数据库在券商核心系统领域取得突破。

墨天轮国产数据流行度排行(截至2022/02),前十大热门数据库均为分布式架构,其应用场景涵盖各行业,显示出国产分布式数据库已经趋于成熟,正成为各行业数据库建设重要选择。

▲墨天轮前十大热门数据库均为分布式数据库

随着工业互联网、互联网创新型业务、车联网等应用的快速发展,非关系型数据库应用将加速落地。我国非关系型数据库快速发展,正逐步进入世界前列。我国非关系型数据库主要以基于开源数据库如Redis、InfluxDB、CouchDB等产品进行二次开发为主,根据DB-Engines 2022年2月排名,国内浙江智臾和阿里云TSDB,分别位列时序数据库第11、21位;图数据库方面,欧若数网Nebula Graph、百度智能云开源产品HugeGraph、华为云GraphBase分别位列15、26、32位,显示出国产NoSQL数据库正逐步趋近于世界前列。

▲NoSQL数据库在制造、政府、金融等领域逐步落地

▲国内主流数据库厂商

▲互联网厂商

▲部分初创厂商

智东西认为,此次俄乌冲突,美欧试图将 IT 基础设施“武器化”,快速打击俄罗斯的生产和生活秩序,这充分表明在大国竞争中将 IT 基础设施建立在所谓全球化的根基上是不可靠的,大国的 IT 架构必须坚持独立自主的发展道路。所以,不仅仅是芯片、数据库,我们要在科技领域的各个环节,将核心技术牢牢抓在自己手中。

简单人
1 楼
甲骨文斷供導致俄羅斯不承認甲骨文的專利,逆向工程會不會對甲骨文在世界範圍的損害?
d
dingding6
2 楼
有强大先进的中国高科技作靠山,俄罗斯啥也不怕,想干啥干啥。
g
gavinaitken
3 楼
中国哪里有数据库?都是mysql postgres mongodb的变种而已。
v
vhengsh
4 楼
值得相关国家学习和吸取别人的经验。
g
gamma
5 楼
俄罗斯基本不会去买昂贵的oracle。用免费的mysql还差不多。
品春风
6 楼
中国有个屁的数据库,
t
treebear
7 楼
甲骨文已经在中国日落西山,前几年已经撤出中国了,市场份额越来越少。等所有中国公司数据库数据转移完毕,从此中国再没有甲骨文公司和数据库系统。
床破
8 楼
你懂个屁啊傻狗
七素八荤
9 楼
放开打冷战,美国大量科技失去专利保护,对中国好处太多了。拉拢欧洲俄罗斯一起干翻美国。
刁太大
10 楼
搞笑。国产的数据库不过是抄别人的内核。换个外壳而已。最狠的是一个加拿大卡加里的留学生,毕业后混进IBM之后硬生生把DB2的C源码抄了一份,自己看明白了之后,就回去招摇撞骗了。唉。还有一个,国内对数据隐私保护几乎是零,所以用开源的数据库就可以了。但是欧美有各种compliance ,很多要求都依赖只有Oracle 才有的审计功能。这就是为什么美国的政府部门和金融机构,都是用Oracle 。
q
qqworker
11 楼
呵呵,还真的有 别的不说 而且双十一这种压力都能扛得住 阿里和腾讯都有自己的解决方案 只是企业更换数据库意味着全套系统都要换 不逼到墙角不会换的
q
qwerty
12 楼
国产数据库?全员核酸检测还没上,就不断宕机了
只爱大屁股小妹
13 楼
没有甲骨文,有包子文也行
k
kangli2
14 楼
无知无畏的狗每天刷盘子的薪水只有别人程序员的小零头,当然不知道BAT每家都有自研的数据库,而且都向全世界开源。
h
holytuzki
15 楼
这场突发事件怼中国的高科技产业来说是个机会
k
kaikaikai1984
16 楼
你在搞笑吧,欧州美国本来就亲戚关系。要新冷战也只有朝鲜俄罗斯还有几个斯坦兄弟在一起。
雪中奔牛
17 楼
俄罗斯卫星通讯社的记者在研究美国机构的文件时发现,五角大楼不仅在乌克兰与俄罗斯接壤的生物实验室对蝙蝠进行研究,而且从2017年开始,也在第比利斯的美国卢加尔中心的秘密实验室中进行研究。与此同时,美国国防部的一家承包商在新冠疫情暴发前不久根据这个计划在中国研究了蝙蝠的冠状病毒——一直持续到2019年(含)。 根据这些文件,美国政府为这些研究提供的资金总额约为1020万美元,其中650万美元分配给格鲁吉亚、亚美尼亚,阿塞拜疆、土耳其和约旦,分配给中国370万美元。
走夜路
18 楼
有免费开源的数据库,源代码都能拿到,不怕封杀。但是更换数据库可是个大问题。
s
slimane
19 楼
强国云用的都是美国的芯片,呵呵呵
你有权不回答
20 楼
“2021上半年中国公有云关系型数据库规模6.7亿美元,叱咤风云的甲骨文,则仅占3.6%。中国企业,有了属于自己的数据生态。但是,数字经济的不断发展,我国自主的数据库产业仍远远不够。” 哈哈哈,都3%了,怎么还自主的数据库产业仍远远不够?答案:都是抄的
s
spacebound
21 楼
俄罗斯现在什么都要靠他的大金主中国爸爸输血啊 ,哪天中国爸爸看它不爽了,也断供 俄儿怎么办?
英国流氓
22 楼
哟 草 还真他妈的敢扯的 来说一个 bat研发的自己的数据库
a
anywho
23 楼
🧎‍♀️狗自以為是! 一坨💩都不如而已!
t
tenvis
24 楼
狗粮先把小学毕业了再说
改地图吧
25 楼
2021年强国进口了4400亿美元的美国芯片,满脖子都是美国毛茸茸的大手掐着,就这垃圾水平,五毛粉蛆还真有逼脸吹牛逼,哈哈
七素八荤
26 楼
: 他们之间也是各有鬼胎,你认为他们铁板一块?
n
nathan438
27 楼
当然不是,他们全部都要跪拜天朝。梦里好幸福!
杨建国
28 楼
你吗的,这边指责华为和中国政府有联系,那边明目张胆的要求自家企业遵循自家政府的要求,狗日的西方,本来企业就没有什么独立性,这是公开的,非要你证明,有种的谷歌芯片公司不听美国政府的,再过来和我们说企业独立性。
杨建国
29 楼
你说这些都是事实,但又不是全部,中国如果都是你说的这样,那这几年的发展都是假的吗,美国又怕什么,在学习外国技术的过程中,有好的也有很多坏的事例,但总体是向前发展的。
文强
30 楼
不是IT 不是很懂这些数据库
文强
31 楼
多谢科普
m
matrixyard
32 楼
谷歌芯片公司? 谷歌啥时候变成 “芯片公司”? 他们是有做芯片,但不是主流。主流的有 高通 博通 marvel, intel amd. 当然是有一些其他的。 你不懂别乱吠。
m
matrixyard
33 楼
其它的我不谈论,但是科技方面,你真觉得是靠中国自己发展出来的技术? 他们对电脑科技有何贡献?你到说说看? 谁不知道中国所谓的技术,都是建立在国外的基础上。 单以芯片而言,中国就造不出5 奈米芯片。落后不是一代两代,而是几代。 以数据库为例,目前通用的主流有哪个是中国搞出来的? 以前端技术,你们还不是用 推特的库? 这几年中国有发展,但是如何发展,靠什么发展?凭什么发展这么快? 中共敢讲么?里面作弊各种抄袭偷窃。 呵呵,真有脸大言不惭。
我欣赏你
34 楼
: 沒那麼簡單,不是學IT的就別摻和了,看明白也不容易。要不給你看,你也不會明白的。
杨建国
35 楼
我说的谷歌,和一些芯片公司,没必要交代的那么清楚。芯片公司那么多家,我发个评论还要一家家说过去吗
l
lier
36 楼
大概解释比喻为一句话,外国佬发明了电动汽车,但中国人把电动汽车控制面板上的一些功能做得非常方便。 , 世界原本是共赢模式,但中国总觉得自己很牛叉。习二这种不学无术的人就常常如此以为 , , 数据库方面,Oracle这么多年仍然是行业老大,别人在发展,它也在发展。数据库本身这个表格sql查询概念无法突破,那么Oracle就永远是老大。没有之一 , , 假如中国人能低调潜心研究学问,研发出超越db2,Oracle这些架构理念基础的新思想,新设计解决数据库方案,我就真心认为中国科技界厉害了 , , ,
杨建国
37 楼
又来这一套,典型的为了黑而黑,你一会儿又说中国没有技术,一会儿又说中国发展这么快是靠什么,那你说到底发展还是没有发展,别说其他废话,中国还好你这样的人是少数,大多数的人默默发展自己的技术,不然中国早就被美国捏死脖子,这次俄罗斯被卡,你也看到了,如今俄罗斯还能停住,就是因为俄罗斯大多数的芯片技术来自中国,美国对中国也是没有办法,跟我说作弊抄袭没用,现实就是美国对中国威胁不太管用,这几年的技术发展,虽然不尖端,但够用,你再卡脖子,我就再创一个自己的,而你这种狗只配叫,然后舔国外,人家高兴就给你一根骨头,这就是你们这种人的现状
n
netcamel
38 楼
无能、短视、急功近利的政客。
杨建国
39 楼
世界本来是共赢模式,但美国等西方优势国家会让你共赢吗,动不动就卡脖子,这就是共赢吗,中国自力更生从来都不是因为自己很牛逼,而是被逼出来的,我奇怪了,你们这些人,怎么想的,为什么总是觉得自己是错的呢,我告诉你,西方想要的共赢模式是什么样的,你听着,中国只能一直搞鞋,搞帽子,搞别针,搞衣服,搞纽扣这类低端产业,搞手机搞电脑,搞飞机这类的高科技,你他妈既然想和我争高端产业,老子这么舒服的福利待遇都是从高端争取的,你们这些低端的也过来争什么,搞你们的鞋子就好了,牺牲点环境和工人给我做鞋子,你赚钱我也赚钱,多好,看到了吗,这就是西方世界的共赢模式,你愿意吗,傻逼,一直都这样吗