阿里云智能数据库产品线总负责人李飞飞告诉记者,“在过去40年,数据库的发展形态基本上经历传统商业数据库、开源数据库、云原生数据库的演进。随着移动互联网、物联网的迅猛发展,海量数据的喷发,已经对数据库提出完全不同的市场需求,All in Cloud已成大势。IDC预测,到2021年,云上数据量将超越传统数据中心。因此,在全新的时代背景下,商业数据库因为其价格昂贵、高运维难度、低扩展性等特点,让其在新时代的可用性出现了挑战,兼具云计算的弹性能力、开源数据库的易用和开放的云原生数据库已经成为最佳选择。”
阿里云智能数据库产品线总负责人李飞飞告诉记者,“在过去40年,数据库的发展形态基本上经历传统商业数据库、开源数据库、云原生数据库的演进。随着移动互联网、物联网的迅猛发展,海量数据的喷发,已经对数据库提出完全不同的市场需求,All in Cloud已成大势。IDC预测,到2021年,云上数据量将超越传统数据中心。因此,在全新的时代背景下,商业数据库因为其价格昂贵、高运维难度、低扩展性等特点,让其在新时代的可用性出现了挑战,兼具云计算的弹性能力、开源数据库的易用和开放的云原生数据库已经成为最佳选择。”
阿里云智能数据库产品线总负责人李飞飞告诉记者,“在过去40年,数据库的发展形态基本上经历传统商业数据库、开源数据库、云原生数据库的演进。随着移动互联网、物联网的迅猛发展,海量数据的喷发,已经对数据库提出完全不同的市场需求,All in Cloud已成大势。IDC预测,到2021年,云上数据量将超越传统数据中心。因此,在全新的时代背景下,商业数据库因为其价格昂贵、高运维难度、低扩展性等特点,让其在新时代的可用性出现了挑战,兼具云计算的弹性能力、开源数据库的易用和开放的云原生数据库已经成为最佳选择。”
Oracle(甲骨文)在中国逐步收缩战线,包括HAT(华为、阿里、腾讯)在内的国产数据库厂商,似乎看到了弯道超车的良机。
据《中国经营报》记者不完全统计,自2019年5月7日Oracle中国研发中心被曝光首批裁员900人以来,已经有华为在5月15日推出分布式数据库GaussDB、阿里云在5月21日推出云原生数据库PolarDB、腾讯云在8月28日一口气推出五大数据库新品、中兴通讯也已经预告在今年下半年上线GoldenDB数据库等。一时之间,“国产数据库翻越Oracle这座大山的机会来了”已经成为热门话题。
“今年初去参加一个数据库大会,发现很多商业数据库厂商不见了,换成了国产数据库厂商、初创数据库厂商、公有云厂商。感觉国产数据库现在达到了一个点,真的可以跨过这座高山了。”中国计算机行业协会常务理事、DBA plus社群联合创始人韩锋对记者表示。
“现在最强大的数据库还是Oracle,但过去几年,数据库自身技术发展并不多,看家本领还是老技术,在技术上我们正在慢慢逼近,总有一天会超越它。”中国计算机协会开源数据库专委会会长周彦伟也表示,“中国互联网的发展和公有云的发展,让我们有各种场景在使用各种数据库,一方面让我们积累了经验,另一方面也不断创新,攻克数据库的难题以前看来不太可能,现在看起来完全有可能。”
此消彼长的力量对比
顾名思义,数据库就是存放数据的仓库。打个比方,数据库也可以被视为电子化的文件柜,用户可以通过数据库对文件柜中的数据进行新增、截取、更新、删除等操作。数据库的特点是存储空间特别大,可以存放百万条、千万条、上亿条的数据。
公开数据显示,当前全球基础设施软件市场规模已经超过2000亿美元,数据库占据其中的400亿美元,占比在20%左右。数据库是企业基础设施软件市场上最大的组成部分,在IT行业一直被视为“皇冠上最闪亮的明珠”。在全球数据库市场,Oracle一直是当之无愧的老大,紧随其后的是IBM和微软,另外还包括收购了Sybase的SAP。
在中国尽管出现过众所周知的“去IOE”(IBM、Oracle、EMC)浪潮,但公开资料显示,“中国数据库市场98%的市场份额都被几大海外巨头占据,至于国产数据库,只占到个位数的市场份额。”
在此背景之下,为何会出现国产数据库“弯道超车”的机会?一方面正如周彦伟所说,尽管最强的还是Oracle,但过去几年数据库自身技术发展并不多,看家本领还是老技术。另有业内人士表示,Oracle这个数据库行业的“老大哥”最近几年展现出衰败的迹象,主要是因为云计算转型不力、不再继续增长、出现全球裁员等。
另一方面,是中国市场对本土厂商的培育。腾讯云数据库专家工程师胡彬告诉记者,“从政策上来讲,现在不管是银行、保险等泛金融行业,还是国企、政府机构、公共安全等领域,都从安全和自主可控的角度全面地推行国产数据库,这对国产数据库来说是一个很大的发展机遇。”
“从技术上来说,过去做国产数据库有很大困难,因为国外已经积累了几十年的经验,但当前出现了一些新技术,比如硬件方面的存储技术,还有网络技术以及软件架构上的变革,比如NewSQL等新概念的出现等,给我们弯道超车的机会。”胡彬还表示,“经过过去几十年的发展,我们已经有足够的力量做好国产数据库。一方面,是我们的传统厂商比如达梦、金仓等,在数据库国产化的道路上已经走了很多年了。另一方面,是公有云厂商力量的崛起,产生了很强的数据库自主研发的内在驱动力。”
阿里云智能数据库产品线总负责人李飞飞告诉记者,“在过去40年,数据库的发展形态基本上经历传统商业数据库、开源数据库、云原生数据库的演进。随着移动互联网、物联网的迅猛发展,海量数据的喷发,已经对数据库提出完全不同的市场需求,All in Cloud已成大势。IDC预测,到2021年,云上数据量将超越传统数据中心。因此,在全新的时代背景下,商业数据库因为其价格昂贵、高运维难度、低扩展性等特点,让其在新时代的可用性出现了挑战,兼具云计算的弹性能力、开源数据库的易用和开放的云原生数据库已经成为最佳选择。”
最近几年,国产数据库也确实处于高速发展时期。记者在权威调研机构Gartner历年以来的数据库系列报告中可以看到,Gartner是从2017年开始第一次将中国数据库厂商纳入相关调查的,在2017年的系列报告中,出现了3个国产数据库产品,分别是AsparaDB、GBase、SequoiaDB,对应的厂商分别是阿里云、南大通用、巨杉数据库。而在2018年Gartner关于数据库的系列报告中,5家中国数据库厂商现身其中,除了阿里云和巨杉数据库之外,还包含了腾讯云、华为和星环科技。由此可见,数据库市场的中国力量已经进入全球视野。
从内到外的发展路径
国产数据库厂商在本土市场的发展路径如何?从华为、阿里云、腾讯云等厂商的实践来看,都是从自研自用开始,逐步拓展到其他客户以及公开市场。
比如,记者通过采访得知,今年5月15日推出的华为数据库——GaussDB并非一个产品,而是一系列产品的统称,目前至少包含有3款产品,既包含面向OLTP的数据库,也包括面向OLAP的数据仓库,还有面向事务和分析混合处理的HTAP数据库。
据了解,华为开始自研数据库是因为2007年时国内电信运营商出现计费项目的困境,由华为组织人手研发代号为GMDB的内存数据库。
“当时想法完全不是搞个数据库去售卖并干掉谁,纯粹是因为在电信计费上华为解决方案找不到与之很好契合的数据库。”华为内部人士介绍,2007年的GMDB并没有取得大规模商用,只是在小范围进行了试用,但这个版本锻炼了一大批人,因为当时国内对数据库内核开发知之甚少。
到2010年,华为数据库研发团队开始对2007年版本进行全面重构,也就是从此时开始,华为数据库的定位不再局限于内存数据库,而是向通用关系型数据库转变,就成了Gauss OLTP的前身。2012年GMDB开始大规模商用,主要用于电信计费领域,同时华为内部与电信计费配套的解决方案也开始使用。2007年华为GaussDB开始在招商银行应用,预计到2019年年底,仅仅是招商银行就有17套系统在GaussDB上应用。
对国产数据库来说,阿里巴巴也是代表性厂商之一,因为“去IOE”的概念正是阿里巴巴在2008年提出来的。
公开资料显示,2005 年中国互联网业界第一台 IBM 小型机就落户在阿里巴巴,此后阿里巴巴IT系统逐渐形成了IBM小型机+Oracle数据库+EMC 存储的架构体系,但随着业务迅猛发展,阿里巴巴逐渐看到了该体系的高成本、低灵活性的压力,于是在2008年提出“去IOE”,并于2010年1月正式启动“去IOE”,逐渐在三年时间里完成了全部进程。
在阿里巴巴“去IOE”的整个过程中,数据库领域首先是以武汉达梦、人大金仓为代表的一批国产厂商从中受益并不断成熟,另一方面自研数据库的技术和产品能力不断提升,才有了云原生数据库PolarDB的大规模商用。
而腾讯云数据库负责人王义成告诉记者:“在2010年前后,以腾讯云为代表的云服务厂商开始进入数据库行业,各大云服务厂商也开始提供云数据库的服务,让传统的license服务加上运维服务的模式,变成了云计算模式,传统软硬件的采购成本转变成了订阅模式,让用户的成本大大降低,是商业模式的重大变革。”
据了解,腾讯在2014年底成立的微众银行,是国内首个“去IOE”科技架构的金融机构。而经过内部实践的锤炼,现在腾讯也加速了将这种能力向外部输出。
到2010年,华为数据库研发团队开始对2007年版本进行全面重构,也就是从此时开始,华为数据库的定位不再局限于内存数据库,而是向通用关系型数据库转变,就成了Gauss OLTP的前身。2012年GMDB开始大规模商用,主要用于电信计费领域,同时华为内部与电信计费配套的解决方案也开始使用。2007年华为GaussDB开始在招商银行应用,预计到2019年年底,仅仅是招商银行就有17套系统在GaussDB上应用。
华为数据库在金融系统大规模商用,中国工商银行都开始去oracle
工行怎么敢去ioe。
最多一个小app用了新数据库,核心骨干肯定是oracle。
支付宝核心还是oracle呐。oracle裁个员,整出这么多故事。
App用小数据库?
😄,你太搞笑了。 App local是sqlite, 那是local啊, 你app最终要和服务器数据通信。
你不懂it也不要乱说把。 Orcale最大的毛病是, 免费的东西mysql可以实现101%的功能, 但是收费动不动几百万起价的Oracle,只给你80%的功能,其他的要通过服务实现
//////////////////////////////////////////////////////////////////////////////////////////////////
这里已经讲的很明白,都是互联网,云计算高速发展下产物
oracle 在云计算上严重落后
固态硬盘与机械硬盘道理一样,三星固态硬盘,西部数据,希捷 就会衰落一样
阿里云前一段时间不还爆出抄aws的笑话 ---发自Huaren 官方 iOS APP
ORACLE又贵性能又跟不上时代,阿里是最早干掉ORACLE的。
这国产的估计很玄。
所以你比错了。如果Oracle 不走云存储,必死无疑,这和对手是中国韩国美国日本俄国的没有关系。要比,应该比中美都做云存储的公司,明白这个道理和逻辑了吗?
公平的讲,中国自己和自己纵向比,肯定是进了一大步,横向和国外的比怎么样呢?
好了,你可以再发一贴,重头来过,比比中美在云存储了。
中國國內自己嗨而已。沒有用。
关键应用部门,银行电信金融系统核心数据库,如果敢用国产或者免费数据库,那就是吃了豹子胆。
免费数据库多数没有技术支持,银行或者证券系统崩溃了,数据丢失了,你找谁说理去?阿里?
华为公司智能数据平台CTO武新在致辞中提到:“数据库是软件行业皇冠上的明珠,也是软件行业中的重工业,需要长期扎实的投入。华为深耕数据库领域态度非常坚定,我们当前汇聚了分布在全球七大区域的近900位数据库顶尖专家和人才持续投入。我们的目标是要像5G一样,打造中国出品的世界级数据库GaussDB,在不久的将来实现全面超越并引领数据库技术的发展。早在2015年,华为公司就与工商银行一起联合创新,在数据领域紧密合作,通过双方4年来的不断实践和打磨,工行使用华为GaussDB数据库对顶级数据库厂商的完全替代,说明只要产业界、用户、厂商以及从业者紧密协作,中国有能力做出和世界顶级数据库媲美的产品。”
https://e.huawei.com/cn/news/ebg/2019/icbc-huawei-gaussdb
这是中国工商银行正在推动工作,都做了超过5年了
在政府国企正在进行中
http://www.sohu.com/a/322140799_374240
“最初,Gauss OLAP数据库采用的是SCTP通信协议。当时,工商银行的EDW数据仓库已经有上百个节点,再往上扩容,通信就面临很大的挑战”,Gauss OLAP数据库的一位核心研发工程师说。
因为,研发团队在实验室测试发现,随着集群的扩大,SCTP协议存在BUG,问题严重,一方面是稳定性,通信变得很不稳定,丢包严重,其次是性能,在大压力下,性能变得非常不稳定,而且存储空间已经达到70%了,照这样下去, 再有几个月集群空间肯定就不够用了,业务就会停摆责任之大,谁也承担不起。怎么办?
经过与客户沟通,工行要求华为Gauss OLAP数据库团队必须尽快扩容一倍以上的节点。
此时,整个研发团队的压力可想而知,团队内部经过了无数次激烈的讨论后,最终决定采用自研的多流代理通信技术重构解决该问题。而这一重构,前后就花了半年多时间,最终扩容成功,确保了工行业务的稳定运行。
这样的故事,在Gauss OLAP数据库产品化的过程中不胜枚举。“没有以客户为中心的理念,没有像工行这样优质客户的积极反馈与配合,就不会有今天成熟可靠的Gauss OLAP数据库”,这位工程师说。
而在内核研发过程中,对研发团队而言,最大的痛苦莫过于完全无法预知外部客户会怎样去使用GaussDB,客户并不会像内部客户严格按照规范来,因此,当出现问题时,定位问题复现问题就显得尤为重要,因为,只有定位到问题才能对症下药,如果连故障原因都找不到,解决问题也就无从谈起。
华为在数据库内核构建中,有着非常严格的要求,一旦发现的问题被解决后,一定要复盘,解决问题一定是经过严格推导出来的,如果问题解决过程含糊不清,或稀里糊涂的把问题解决了,这在华为是绝对不行的。
在所有测试中发现的问题,规范要求都必须要放入CI(数据库用例全集)里,这样CI就会被不断补充。“CI就像一道‘门禁’,数据库每一个版本的发布,必须要通过十年所积累的所有用例,只要一个没通过,就甭想发布。”
让工程师们印象最为深刻的是一次定位分布式事务一致性问题, 各种DDL, DML 高并发执行, 每隔几分钟,随机Kill 数据节点进程,验证实时校验数据的一致性长期稳定运行。
开始一切正常,但就在第17天的时候,测试发现有瞬间数据不一致问题,Log里并没有足够定位信息,也无法复现,定位了好几天没有进展,存储引擎团队的核心开发人员都很沮丧。
于是团队自行封闭会议,开始对MVCC机制,CSN可见性判断逻辑, Prune清理记录历史版本的逻辑做了逐行代码排查分析,结合log, 模拟并行执行的时序,最终找到了根因,Prune记录的历史版本过早导致的问题。
也正是基于此,促使Gauss OLAP数据库团队开始思考并发场景测试方法如何才能更有效,因为是并发时序问题,出问题的时间窗口是很难卡到的,要在代码里模拟触发随机异常且控制其他线程的时序,才能让测试覆盖更全面,而这种测试方法帮助研发团队发现和解决了很多问题。
2017年,华为又启动了面向事务和分析混合处理的数据库研发。2018年,华为第一个Gauss HATP数据库问世,并成功落地中国民生银行。据悉,民生银行采用了GaussDB分布式数据库+ARM服务器的全栈解决方案,从数据库层面解决了可扩展性问题,降低了应用分布式改造的难度,已应用于一卡通、贵金属模拟交易等交易类系统,是国产数据库在银行交易类系统的首次商用。
--发自Huaren官方APP
说的没错。美国公司去IOE的趋势也在加快。中国公司不过是在加入而已。 Oracle之前用数据库来掐其他公司的脖子,现在是报应。Larry Ellison当年公然看不上云计算。至于data corruption,啥数据库都会用发生,包括Oracle。企业用户不可能不用备份。
大家真有兴趣,有专业能力。可以看看这篇论文: FusionInsight LibrA: Huawei’s Enterprise Cloud Data Analytics Platform, http://www.vldb.org/pvldb/vol11/p1822-cai.pdf
发表在2018 VLDB。 这里讨论的网络,优化,包括HTAP,里面都有。每年VLDB, Sigmod都有很多文章,这一篇并不是突出的。但是很实际,文章里面论述的60~70%技术都是落地在GaussDB, 在工商银行打下了OLAP。
20年前,国内只会“汉化”,现在的软件开发能力是很强的,所以HAT有实力,有业务需求,投入软件工程的基础建设。 同世界领先(老的Oralce, DB2, 云的AWS,MS)有差距,但可以在同一个战场比了(比如世界杯上有第一名,也有第20名,但都在顶尖舞台了)。
靠数据库吞没韭菜财产,how convenient ---发自Huaren 官方 iOS APP