望洋兴叹!什么卡了中国数据库管理系统的脖子?

今日头条
Toutiao
最新回复:2018年7月1日 21点39分 PT
  返回列表
34936 阅读
26 评论
科技日报

原标题:是什么卡了我们的脖子——数据库管理系统:中国还在寻找“正确打开方式”

亟待攻克的核心技术

本报记者高博

有一天你去银行取钱,惊喜地发现:由于系统故障,你的账户显示着马云的数据……

这种事不可能发生,因为数据库管理系统非常可靠。网上买火车票,或者将照片上传云端,你都离不开它。

而商用数据库管理系统的丰厚利润,一直被甲骨文为首的几家美国公司瓜分,中国产品望洋兴叹。

速度和可靠,兼顾是难题

查询银行账户时,我们不知道数字来自哪台计算机,哪块硬盘。有数据库管理系统(DBMS)替我们干活。

DBMS就像图书管理员:找到书架,存书,取书……说起来容易,但当图书馆特别大,而且书会拆开来放入相隔遥远的架子时,管理起来就很麻烦了。

在数据库开发与实施方面有丰富经验的IBM分析领域架构师罗曦光举了一个例子——用户修改数据时,相关存储区域会被锁住,其他用户只能排队等,如果DBMS存储位置不合理,就会耽误许多时间。数据操作的理想状况,如同几十只手弹奏一架钢琴,各弹各的,互不影响。

“数据库管理系统,尤其是关系型数据库管理系统(RDBMS)的方法论,教科书上写得很明白;其功能和常见的图书管理系统没什么差别。但当数据量非常大,到了TB和PB级别,DBMS性能不下降就是一大挑战。”罗曦光说。

比如一个普通的大型网站,每秒钟要处理十万个查询请求,数据库得同时执行几十个查询任务,而且响应时间极短。

“网络用户发送请求,期望一眨眼就得到结果。如果DBMS做得不好,响应时间长到10秒或20秒,用户会丧失耐心,数据库还可能经常挂掉。”罗曦光说,要永远不出故障,达到高可用性,需要很多专门技术。

目前全世界最流行的两种DBMS是Oracle和MySQL,都是甲骨文公司旗下的产品。竞争者还有IBM公司的DB2、Informix,微软公司的SQLserver以及开源的MariaDB等等。甲骨文、IBM、微软和Teradata几家美国公司,占了大部分市场份额。

国产替代难,输在稳定性

DBMS国货也有市场份额,但只是个零头。银行、电信、电力等要求极端稳妥的企业,不会考虑国货。20年前就有人呼吁国货替代,但一线技术人员并不情愿。

“先发优势、完善的售后技术支持和高额的迁移成本,是企业难以迁移到新系统的原因。”罗曦光说,国内一家电商平台为了从Oracle迁徙到别的系统,最多曾用上百人的团队花了十几个月,成本不菲。

罗曦光认为,如今的开源DBMS做得很好而且免费,但银行和传统龙头企业出于谨慎,对于将核心系统迁移到开源系统仍会持谨慎态度。

稳定压倒一切。DBMS行业观察家晓军在《国产数据库发展现状分析》一文中指出,国内DBMS企业大多源自1990年代的高校,期望实现国产替代。但多年来,“产品的稳定性一直上不去,也不敢做有挑战性的性能测试。所以,稳定性、性能都无法让市场信服。结果就是:稍微重要一点的系统根本没人敢用。”

另外,晓军说,当年国货往往模仿Oracle,追求大而全,而技术创新不足、没有特点。相比之下,1990年代的美国小厂商极富创新力,开辟了一些全新的技术方向,在与甲骨文等巨头的竞争中成功活了下来。

“这个年代,开源DBMS的源代码可以随便下载,国内应该不会有新的入场者再去做传统的DBMS了。”罗曦光说。

浩瀚代码的背后,是浩瀚人才

“Oracle的数据库软件……代码量堪称浩瀚。”晓军说,“Oracle最有特色的地方就是功能非常繁多,语句极端丰富,即便大部分都不常用。”

晓军说,小公司在这一点上试图比肩甲骨文,犹如“乞丐与龙王爷比富”。

晓军举例说:“Informix的主要模块的源代码就有2000多万行,Informix当年在美国的核心研发队伍就有超过200人,加上测试和周边团队,不下500人。”

而国内付费使用IBM公司的Informix源代码的几家企业,相关队伍都不超过40人,晓军说,要快速追赶世界先进水平,阅读代码的团队规模应该超过写代码的团队。因此国内“面对十年前的巨量代码一筹莫展,要弄通又得花很多年。”

而罗曦光认为,尽管国内公司没有可以比肩甲骨文的,但“在参与开源软件的意义上,中国不是没有入场的资格。这是一个技术充分交流与共享的时代。”

罗曦光说,目前开源的RDBMS(如MariaDB)就有国内软件开发人员大力支持,与大数据平台紧密关联的NoSQL数据库(如HBase)的开发社区里也活跃着中国开发人员的身影。以阿里云为代表的国内云服务的底层,也包含借鉴开源系统打造的数据库管理系统。

“今时今日,一个全新的公司来做项目,可能不会选择国外厂商付费的DBMS。比如互联网的初创企业,大概率会选择国内厂商的基于云服务的包含DBMS的整体方案。”罗曦光说。

s
sanpablo
1 楼
卡了中國脖子的是小母牛翻身
小宇宙大吃货
2 楼
可以用开源的 定制一下 没毛病的
没落贵族
3 楼
越是重要的系统越不敢搬家
h
hamanlee
4 楼
其实国产数据库一直在做,只不过无法与oracle竞争而已。而安全部门,用得都是国产数据库
吃货2001
5 楼
所谓的国产数据库,是如楼下某位说的开源加定制的东西。国产操作系统也是。
L
Littlememe
6 楼
国产数据库因为中国商业不讲诚信文化,错过了最好的发展期,云计算带领的saas数据库管理才起步。
8
85858585
7 楼
是在说米国的产数据库?
胡小海
8 楼
这个好像是另一个芯片问题。当初俺的数据库作业是完成一个基于单独文件的数据库,跟现在的sqlite差不多。俺做的很棒的,完成所有标准sql,要是那时有人投资给俺,现在比奥拉克还厉害。
y
yumidiee
9 楼
mysql是开源的,即便是被oracle所有
S
Sevenfish
10 楼
现在再搭建,基本用MySQL分支,譬如:MariaDB。因为Oracle控制MySQL产品本身,并领导开发社区开发新的成品。由于Oracle已经有了一个商业数据库,因此人们担心他们可能没有足够的资源来使MySQL保持其领先地位。
n
novtim2
11 楼
现在不光普通数据库 垂直列存储数据库 分布式数据库 云存储 key value pair 存储 到 SSD Opal nand 甚至存储单元设计理论 存储控制芯片 那个方面美国不在最顶端 。 不要以为会造地铁楼房就可以挑战这个那个了,人家不造是没有需求
小宇宙大吃货
12 楼
看评论城里IT精英应该不少。华人口才语言干不过阿三,但技术都是很牛X。
路过地球
13 楼
有没有搞错?好像时光穿越了一样......还有人用Oracle? 让马云来解决吧,你再大的数据量也没淘宝大,再关键和实时的要求也高不过支付宝 问问微软、Google、Facebook、阿里巴巴、腾讯...哪个在用Oracle存储数据看!
路过地球
14 楼
一个淘汰的过去式还掐脖子?文科生写的吧 传统企业还有用的,但他们要做的是移植到一代云服务上去。 不会有人认为Amazon数据存在Oracle或SQL Server里吧?
韭上露
15 楼
蠢货写的蠢文,再去开发关系型数据库?热昏了
l
lovNordstrom
16 楼
中国人大部分就集中在几个行业吧。 小宇宙大吃货 发表评论于 2018-07-02 00:46:54 看评论城里IT精英应该不少。华人口才语言干不过阿三,但技术都是很牛X。
路过地球
17 楼
科技日报越反思越来劲,开始胡说八道了。 以淘宝、支付宝、微信的交易量和反应速度可以推测他们的数据平台不弱于任何人 马云哪天逮着这个编辑好好教育教育
m
maniac62
18 楼
Oracle, MySQL, DB2? 这作者真是10年前穿越过来的吧? 写这种文章前先去了解一下谷歌,亚马逊,Facebook都用的是什么吧。
c
cn_abcd
19 楼
Ali 用的是 OceanBase -完全自主研发的金融级分布式关系型数据库
M
MarsFather
20 楼
总是与人斗,昨天斗苏修,今天斗美帝,斗小倭,斗阿三,斗棒子,斗猴子,斗佣人,斗地主,斗右边,斗左边,斗小三,斗腐官,斗土豪,斗... 卡你脖子是小事,哪天哪位愣子给你脑袋爆了,就没人卡人脖子了。
Q
Quarx
21 楼
现在数据库市场全球排名在前的还是这几家商业的有 oracle, msMicrosoft SQL, 开源的是 postgresql, MySQL, 一小部分没有转过来新的,还在用旧的数据库比如IBM DB2, sybase. 企业级的大云计算也就那么几个,美国的有微软、Google、Faceboo,但他们也保留oracle database 和其它的,因为公司大,数据库很多的,不是所有的部门都在用新的云计算。
f
fonsony
22 楼
最大的問題不足誰做的問題、而是會裂家中興事件川總一個不高興、下令把中國那邊關了、啥時候貿平了什麼時候才開返
瞎扯淡
23 楼
什么?!都是核心技术!你们不是说只有芯片么,搞出来很容易,只要砸钱就可以了。 我刚要砸,你们又来一个核心技术。有完没完?
h
hamanlee
24 楼
Oceanbase 更多是一个定制的数据库,为阿里量身定做,推广性不强,和商用数据库是两个概念。国产数据库在九十年代,开源没有出现前就开始做,主要是模仿Oracle, sql server. 开源后被打得一塌糊涂。国内不保护知识产权,尤其是软件版权,人才大量外流。结果国产数据库不是走军工之路,就是走定制之路,没有商用产品就不奇怪了。
路过地球
25 楼
一般中小企业死活不愿意迁移到云服务的,用MySQL+MongoDB足够用了,非要用Oracle也无所谓,他们卖一份都是偷着乐。 但更多应迁移到云服务上,好处多多。包括性能、可靠性、扩展性、备份服务、数据安全、监测统计等,比自己企业内部维护更靠谱。 像银行、高铁这种关键应用应该定制,找马云去。 多数情况可以直接用现成的,看了下阿里云提供的数据服务,基本和微软及亚马逊在同一水平,实际上他们内部研发人员水平也是来回跳的。企业应用也不用自己开发,国内很多公司在做这些领域的开发服务,包括数据迁移服务。 - HiTSDB - 针对物联网实时处理的高性能分布式数据库,每秒钟支持几千万个数据采集点写入,数百万数据点的读取,支持实时监测和后台流处理服务。 - Table Store ,单个表单提供10PB level的数据量,万亿的记录,每秒1千万次的数据访问。 - ApsaraDB 关系数据库服务,支持MySQL、PostgreSQL和SQL Server,和Amazon云数据库提供的差不多。 哪有什么掐脖子这回事。都电动汽车满街跑了,还在喊汽油发动机被人掐脖子要重头搞。 我看是科技日报的编辑应该下岗,对科技前沿的现状根本不了解就胡说八道。
l
laomafacai
26 楼
此文不了解国产数据库领域最新动态,自我贬低缺乏自信的又一典型例证。拿实际事例说话,例如柏睿数据自主研发的RapidsDB,不仅没有使用任何开源代码,而且主导了ISO SQL9075的流数据库国际标准,并且最近又牵头提出AI-in-Database库内人工智能国际标准提案,获得全会复审认可,已走在分布式内存大数据分析平台的世界前列;又比如,星环科技成功通关TPC-DS,成为全球首个经过TPC官方审核的TPC-DS基准测试的数据平台。