如何在两个数据中心实现数据的consistency?

G
GAGAMA
楼主 (未名空间)

比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
consistency?

我听说google好像有个叫spanner的产品,保证global available and consistent,但是SQL based.如果是no SQL,比如HBase,怎么实现?
i
iDemocracy

加个lock,加个audit,distributed database的教科书里有几种方案,思路跟是否SQL没有关系。
G
GAGAMA

谢谢

假设我们解决了lock本身的sync up的问题,但是这一个lock,一个audit下来,速度就
慢了很多。

【 在 iDemocracy(DEMO) 的大作中提到: 】

: 加个lock,加个audit,distributed database的教科书里有几种方案,思路跟
是否SQL

: 没有关系。

G
GAGAMA

让我了解一下,谢谢

十个字

【 在 lestrois2000(lestrois2000) 的大作中提到: 】

: https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/

: dmlClientRequestsWrite.html

W
Waypin

Oracle GoldenGate for SQL replication
n
netghost

嚴格按照CAP的strong consistency,搞出來的產品一定會慢成渣。

大部分生產環境都不需要真正的consistency,所以都會做一定的trade off,怎麼
trade就是art,open source沒有完全好用的。
【 在 GAGAMA (GAGA) 的大作中提到: 】
: 比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。
: 现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
: consistency?
: 我听说google好像有个叫spanner的产品,保证global available and consistent,但
: 是SQL based.如果是no SQL,比如HBase,怎么实现?

h
heteroclinic

书二十年前的微软数据库认证就讲
数据库不C,从log file 来找,
这是什么,就是一种最简单的冗余

好的系统,涉及钱的,一般都有夜审,周审,月审,年结
f
fantasist

据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
这玩意儿相当先进,目测业界现在都没抄出来。
说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
远了,只是自动elect leader,不支持多个replica同时写入。
没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC都不容易实现。

n
netghost

spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
一個程度了。

當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是不能拿出來說的。
【 在 fantasist (一) 的大作中提到: 】
: 据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
: 这玩意儿相当先进,目测业界现在都没抄出来。
: 说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突
: 然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
: 远了,只是自动elect leader,不支持多个replica同时写入。
: 没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC
: 都不容易实现。

i
iDemocracy

那不是CS,CS是发明编译器以及编程方法论,具体的编程工作不是CS而是engineering
,就像造车和开车完全是不同的技能。有些程序员岗位不需要高考分数,高中生都能做,也有的例如科研仿真程序只能找高学历的来写,主要看业务内容了。

【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
: 一個程度了。
: 當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是
: 不能拿出來說的。