看帖神器
未名空间
追帖动态
头条新闻
每日新帖
最新热帖
新闻存档
热帖存档
文学城
虎扑论坛
未名空间
北美华人网
北美微论坛
看帖神器
登录
← 下载
《看帖神器》官方
iOS App
,体验轻松追帖。
如何在两个数据中心实现数据的consistency?
查看未名空间今日新帖
最新回复:2021年9月27日 14点24分 PT
共 (12) 楼
返回列表
订阅追帖
只看未读
更多选项
阅读全帖
只看图片
只看视频
查看原帖
G
GAGAMA
2 年多
楼主 (未名空间)
比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
consistency?
我听说google好像有个叫spanner的产品,保证global available and consistent,但是SQL based.如果是no SQL,比如HBase,怎么实现?
i
iDemocracy
2 年多
2 楼
加个lock,加个audit,distributed database的教科书里有几种方案,思路跟是否SQL没有关系。
l
lestrois2000
2 年多
3 楼
https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/
dmlClientRequestsWrite.html
G
GAGAMA
2 年多
4 楼
谢谢
假设我们解决了lock本身的sync up的问题,但是这一个lock,一个audit下来,速度就
慢了很多。
【 在 iDemocracy(DEMO) 的大作中提到: 】
: 加个lock,加个audit,distributed database的教科书里有几种方案,思路跟
是否SQL
: 没有关系。
G
GAGAMA
2 年多
5 楼
让我了解一下,谢谢
十个字
【 在 lestrois2000(lestrois2000) 的大作中提到: 】
: https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/
: dmlClientRequestsWrite.html
W
Waypin
2 年多
6 楼
HBase supports replication out of the box
https://blog.cloudera.com/apache-hbase-replication-overview/
http://people.apache.org/~stsack/site/replication.html
W
Waypin
2 年多
7 楼
Oracle GoldenGate for SQL replication
n
netghost
2 年多
8 楼
嚴格按照CAP的strong consistency,搞出來的產品一定會慢成渣。
大部分生產環境都不需要真正的consistency,所以都會做一定的trade off,怎麼
trade就是art,open source沒有完全好用的。
【 在 GAGAMA (GAGA) 的大作中提到: 】
: 比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。
: 现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
: consistency?
: 我听说google好像有个叫spanner的产品,保证global available and consistent,但
: 是SQL based.如果是no SQL,比如HBase,怎么实现?
h
heteroclinic
2 年多
9 楼
书二十年前的微软数据库认证就讲
数据库不C,从log file 来找,
这是什么,就是一种最简单的冗余
好的系统,涉及钱的,一般都有夜审,周审,月审,年结
f
fantasist
2 年多
10 楼
据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
这玩意儿相当先进,目测业界现在都没抄出来。
说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
远了,只是自动elect leader,不支持多个replica同时写入。
没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC都不容易实现。
n
netghost
2 年多
11 楼
spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
一個程度了。
當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是不能拿出來說的。
【 在 fantasist (一) 的大作中提到: 】
: 据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
: 这玩意儿相当先进,目测业界现在都没抄出来。
: 说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突
: 然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
: 远了,只是自动elect leader,不支持多个replica同时写入。
: 没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC
: 都不容易实现。
i
iDemocracy
2 年多
12 楼
那不是CS,CS是发明编译器以及编程方法论,具体的编程工作不是CS而是engineering
,就像造车和开车完全是不同的技能。有些程序员岗位不需要高考分数,高中生都能做,也有的例如科研仿真程序只能找高学历的来写,主要看业务内容了。
【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
: 一個程度了。
: 當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是
: 不能拿出來說的。
请输入帖子链接
收藏帖子
比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
consistency?
我听说google好像有个叫spanner的产品,保证global available and consistent,但是SQL based.如果是no SQL,比如HBase,怎么实现?
加个lock,加个audit,distributed database的教科书里有几种方案,思路跟是否SQL没有关系。
dmlClientRequestsWrite.html
谢谢
假设我们解决了lock本身的sync up的问题,但是这一个lock,一个audit下来,速度就
慢了很多。
【 在 iDemocracy(DEMO) 的大作中提到: 】
: 加个lock,加个audit,distributed database的教科书里有几种方案,思路跟
是否SQL
: 没有关系。
让我了解一下,谢谢
十个字
【 在 lestrois2000(lestrois2000) 的大作中提到: 】
: https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/
: dmlClientRequestsWrite.html
HBase supports replication out of the boxhttps://blog.cloudera.com/apache-hbase-replication-overview/
http://people.apache.org/~stsack/site/replication.html
Oracle GoldenGate for SQL replication
嚴格按照CAP的strong consistency,搞出來的產品一定會慢成渣。
大部分生產環境都不需要真正的consistency,所以都會做一定的trade off,怎麼
trade就是art,open source沒有完全好用的。
【 在 GAGAMA (GAGA) 的大作中提到: 】
: 比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。
: 现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
: consistency?
: 我听说google好像有个叫spanner的产品,保证global available and consistent,但
: 是SQL based.如果是no SQL,比如HBase,怎么实现?
书二十年前的微软数据库认证就讲
数据库不C,从log file 来找,
这是什么,就是一种最简单的冗余
好的系统,涉及钱的,一般都有夜审,周审,月审,年结
据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
这玩意儿相当先进,目测业界现在都没抄出来。
说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
远了,只是自动elect leader,不支持多个replica同时写入。
没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC都不容易实现。
spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
一個程度了。
當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是不能拿出來說的。
【 在 fantasist (一) 的大作中提到: 】
: 据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
: 这玩意儿相当先进,目测业界现在都没抄出来。
: 说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突
: 然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
: 远了,只是自动elect leader,不支持多个replica同时写入。
: 没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC
: 都不容易实现。
那不是CS,CS是发明编译器以及编程方法论,具体的编程工作不是CS而是engineering
,就像造车和开车完全是不同的技能。有些程序员岗位不需要高考分数,高中生都能做,也有的例如科研仿真程序只能找高学历的来写,主要看业务内容了。
【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
: 一個程度了。
: 當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是
: 不能拿出來說的。