技术和庸人自扰

T
TeacherWei
楼主 (未名空间)

说起数据库。我的全套IoT产品线,所有的网络服务,后台就是一个MySQL。其实我服务几十亿用户,数据存储用flat file就够了。目前是MySQL和flat file双备份。

这个设计架构定下来,可以往后管几十年。当不需要去祸害人的时候,一起都如此简单。这个世界不会有任何损失,只会有各种好处。

这也正是我对于今后社会和技术发展持极端悲观看法的理由。
T
TeacherWei

当然我不是说任何应用都能设计成这个样子。

但是针对具体的IoT应用,这个就是可以保持一辈子稳定的设计。

我们距离理想社会,依然相差太远。现在还处于原始状态。需要观念和社会制度的革命。

s
sanwadie

MySql 用好了也不容易,看到太多的DBA,连系统内部如何使用索引也解释不清楚,还
反问:知道这个有啥用
【 在 TeacherWei (TW) 的大作中提到: 】
: 说起数据库。我的全套IoT产品线,所有的网络服务,后台就是一个MySQL。其实我服务
: 几十亿用户,数据存储用flat file就够了。目前是MySQL和flat file双备份。
: 这个设计架构定下来,可以往后管几十年。当不需要去祸害人的时候,一起都如此简单
: 。这个世界不会有任何损失,只会有各种好处。
: 这也正是我对于今后社会和技术发展持极端悲观看法的理由。

T
TeacherWei

我那个连flat file都搞定,SQL能复杂到哪里去?基本就是开机读到底in memory,平
时基本不写。这样,才有可能服务几十亿人。

如果我的服务仅仅是帮助手机在外面连家里Hub。就是这么几个操作:
1. authentication,每台手机一个key,认证不通过断开
2. Get IP:Port,如果Hub设置router port forwarding
3. Payload forward,如果用户啥都不懂,通过bridge转发消息。消息是端到端加密,用额外的私秘秘钥。bridge转发的是binary blobs。两层加密。

这个架构可以100年不变。服务几十亿人。甚至整个太阳系。

【 在 sanwadie (三娃爹) 的大作中提到: 】
: MySql 用好了也不容易,看到太多的DBA,连系统内部如何使用索引也解释不清楚,还
: 反问:知道这个有啥用

w
walkrandom

flat file就是WAL
最后还是要搞compaction
不如一开始就用influxdb

时间数据库比较麻烦
写是用的kv的LSM tree
读却是类似关系数据库的range query
不容易搞
d
dumbCoder

魏老师你这个是每家host自己的数据库吧.
跟互联网公司那种把数据库host到一个centralized的server(cluster)不一样.

【 在 TeacherWei (TW) 的大作中提到: 】
: 我那个连flat file都搞定,SQL能复杂到哪里去?基本就是开机读到底in memory,平
: 时基本不写。这样,才有可能服务几十亿人。
: 如果我的服务仅仅是帮助手机在外面连家里Hub。就是这么几个操作:
: 1. authentication,每台手机一个key,认证不通过断开
: 2. Get IP:Port,如果Hub设置router port forwarding
: 3. Payload forward,如果用户啥都不懂,通过bridge转发消息。消息是端到端加密,
: 用额外的私秘秘钥。bridge转发的是binary blobs。两层加密。
: 这个架构可以100年不变。服务几十亿人。甚至整个太阳系。

T
TeacherWei

1. Flat file也可以random access
2. Append only同时也是audit trail
3. 如果积攒10年的数据,毫秒级别内就能load,为啥要compact啊?

关键是,我不分析我的用户。对于我的需求,几百行代码够用一辈子了。服务几十亿用户也没问题,做一个简单的sharding就好。

【 在 walkrandom (walkrandom) 的大作中提到: 】
: flat file就是WAL
: 最后还是要搞compaction
: 不如一开始就用influxdb
: 时间数据库比较麻烦
: 写是用的kv的LSM tree
: 读却是类似关系数据库的range query
: 不容易搞

T
TeacherWei

目前是这样:

1. 中控Hub就是ultimate programming machine。没有啥代码不能写的。
2. 各种传感器数据直接写SD卡上面。读写一行代码就搞定了。https://librehome.com/doc/developers_doc/data_api/
3. 其实数据上云也一样,都是ID, timestamp, binaryblob。做成source加密存储分分钟的。API都是一样。
4. 谁都能写App,就像给手机写App一样。但是我保证数据送不出去。任何连接外网的
API都是缺省block。白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否则连App store都不让上。

这些,将来肯定都是社会和经济常态。我只不过是起加速作用而已。

【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 魏老师你这个是每家host自己的数据库吧.
: 跟互联网公司那种把数据库host到一个centralized的server(cluster)不一样.

n
netghost

同學,你真的自己實現過,用過WAL,compaction,LSM tree, KV store這些概念種的任何一個嗎?

就是一個問題。
【 在 walkrandom (walkrandom) 的大作中提到: 】
: 标 题: Re: 技术和庸人自扰
: 发信站: BBS 未名空间站 (Tue Dec 1 13:00:41 2020, 美东)
:
: flat file就是WAL
: 最后还是要搞compaction
: 不如一开始就用influxdb
:
: 时间数据库比较麻烦
: 写是用的kv的LSM tree
: 读却是类似关系数据库的range query
: 不容易搞
: --
m
mrmaja

牛逼3C88
【 在 TeacherWei (TW) 的大作中提到: 】
:
: 这个架构可以100年不变。服务几十亿人。甚至整个太阳系。
:
: 【 在 sanwadie (三娃爹) 的大作中提到: 】
: : MySql 用好了也不容易,看到太多的DBA,连系统内部如何使用索引也解释不清楚
,还
: : 反问:知道这个有啥用
d
dumbCoder

看着挺让人期待, 回头搞个装家里玩玩

【 在 TeacherWei (TW) 的大作中提到: 】
: 目前是这样:
: 1. 中控Hub就是ultimate programming machine。没有啥代码不能写的。
: 2. 各种传感器数据直接写SD卡上面。读写一行代码就搞定了。
: https://librehome.com/doc/developers_doc/data_api/
: 3. 其实数据上云也一样,都是ID, timestamp, binaryblob。做成source加密存储分分
: 钟的。API都是一样。
: 4. 谁都能写App,就像给手机写App一样。但是我保证数据送不出去。任何连接外网的
: API都是缺省block。白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否
: 则连App store都不让上。
: 这些,将来肯定都是社会和经济常态。我只不过是起加速作用而已。

d
dumbCoder

"这些,将来肯定都是社会和经济常态。我只不过是起加速作用而已。"
你这个是跟现在互联网那套:
低价/免费用+搜集用户数据 的大佬们斗呀, 要有人开这个头,哈哈

【 在 TeacherWei (TW) 的大作中提到: 】
: 目前是这样:
: 1. 中控Hub就是ultimate programming machine。没有啥代码不能写的。
: 2. 各种传感器数据直接写SD卡上面。读写一行代码就搞定了。
: https://librehome.com/doc/developers_doc/data_api/
: 3. 其实数据上云也一样,都是ID, timestamp, binaryblob。做成source加密存储分分
: 钟的。API都是一样。
: 4. 谁都能写App,就像给手机写App一样。但是我保证数据送不出去。任何连接外网的
: API都是缺省block。白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否
: 则连App store都不让上。
: 这些,将来肯定都是社会和经济常态。我只不过是起加速作用而已。

d
dumbCoder

"任何连接外网的 API都是缺省block。
白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否则连App store都不
让上"

说说我的看法,以前思考过这个问题. 这类系统中, 这一点其实最难.
从最底层(发了什么数据包)到最上层(用户理解的准确描述),
这个说明如何被验证(能不能上你的 app store).
要想实现的好, 最后你的 app store 成了仲裁机构? 类似 Apple Store?
当然还有另外一种思路: app 通通开源, 这样的话 developer 是否愿意?

【 在 TeacherWei (TW) 的大作中提到: 】
: 目前是这样:
: 1. 中控Hub就是ultimate programming machine。没有啥代码不能写的。
: 2. 各种传感器数据直接写SD卡上面。读写一行代码就搞定了。
: https://librehome.com/doc/developers_doc/data_api/
: 3. 其实数据上云也一样,都是ID, timestamp, binaryblob。做成source加密存储分分
: 钟的。API都是一样。
: 4. 谁都能写App,就像给手机写App一样。但是我保证数据送不出去。任何连接外网的
: API都是缺省block。白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否
: 则连App store都不让上。
: 这些,将来肯定都是社会和经济常态。我只不过是起加速作用而已。

T
TeacherWei

其实这个没这么困难。

1. 其实逻辑上,几乎没有任何理由建立外网的连接。公共服务,比如天气预报,路况
,甚至股票,我们会提供API。我就是让别人连理由都找不到。
2. 目前App都是源码,将来会提供编译功能。但是,找到合理向外送数据的理由,作者还要提供详细的声明disclaimer。说明送什么数据?怎么用的?将来他们违反了,那是他们对用户违约的事情。
3. 其实把话都买到桌面上说,骗子基本就杜绝了。除非为了公益收集数据,其它的理
由根本站不住脚。别忘了我的App Engine写代码多容易。普通的百八十行就搞定了。竞争会越来越激烈,谁会给人机会去耍流氓啊?
4. 撕破脸皮搞设计。我的虚拟机安全性不是一般的强。比如在手机上,你给一个App输入一个灯,这个App只能控制这个灯。它根本得不到任何其他数据。任何违规访问,App立刻就被杀掉了。

我现在提供的是一个rock solid的平台。我现在着重的是把价值观说明白。美国人民是讲价值观的!Independence, Freedom & Privacy。这里面Privacy才排最后!
Independence才是最关键的!就是明码标价。一次买断!买完了只有各种享受的权利,不会继续被收割!消灭的是反反复复的收割,尤其是子子孙孙的收割。欧耶!

斗争部分才是最精彩的。这里面颇费思量。关键的是如何尽量支持更多的第三方设备,又不能被别人收割死?比如那些wifi的设备,贼便宜。品质都很差,而且上电就上云。每天向外面送几十MB数据。那些都是美国华尔街硅谷资本家和中国共产党资本家勾兑赚钱的。人家钱不是问题。问题是,这些设备你支持不支持?

我的business model是按照接入的第三方设备收license fee。每个设备固定比如每个$5。但是对目前初期用户,每个Hub送1000个device license。完美的解决了所有的问题。相当于给早期用户送大礼。

至于是不是要永远免费送下去?Why do you care?LOL。Choice is power!对大家都
是。

【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: "任何连接外网的 API都是缺省block。
: 白名单需要每个用户点头。送什么数据?怎么用?都要说明白。否则连App store都不
: 让上"
: 说说我的看法,以前思考过这个问题. 这类系统中, 这一点其实最难.
: 从最底层(发了什么数据包)到最上层(用户理解的准确描述),
: 这个说明如何被验证(能不能上你的 app store).
: 要想实现的好, 最后你的 app store 成了仲裁机构? 类似 Apple Store?
: 当然还有另外一种思路: app 通通开源, 这样的话 developer 是否愿意?

d
dumbCoder

赞, 不过我觉得app开源是最强(去流氓化)方案,不过就是太理想化

【 在 TeacherWei (TW) 的大作中提到: 】
: 其实这个没这么困难。
: 1. 其实逻辑上,几乎没有任何理由建立外网的连接。公共服务,比如天气预报,路况
: ,甚至股票,我们会提供API。我就是让别人连理由都找不到。
: 2. 目前App都是源码,将来会提供编译功能。但是,找到合理向外送数据的理由,作者
: 还要提供详细的声明disclaimer。说明送什么数据?怎么用的?将来他们违反了,那是
: 他们对用户违约的事情。
: 3. 其实把话都买到桌面上说,骗子基本就杜绝了。除非为了公益收集数据,其它的理
: 由根本站不住脚。别忘了我的App Engine写代码多容易。普通的百八十行就搞定了。竞
: 争会越来越激烈,谁会给人机会去耍流氓啊?
: 4. 撕破脸皮搞设计。我的虚拟机安全性不是一般的强。比如在手机上,你给一个App输
: ...................

T
TeacherWei

我们自己的App都是开源的。
https://github.com/librehome/librehome/tree/main/SmartonLabs

我对此很乐观。将来Smart Thermostat,Smart Sprinkler都会越来越好。这东西,一
旦开源,就关不上了。会极大地解放生产力。

还有这个Denon功放的驱动
https://github.com/librehome/librehome/blob/main/SmartonLabs/LibreDenonAVR.
lua

用户把自己家网络里面的功放扔进去,系统就多出一大堆设备出来。功放开关,功放音量。。。这些设备绑定到遥控器上。。。

所有的WiFi设备的开源,都会这样。。。。

【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 赞, 不过我觉得app开源是最强(去流氓化)方案,不过就是太理想化

w
walkrandom

IoT上面,云主要提供一个本地的克隆
叫做digital twin,shadow,或者fleet之类的
你想想不管怎么穿透,总有网络当掉,指令进不去的时候
这个时候云上的克隆可以保持这个指令
等到本地连上去再送过来
T
TeacherWei

你这个说法,有reference么?

好奇谁肯开这样的玩笑?

指令保存在云上,都不如保存在用户手机上。。。你仔细思考一下。。。

这年头,人都疯了,一片末世景象。。。至于么?呵呵

【 在 walkrandom (walkrandom) 的大作中提到: 】
: IoT上面,云主要提供一个本地的克隆
: 叫做digital twin,shadow,或者fleet之类的
: 你想想不管怎么穿透,总有网络当掉,指令进不去的时候
: 这个时候云上的克隆可以保持这个指令
: 等到本地连上去再送过来

d
dumbCoder

你们两个聊天完全不在一个频段,我就不掺和了, 哈哈哈

【 在 TeacherWei (TW) 的大作中提到: 】
: 你这个说法,有reference么?
: 好奇谁肯开这样的玩笑?
: 指令保存在云上,都不如保存在用户手机上。。。你仔细思考一下。。。
: 这年头,人都疯了,一片末世景象。。。至于么?呵呵

T
TeacherWei

深入讲,这个属于consensus problem。

乱搞的话,会死人的。。。

【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 你们两个聊天完全不在一个频段,我就不掺和了, 哈哈哈

n
netghost

"Established solution architect" vs "Established scientist". :)
【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 你们两个聊天完全不在一个频段,我就不掺和了, 哈哈哈

T
TeacherWei

去影响社会才是正道。

期待你实名去媒体发文章。不要忘了过来吱一声。。。

【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: "Established solution architect" vs "Established scientist". :)

n
netghost

Sorry, I don't pre-sell my half-baked product on a programming forum so I do not find that necessary. ;)

【 在 TeacherWei (TW) 的大作中提到: 】
: 去影响社会才是正道。
: 期待你实名去媒体发文章。不要忘了过来吱一声。。。

c
chebyshev

营销贴你当技术贴回,这是个错误。
【 在 walkrandom (walkrandom) 的大作中提到: 】
: IoT上面,云主要提供一个本地的克隆
: 叫做digital twin,shadow,或者fleet之类的
: 你想想不管怎么穿透,总有网络当掉,指令进不去的时候
: 这个时候云上的克隆可以保持这个指令
: 等到本地连上去再送过来

T
TeacherWei

Whatever I released have always been rock-solid and more rock-solid than you could possibly achieve in your lifetime.

I suggest you go get a life.

【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: Sorry, I don't pre-sell my half-baked product on a programming forum so I do
: not find that necessary. ;)

T
TeacherWei

说起这个rock-solid,我欢迎任何人abuse my system。
只要别拿大锤子去砸就好。
可惜,愿意折腾的人,少之又少。
T
TeacherWei

说到营销,你说这个营销策略咋样?
https://librehome.com/blog/libertas/iot-digital-independence/

直接把Freedom, Independence & Privacy当作company mission的,目前一个还没有吧?

我直接呼吁EFF的律师来帮忙,Let's make the mission legal binding...

【 在 chebyshev (......) 的大作中提到: 】
: 营销贴你当技术贴回,这是个错误。

n
netghost


【 在 TeacherWei (TW) 的大作中提到: 】
: Whatever I released have always been rock-solid and more rock-solid than
you
: could possibly achieve in your lifetime.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
You have been pre-selling for YEARS before you actually released ANY product, rock-solid or tofu-solid.
: I suggest you go get a life.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
No, I suggested you should get a proper forum.
: do

T
TeacherWei

呵呵,吆喝了10年,倒是真的。正说明做事要严谨。啥时候做好,啥时候算。

我的口头禅就是: It takes as long as it takes.

有什么好着急的?你咋不急着去死呢?

这个网站,又不是你家开的。

一不小心,又RE上10大了。

【 在 netghost(Up to Isomorphism) 的大作中提到: 】
<br>: you
<br>: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
<br>: You have been pre-selling for YEARS before you actually released ANY
product
<br>: ,
<br>: rock-solid or tofu-solid.
<br>: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
<br>: No, I suggested you should get a proper forum.
<br>

n
netghost

My point is that:

1. You exposed your really identity only because you want to pre-sell/
promoting your own business.
2. You should not use a programming forum for your purpose stated in 1. You should use a PROPER place for promoting your business.

None of the above two points give you any reason to add your credibility,
particularly when you are pre-selling a non-existent product for years. So
stop using
that as an argument, is makes you look silly.

Your self-claimed product quality is irrelavent to my observations here.
【 在 TeacherWei (TW) 的大作中提到: 】
: 呵呵,吆喝了10年,倒是真的。正说明做事要严谨。啥时候做好,啥时候算。
: 我的口头禅就是: It takes as long as it takes.
: 有什么好着急的?你咋不急着去死呢?
: 这个网站,又不是你家开的。
: 一不小心,又RE上10大了。
: <br>: you
: <br>: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
: <br>: You have been pre-selling for YEARS before you actually
released
: ANY
: product
: ...................

T
TeacherWei

我早说的很清楚了。谁在乎你啊?

我一直在这个版disclose各种技术。很多都是其他人没用过没听说过的技术。你咋不去指责别人卖微软谷歌那些big tech的产品呢?

与其说我在卖产品,倒不如说我在卖价值观。你也可以卖,你那些垃圾其实都是上不了台面的。你知我知大家知。

早就公开和你撕破脸了。咱们的根本冲突是价值观。是不可调和的。12/14,1/20,日
子一天天近了。呵呵。

【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: My point is that:
: 1. You exposed your really identity only because you want to pre-sell/
: promoting your own business.
: 2. You should not use a programming forum for your purpose stated in 1.
You
: should use a PROPER place for promoting your business.
: None of the above two points give you any reason to add your credibility, : particularly when you are pre-selling a non-existent product for years. So
: stop using
: that as an argument, is makes you look silly.
: Your self-claimed product quality is irrelavent to my observations here.
: ...................

n
netghost

I will not be surprised a bit if you do not care anybody.

And I also won't be suprised you will post any "crap" about your half-baked product in any settings, even to the point of embarassing yourself.

Dude, you literally pissed off Mike Pall who created Luajit by sending the
same type of crap you put on this forum, even your product use his creation for free. You should thank him, but instead you go out to harass and annoy
him.

Did you feel what you did was wrong? No.
Would I expect you to show minimum respect to anybody? No, of course not.

【 在 TeacherWei (TW) 的大作中提到: 】
: 我早说的很清楚了。谁在乎你啊?
: 我一直在这个版disclose各种技术。很多都是其他人没用过没听说过的技术。你咋不去
: 指责别人卖微软谷歌那些big tech的产品呢?
: 与其说我在卖产品,倒不如说我在卖价值观。你也可以卖,你那些垃圾其实都是上不了
: 台面的。你知我知大家知。
: 早就公开和你撕破脸了。咱们的根本冲突是价值观。是不可调和的。12/14,1/20,日
: 子一天天近了。呵呵。
: You

T
TeacherWei

This is a public forum.

My post was modded up by moderators and I had no idea who they are.

Our difference is the irreconcilable difference in value system. And I made it very clear that your value system is disgusting.

My suggestion to you: post your comments to an American forum using your
real name. And reveal your value system like you did in Chinese. See how you are gonna be treated.

Perhaps your posts has already been collected by FBI. And I do think they
should pay some attention.

【 在 netghost(Up to Isomorphism) 的大作中提到: 】

: I will not be surprised a bit if you do not care anybody.

: And I also won't be suprised you will post any "crap" about your half-baked

: product in any settings, even to the point of embarassing yourself.

: Dude, you literally pissed off Mike Pall who created Luajit by sending the

: same type of crap you put on this forum, even your product use his
creation

: for free. You should thank him, but instead you go out to harass and
annoy

: him.

: Did you feel what you did was wrong? No.

: Would I expect you to show minimum respect to anybody? No, of course
not.

T
TeacherWei

I personally do feel very sorry for American people that there are so many
disgraceful Chinese like netghost, who were welcome to this country only to destroy its value and democracy, which is everything they believed in and
cared about for hundreds of years.