和小咲同学拌拌手指,数据仓储拯救锈带,五行缺几样

老键
楼主 (文学城)

数据仓储工业Data warehousing industry 能够拯救美国锈带吗?不如按着五行金木水火土看看pros and cons。

金 - 风险投资 venture capital ,锈带的风投不说不存在至多也只是IT发达地方的几十几百分子一。IT业到处都是嗷嗷待哺。

木 - 人才,数据仓储不是比特币挖矿,雇几个老农看看机房门就行,看看数据仓储排头兵,微软,亚马逊,古狗,甲骨文,IBM, Sap, 哪一家不是IT业老大,为何,数据仓储必须和云计算结合才能形成business model- platform as a service。锈带哪来这些IT人才。

水 - 运输logistics和环境,当然数据仓储不需要卡车司机和搬运工,数据仓储的logistics 是强大的互联网连通,锈带可否与人相比?环境就不用说了,公共设施社会治安等等没一样可以吸引人才和投资。

火 - 能源,数据仓储需要巨量的能源供应,若用化石燃料,会造成巨大的污染和温室气体,今后的数据仓储工业的发展必然和可再生能源的发展息息相关,锈带别说可再生能源工业,本来强大的化石燃料发电机组都已生锈成了废铁。

土 - 土地,没错,锈带有大量荒废的厂区和廉价工业地皮,仅此而已。那些厂房根本不能转为数据仓库,必须推倒重建,放水防火放窃,恒温恒湿恒源。与其在那里建仓,不如在内华达沙漠建更便宜,而且太阳能充足。

所以锈带振兴靠数据仓储不是上策,而是要靠制造业翻身和变革,老根底新生命。

 

z
zhiyanle
现在的AI跟当年IT一样,泡沫经济。。。
咲媱
下面是Technavio 预测:现在是数据中心的高速发展期,钱不是问题,电力可以建设。人可以远程工作,远郊区没治安问题。
咲媱
IT有泡沫,但是实质上带来的技术革命也是非常巨大的。泡沫是小事,后面真正的生产力进步是大事。
咲媱
20年前,你可以说谷歌是泡沫,没有实质生产,但是到今天还这么认为,就是脑子跟不上时代的标志。
z
zhiyanle
泡沫经济不是否定经济 目睹了IT/GMO泡沫破裂,直接作用是失业和成本盘升。。。现在是侵犯言论自由和消费者自由了。。。
z
zhiyanle
科技是生产力同时也是破坏力。主流科学信誉扫地, 公民科学正在兴起发展。这才是时代变迁主流。。
老键
老兄夸张了
老键
国际数据业必须在全球经济增长点设立数据中心,否则当地大企业和政府不会用,他们一般有政策数据物理存放不能超越国界
咲媱
现在全球经济增长点,主要就是美国啊。特别是数据科技。这个数据壁垒一建立,结果就是强的更强,弱的更弱。谁敢把数据放中国?
久经沙场的枪
计算中心(data center)和数据挖掘(data warehouse)是两个完全不同的概念。计算中心,尤其是ai,

是电老虎,用电量巨大,一般都放在边远地区。

z
zhiyanle
不及而非夸张。去年,诺奖和美国国家科学院联手主持活动恢复主流科学信誉,失败。。。
d
donau
所以第一问题是制冷解决不了啊。等我闲下来聊几句这个话题吧中文说到这些真是又无知又无畏
d
donau
要不你来聊你比我懂多了。特约
老键
在一般论坛争这个区别没啥意思,warehousing仓储是一种运作,跟着小咲的原帖而已,挺形象的

至于database, data warehouse, 和data lake 的异同,在数据工程里另当别论。

老键
就是,谁发神经才把数据放在中国。不过很多外企在中国的公司不得不这么做,还得用中国的阿里云什么的,否则有被控间谍的危险
老键
这个我同意。Y2K这种低级泡沫很难在今后重现。AI 也属于广IT, 一枝红杏刚出墙头,离泡沫还远。那些哗众取宠的开发除外
d
donau
不对。老键这不是你的comfortable Zone 你给的概念不是一个级别的

你还data lake 了

瞎扯

老键
数据挖掘应该是data mining 吧
老键
你说我的comfort zone是什么? 我只告诉你我80% 的数据在delta lake里
d
donau
你能有多少数据啊在data lake 那不正常吗data warehouse 概念要早一点所以我说现在已经过去了

那是rational 的数据从原来的table 发展起来的

你的data lake 是现在cloud 的概念

老键
多瑙啊,你不揪楼上老枪的数据挖掘错误概念,揪住我这个给你坛子贡献文字的何苦呢

咱不再说data lake 这些浅显概念了吧,网上一搜一大把,再不济叫chatgpt写一篇也丰简由己,说一个具体例子,我团队的一项工作四年前在on pram SQL server上仅仅做data  validation 要日夜不停花14天,如今在delta lake 上至多只要14分钟。

久经沙场的枪
计算中心主要是硬件,服务器空调通风通电机房等,电工管子工用的多,还有保安门卫等。数据挖掘要IT工程师了
久经沙场的枪
Data warehouses是专用名词,就是数据挖掘分析
d
donau
你说的对他说的那个data Mining 是有问题的。但是他不熟我只好客气点你这个我就直奔主题了因为我做一部分

Data lake 的backend solution 我知道是怎么回事

咲媱
所以很多外企都撤了啊,只留下一些对数据要求不大的公司。
d
donau
我想你这里说的是data center 还不是中文传统意义下的computer center 那是现在cloud 的节点
z
zhiyanle
Y2K不是泡沫问题而是技术问题。IT泡沫说的是经济社会效应尤其是与实体经济的关系问题。
z
zhiyanle
云计算泡沫同样,也破裂了。当然它还在继续发展,包括跨国镇压用云计算对我这小网民的封锁。
z
zhiyanle
例如,1byte=8bits,搞成1byte=64bits,Y2K问题迎刃而解。
久经沙场的枪
以前计算机值钱,叫计算机中心,现在数据值钱,叫数据中心。就一点,放硬件的地方
d
donau
这个对我还去参观过呢。是要求的可不是我主动去
老键
枪兄谢谢,你说的也对,我孤陋寡闻了 抱歉。问了下gpt

Data warehousing refers to the process of collecting, storing, and managing large volumes of data from various sources in a centralized repository, known as a data warehouse. This system is designed to support business intelligence (BI) activities, such as data analysis, reporting, and decision-making.

Key characteristics of a data warehouse include:

Subject-Oriented: Focuses on specific areas of interest, like sales or finance.

Integrated: Combines data from multiple sources, ensuring consistency and uniformity.

Time-Variant: Tracks and stores historical data over time.

Non-Volatile: Once data is entered into the warehouse, it is not altered or deleted, allowing for consistent analysis.

Data warehouses allow businesses to analyze historical data, uncover trends, and make data-driven decisions. They are optimized for querying and reporting rather than transactional tasks.

d
donau
那我也要抱歉我是跟着你跑了我想的是它从数据库发展起来的那个概念data Warehouse 没有s