NBC news: A major global IT outage is hitting industries across the world with airlines, banks, shops and broadcasters affected. https://www.nbcnews.com/news/world/live-blog/live-updates-it-outage-flights-banks-businesses-microsoft-crowdstrike-rcna162669 美国各大航空公司已停飞航班,全球航班延误。众议院网络安全小组委员会成员埃里克·斯瓦尔韦尔表示,美联航、美国航空和达美航空已下令“全球停飞”。 微软表示已修复该问题,但问题仍然存在,美国及其他地区的公共屏幕上出现蓝色错误屏幕。 总部位于德克萨斯州的网络安全公司 CrowdStrike 表示,该问题源于“Windows 单个内容更新中发现的缺陷”。 阿拉斯加州警表示,全州的 911 服务均已中断。
对,信用卡没事,debit card 不行,而且特可恶的是取款失败以后银行柜员在柜台帮忙查了卡以后说没问题,让我换了一个 ATM 机 (系统没恢复,柜台取不了钱),这次取款显示 this card is disabled. 然后热心的柜员给换了个新卡,再上 ATM 机,仍然显示 this card is disabled。这柜员经验不足好心办坏事啊。回头还得等系统好了再去试卡到底有没有问题,没有的话还得办新卡。奶奶的,净耽误功夫
我的FOREX.COM账户完全不能登陆,显示账号信息错误。然后重设密码,结果重设密码的页面直接打不开,显示“refuse to connect". 一堆交易用户都惨了。特别是还没close trade的,账户亏到0都有可能。有人链接到客服,说现在只能回归到几十年前用笔和笔记本的年代。想要交易必须打电话给操作员手动操作。
Reddit上这个说法还靠谱。只是全球爱替们要手工修改这么多servers恐怕让人想起了石器时代 Crowd strike has sensors that hook into the system kernel as a driver. They pushed an update to this driver that is broken. This means computers blue screened and rebooted, on reboot they try to load this driver and blue screen. They will keep rebooting and blue screening until either windows reboots to the last good version of that driver or it’s manually deleted.
关键是这个 Crowdstrike is currently one of the de facto must have cloud security platforms and their EDR agent is on every government and enterprise server and workstation worth its salt. Being a cybersecurity software as a service they have the ability to push emergency updates to all agents where sometimes the bleeding edge makes sense to address zero day threats. Customers have ability to set their update target to things like n - 1, etc. to mitigate this type of risk but CS apparently bypassed this or even forced through 3 versions globally to all customers at once which bluescreened every windows host using CS within minutes. 有司爱替将这个agent的update关了,也被强制更新了。我现在越来越怀疑这个事情是一次精心策划的cyber攻击。放在CS,让他有苦难言。
查了一下这个 CrowdStrike,看起来像一家美国本土公司,总部在 Austin,全球有很多办公地点。然后,不出所料,公司官网表明,印度备受重视,2018年开始在印度投资,今年2月又大力投资印度 https://www.crowdstrike.com/press-releases/crowdstrike-invests-in-india-operations-to-continue-protecting-businesses-from-modern-cyberattacks/ PUNE, India – February 15, 2024 — CrowdStrike (Nasdaq: CRWD) today announced the opening of its new, state-of-the-art office in Pune, India, significantly strengthening the company’s presence in the region. The new, 52,000 square foot facility nearly doubles the capacity of previous facilities in Pune, cementing the cybersecurity leader’s commitment to protecting organizations in India and across the region. CrowdStrike 大力投资印度业务,继续保护企业免受现代网络攻击 新办公室巩固了 CrowdStrike 为印度及更广泛地区的组织提供行业领先保护的承诺 印度浦那 – 2024 年 2 月 15 日— CrowdStrike (Nasdaq: CRWD) 今天宣布在印度浦那开设新的先进办事处,大大增强了该公司在该地区的业务。新的 52,000 平方英尺设施的容量几乎是浦那之前设施的两倍,巩固了这家网络安全领导者对保护印度和整个地区组织的承诺。 CrowdStrike 总部位于美国,业务遍布全球,是全球发展最快、最具创新精神的安全公司之一。CrowdStrike 自 2018 年起开始在印度投资,当时它首次在浦那开设了 CrowdStrike 创新和发展中心,作为其人才、创新和客户参与的区域中心。扩大的设施和市场影响力支持全球产品、工程和业务服务团队的持续增长。 CrowdStrike 总裁 Michael Sentonas 表示:“印度在我们全球业务的增长和发展中发挥着关键作用,这也是我们在浦那市中心建立创新和开发中心的主要原因。” “我们在这里的业务足迹使我们能够接触到优秀的人才,并提供了一个与整个地区客户互动的中心位置。” “我们在印度的开发团队在提供客户阻止违规行为所需的创新和强大的平台功能方面发挥了关键作用。我们将继续在印度等关键地区投资,使 Falcon 平台这一黄金保护标准可供全球每一位客户使用。” 扩建的浦那办事处凸显了 CrowdStrike 致力于投资全球业务以及将其制止违规行为的使命扩展到全球组织的决心。
https://www.nbcnews.com/news/world/live-blog/live-updates-it-outage-flights-banks-businesses-microsoft-crowdstrike-rcna162669
美国各大航空公司已停飞航班,全球航班延误。众议院网络安全小组委员会成员埃里克·斯瓦尔韦尔表示,美联航、美国航空和达美航空已下令“全球停飞”。 微软表示已修复该问题,但问题仍然存在,美国及其他地区的公共屏幕上出现蓝色错误屏幕。 总部位于德克萨斯州的网络安全公司 CrowdStrike 表示,该问题源于“Windows 单个内容更新中发现的缺陷”。 阿拉斯加州警表示,全州的 911 服务均已中断。
他们有手动的办法。我早上也去了,也是这个问题
信用卡可以,但是大多数debit card不行,也不能cash out。debit card暂时改成credit card模式
今天我接触的几个地方,超市,银行,和药房都出问题了。
银行取款机也用Windows?
本司3700 servers 全受影响。搞cloud computer最后就是win都死
对,信用卡没事,debit card 不行,而且特可恶的是取款失败以后银行柜员在柜台帮忙查了卡以后说没问题,让我换了一个 ATM 机 (系统没恢复,柜台取不了钱),这次取款显示 this card is disabled. 然后热心的柜员给换了个新卡,再上 ATM 机,仍然显示 this card is disabled。这柜员经验不足好心办坏事啊。回头还得等系统好了再去试卡到底有没有问题,没有的话还得办新卡。奶奶的,净耽误功夫
cloud 成天吹嘘他的系统多高效、多可靠,一出事就是大事,到处瘫痪。平时 IT 行业上云也很恶心,production 环境出啥问题想查都没权限, cloud team 有权限但又不懂,还得一起开会解决,一个人的活至少两人干,效率大大降低
这个说得太对了👍
问题是他们到底测试了没?
同不喜欢cloud,很多APP用起来明显慢很多
亡美者,阿三也!
招募马公打肉搏战
不会的,reddit 上说了,一个陆军IT爆料说,我们陆军没有受影响,因为我们从2014年就不更新Windows了。
测试这个事情还不一定是在印度,无论什么国家软件测试,尤其是数据太多,牵扯到不同的部门,不同的版本code,哪怕改一行code,也会有所影响。
中国好像也没事,因为如果没有转国产系统的,用的是盗版windosxp,中国航空公司这次就没事
你是干这行的吗?现在大多的测试都外包印度了。成本管理。
我看过一个有意思的视频,是个德国的旅游博主去中国旅游的第一天说自己的感受,说中国人都不说英文,餐厅服务员也不说英文,菜单也不是英文的,然后说中国人都用自己的app,都不用英语世界流行的app,我可以理解他的感受,在一个陌生的语言文化环境会多少觉得不方便。但比较好玩的是别的网友给他的留言,首先说你知道中国有自己的语言吗,叫Chinese,说了几千年了,然后中国没有被英语国家殖民过,所以不说英文,而且你一个德国人在中国说英文,为什么要求中国人也说英文,中国人能开发出中文的各种app说明他们很聪明,最后说你只要学会说你好就能在中国生存。所以中国有天然的语言屏障,被迫或者有意的开发自己的软件,说不定有意想不到的作用,不知道这次有多少中国的微软系统受到影响
测试是肯定测了的。就是怎么测的,这里头花活就多了。
无知没关系。这个和电子战毛边么有一点关系
马公和爱替是两码事。不要混淆视线
lol
傻子才信。军队打仗是不用这些乱七八糟的
软件升级,怎么也不能影响系统啊
会影响系统。因为有些系统文件和驱动要重写,重要的更新结束后,一般都要重启系统。
确实啊 这是家啥公司 没听过
我们公司受影响的都被要求去公司解决 据说很简单的解决方案 但是人得去
我昨天发现Teams有问题就重启了,然后电脑自动开始更新,中途还卡了好一阵,好险强制重启以后没蓝屏,早上公司email说我司没用Crowdstrike,所以minimum impacted,居然有点失望。。。。还吓得我今天7点多就上线开始搬砖了
呵呵,测试人员可以在亚洲,PM在北美,经理也在北美,各个级别有数据权限的,数据越多,系统越复杂,测试哪有那么简单。当然business guy就知道全部外包,啥都不懂。
我昨晚的team也出现了问题,登录上就显示我是offline,也切换不到green.重启也没用
问题知道,解决方案也有,就是要一台一台机器的重启,缓慢恢复中。
我估计那个PM100%也是烙印
不管系统多复杂,让这么多系统一起完蛋的bug没测出来也让人醉啦
没事。随便浪哪都行
我是西部时间下午4点左右发现的,一开始是突然把我状态变成away了,我明明人在线辛苦干活中,无法手动切换,就重启电脑了,折腾了半天重新上线以后发现直接就是offline,也是无法手动切换,而且同事大部分人也显示offline,于是我还在群里问了下是大家都异常还是只是我个别情况,结果摸鱼的同事压根没发现任何不对,还说一切正常,于是我确认信息收发没问题,然后我指出状态有问题后,他们才慢慢察觉到不对。快下班前,公司才终于发了故障通知,离我最开始发现bug已经过去4/50分钟了。。。。
不过今天早上就一切恢复正常了,只是老板很担心这会在英国休假的他老板,下周可能无法按时飞回来。。。。
软件升级,为啥要修改系统? 系统的修改和驱动系统来管理。
用正版windows也没事,只有装CrowdStrike他们家产品的机子才会受影响
大概率是没测,要不然不会影响那么大。。。
in software industry, 没测就发布产品,就是自己找死。肯定是有测试的。但是怎么测的,鬼知道。产品说明会蓝屏,就很难看了。产品发布会说假话,比如Google bard,现在只能改名发布。
这种这么嚣张的毁灭性的发布方式,历史上也不多见。CrowdStrike 这下肯定玩完了。因为微软的窗口更烂。但是他没办法blame。
其实底层原因在微软的窗口的不稳定。其实CrowdStrike 自己也不明白为什么,还在调查。所谓的fix就是把拉出的屎收回去。改回原来的样子。我很怀疑是微软背后搞了什么。CrowdStrike 没有及时跟进。就合当年搞死netscape一样。 全球的hacker肯定都在研究这个漏洞。更大的风险其实还在后面。
天才
Crowd strike has sensors that hook into the system kernel as a driver. They pushed an update to this driver that is broken. This means computers blue screened and rebooted, on reboot they try to load this driver and blue screen. They will keep rebooting and blue screening until either windows reboots to the last good version of that driver or it’s manually deleted.
Crowdstrike is currently one of the de facto must have cloud security platforms and their EDR agent is on every government and enterprise server and workstation worth its salt. Being a cybersecurity software as a service they have the ability to push emergency updates to all agents where sometimes the bleeding edge makes sense to address zero day threats. Customers have ability to set their update target to things like n - 1, etc. to mitigate this type of risk but CS apparently bypassed this or even forced through 3 versions globally to all customers at once which bluescreened every windows host using CS within minutes.
有司爱替将这个agent的update关了,也被强制更新了。我现在越来越怀疑这个事情是一次精心策划的cyber攻击。放在CS,让他有苦难言。
bug是马公埋的啊
军队的设备不知道要先进多少年,民用的怎么可以比。
如此大规模的影响,如此普遍性问题,不可能测试时候测不出来,所以大概率就是没测
这和微软窗口也没啥关系,CrowdStrike直接在kernel level进行底层操作才出的问题, 那么底层的环境下,微软那些系统稳定性保护措施已经不适用了。
整件事情,最NB的就是,CrowdStrike闯了那么大的祸,股票竟然只跌了11%,股价和1年前比依然翻了一番。。 这是市场认为他们无可替代,闯再大的祸,客户都只能捏着鼻子继续采购他们的产品??
跌50%,庄家就跑不出来了
缅北大国独善其身
为时过早, 公司赔光都不过, 只有破产一条路。
这家公司在印度团队快上千了,美国的好多也都是麦咖啡的人过来的,麦咖啡时我原来接触到的从VP到工程师大都是烙印
找microsoft 赔,microsoft 可以找crowdstrike 赔,后者赔不起是巨硬的事, 谁让它的系统那么vulnerable
赔死微软拉倒
Csagent 驱动忘了处理异常?
MS cloud 便宜(和Citrix,vmware cloud等比)。但便宜就意味着没好货.
测试问题还好, 这根本就是招了一个写Java的人写C++
不知道这些年,留了多少这种程序
好奇怪呀!一般都是在一台测试机上安装,没问题再aplly到其他所有机器上。it的责任,暴露了马工的问题(忘了处理异常).
居然今天到了车行这 连 年检都做不了了
mcaffee is scam
哪用那么复杂。以后规定软件更新先推送自己公司董事会成员和director以上的管理层。一个星期没问题再对外推送。出大错自己辞职走人。
X上说这个推送是个新入职的CrowdStrike员工弄得,而且这老哥是第一天上班,弄完2点钟就回家放假了。下一个update就是被fire掉了,还说不公平,哈哈
这个可能是低级错误。也可能是前一个参数出现问题。但总体来说是程序员的水平问题,是Bug无疑问。
你们那些老觉得码工赚得太多的人,现在晓得为啥了吗?出这个窟窿会有多大。
但这个问题最后还是会被blame到QA头上。肯定是这么发展。不聊了。大家都见证历史了。
CS最后的结局就是完蛋,rebrand
不懂,就不要胡说
https://www.crowdstrike.com/press-releases/crowdstrike-invests-in-india-operations-to-continue-protecting-businesses-from-modern-cyberattacks/
PUNE, India – February 15, 2024 — CrowdStrike (Nasdaq: CRWD) today announced the opening of its new, state-of-the-art office in Pune, India, significantly strengthening the company’s presence in the region. The new, 52,000 square foot facility nearly doubles the capacity of previous facilities in Pune, cementing the cybersecurity leader’s commitment to protecting organizations in India and across the region.
CrowdStrike 大力投资印度业务,继续保护企业免受现代网络攻击
新办公室巩固了 CrowdStrike 为印度及更广泛地区的组织提供行业领先保护的承诺
印度浦那 – 2024 年 2 月 15 日— CrowdStrike (Nasdaq: CRWD) 今天宣布在印度浦那开设新的先进办事处,大大增强了该公司在该地区的业务。新的 52,000 平方英尺设施的容量几乎是浦那之前设施的两倍,巩固了这家网络安全领导者对保护印度和整个地区组织的承诺。
CrowdStrike 总部位于美国,业务遍布全球,是全球发展最快、最具创新精神的安全公司之一。CrowdStrike 自 2018 年起开始在印度投资,当时它首次在浦那开设了 CrowdStrike 创新和发展中心,作为其人才、创新和客户参与的区域中心。扩大的设施和市场影响力支持全球产品、工程和业务服务团队的持续增长。
CrowdStrike 总裁 Michael Sentonas 表示:“印度在我们全球业务的增长和发展中发挥着关键作用,这也是我们在浦那市中心建立创新和开发中心的主要原因。”
“我们在这里的业务足迹使我们能够接触到优秀的人才,并提供了一个与整个地区客户互动的中心位置。”
“我们在印度的开发团队在提供客户阻止违规行为所需的创新和强大的平台功能方面发挥了关键作用。我们将继续在印度等关键地区投资,使 Falcon 平台这一黄金保护标准可供全球每一位客户使用。”
扩建的浦那办事处凸显了 CrowdStrike 致力于投资全球业务以及将其制止违规行为的使命扩展到全球组织的决心。