FB今天99%员工在摸鱼。爆料几个内部消息

据说FB 修这么慢的一个主要原因是因为他们内部也用的是 FB 系统（也就是说内部也挂了），所以整个公司99% 今天都在摸鱼……
脸厂的员工说，peering路由被一条自动部署的配置更新搞掉线了，机房能物理接触到路由的员工既没登录权限又不会修，有登录权限的人既不会修也连不上，会修的人既没有登录权限也连不上路由器。然后所有内部系统也都掉线了导致这三波人协作困难，雪上加霜。 https://twitter.com/chemhack/status/1445091564833939467?s=20

据说FB 修这么慢的一个主要原因是因为他们内部也用的是 FB 系统（也就是说内部也挂了），所以整个公司99% 今天都在摸鱼……
脸厂的员工说，peering路由被一条自动部署的配置更新搞掉线了，机房能物理接触到路由的员工既没登录权限又不会修，有登录权限的人既不会修也连不上，会修的人既没有登录权限也连不上路由器。然后所有内部系统也都掉线了导致这三波人协作困难，雪上加霜。 https://twitter.com/chemhack/status/1445091564833939467?s=20
文学城观光团 发表于 2021-10-04 15:42

前两天那个facebook L8 焦虑症的可以躺平了。

wow

好奇他们用哪个cloud？

fb的技术不一直那样么

新闻看了眼是bgp被withdraw，可能就是你说这个原因吧。码农管系统就是容易出这种问题，只想到自动化，没考虑灾备个后门线路

新闻看了眼是bgp被withdraw，可能就是你说这个原因吧。码农管系统就是容易出这种问题，只想到自动化，没考虑灾备个后门线路
ray_golden 发表于 2021-10-04 15:53

bgp是个啥？

fb的技术不一直那样么
smileCy 发表于 2021-10-04 15:51

他家tech stack是啥呢？很好奇啊。不会是用AWS吧

bgp是个啥？
meidong20 发表于 2021-10-04 15:54

routing protocol

就当放假了

这次 outage 肯定是 fb 本身 initiate 的，不可能这么巧昨天 blow whistle 今天断网。
啥时候修好，得看 fb 啥时候埋好污垢。

前两天那个facebook L8 焦虑症的可以躺平了。
3906 发表于 2021-10-04 15:44

赞的 背锅侠不知道要去何方

就当放假了
IsabellaQ 发表于 2021-10-04 15:57

😂

这次 outage 肯定是 fb 本身 initiate 的，不可能这么巧昨天 blow whistle 今天断网。
啥时候修好，得看 fb 啥时候埋好污垢。
artdong 发表于 2021-10-04 15:58

这污垢得多大
愿意这样损失ad $$

when segregation of duty is overdone, screw you and have fun

猛料。据说这次是离职CTO逼宫“看，公司没我不行吧！”

bgp是个啥？
meidong20 发表于 2021-10-04 15:54

BGP是个网络路由协议，我记得每个bgp用来连接不同的autonomous network，我不知道新闻里描述的withdraw是不是指的他们的bgp路由被移除了。我不记得bgp peer的含义了，应该是跟其它as之间的连接，具体细节就复杂了，我这网络知识也是几十年前的了，我记得router都有console口，物理或者虚拟的，便于维护和reset，很难想象fb没有类似的设施    A bit later, Cloudflare VP Dane Knecht reported that all BGP routes for Facebook had been pulled. (BGP—short for Border Gateway Protocol—is the system by which one network figures out the best route to a different network.) With no BGP routes into Facebook''''s network, Facebook''''s own DNS servers would be unreachable—as would the missing application servers for Facebook-owned Instagram, WhatsApp, and Oculus VR.

今天清仓了FB股票，翻了一倍多还不错，不知道这波下行会持续多久。

这垃圾网站赚那么多钱，质量还这么差

现在想想，如果zoom and Teams down掉，那就得乱套了！ 这些Social media down is not a big deal.

看三分地的经验贴，这家系统千疮百孔。promotion压力大导致员工只管快速做新feature新产品，不考虑failure处理、长远价值和维护难度。就这次incident看来infrastructure也很有问题。

员工放假一天， 又有大包裹拿，过两年股价又翻倍了，
怪不得中国人都拼命跳FB

猛料。据说这次是离职CTO逼宫“看，公司没我不行吧！”
文学城观光团 发表于 2021-10-04 16:10

大女主是哪位?

Facebook是如何被下架的。从现在的情况看，是域名解析出了问题。域名服务器会存储一个域名和ip地址的表格，以帮助用户找到服务器。但目前facebook.com这个域名处于找不到服务器状态。换句话说此时此刻，facebook在互联网中不存在。域名根服务器是ICANN控制的，而不是扎克伯格的FB公司，所以如果ICANN又被幕后制造此事件的人控制，那么FB是否恢复上线就不是扎克伯格可以控制的了。

GOOD BOMB – So, someone deleted large sections of the routing....that doesn't mean Facebook is just down, from the looks of it....that means Facebook is GONE. 

新闻看了眼是bgp被withdraw，可能就是你说这个原因吧。码农管系统就是容易出这种问题，只想到自动化，没考虑灾备个后门线路
ray_golden 发表于 2021-10-04 15:53

感觉不大可能，一般这种网络链路都有redundancy

好奇他们用哪个cloud？

meidong20 发表于 2021-10-04 15:51

他们应该是私云

感觉不大可能，一般这种网络链路都有redundancy
luckylady666 发表于 2021-10-04 17:11

我指的后门线路不是网络上的备用链路，网络设备路由器物理层有console口，网络搞断了可以远程连过去，可能公司的验证系统都瘫痪了，不知道设计的人是怎么考虑的，按说不该这么水。不过也可能是security’ team的要求

GOOD BOMB – So, someone deleted large sections of the routing....that doesn''t mean Facebook is just down, from the looks of it....that means Facebook is GONE. 
pig0019 发表于 2021-10-04 17:05

NO F WAY!!??? FOR REALS???

GOOD BOMB – So, someone deleted large sections of the routing....that doesn't mean Facebook is just down, from the looks of it....that means Facebook is GONE. 
pig0019 发表于 2021-10-04 17:05

全世界detox

回复 17楼ray_golden的帖子
好人。谢谢！

居然这么久了还没弄好，这效率。。

百年不用FB，没啥感觉

facebook's market place 现在 beat 所有其他 services

无语了 我有个游戏用fb帐号登录 导致我游戏进不去

你用Facebook 不过ins还是用的

Ins, facebook都可以上了

猛料。据说这次是离职CTO逼宫“看，公司没我不行吧！”
文学城观光团 发表于 2021-10-04 16:10

FB CTO离职把路由器弄瘫痪威胁公司，这个纯属搞笑

Ins, facebook都可以上了
Pinkweather 发表于 2021-10-04 18:18

能上了 ， post不了

facebook's market place 现在 beat 所有其他 services
bbc2 发表于 2021-10-04 17:48

我天天都在Market Place处理我家娃的玩具

回复 7楼meidong20的帖子
border gateway protocol https://en.wikipedia.org/wiki/Border_Gateway_Protocol

回复 8楼meidong20的帖子
自家做

现在想想，如果zoom and Teams down掉，那就得乱套了！ 这些Social media down is not a big deal.
Pangpang 发表于 2021-10-04 16:30

zoom, team down 重要会议不能开了,用户可以要求赔偿损失吗?

今天当掉的几个都是可有可无的包括脸书。我都没帐号。

今天当掉的几个都是可有可无的包括脸书。我都没帐号。
TOR123 发表于 2021-10-04 19:34

确实

确实
云若然 发表于 2021-10-04 19:35

我有账号 但因为身边好多人都弃用了 基本不用了

这次 outage 肯定是 fb 本身 initiate 的，不可能这么巧昨天 blow whistle 今天断网。
啥时候修好，得看 fb 啥时候埋好污垢。
artdong 发表于 2021-10-04 15:58

有道理，估计把啥枝枝叶叶都删干净了。 堪比邮件门时，希拉里当时拿榔头砸硬盘。

和查账粮库着火异曲同工吧。 趁机毁尸灭迹。LOL

看三分地的经验贴，这家系统千疮百孔。promotion压力大导致员工只管快速做新feature新产品，不考虑failure处理、长远价值和维护难度。就这次incident看来infrastructure也很有问题。
chore 发表于 2021-10-04 16:32

+1

建立在高科技上的人类社会太脆弱了！稍微一个glitch就瘫痪。

我有账号 但因为身边好多人都弃用了 基本不用了
CleverBeaver 发表于 2021-10-04 19:37

不用脸书的是不是朋友圈都老中啊？跟非老中有交集的不太可能不用吧。

这次 outage 肯定是 fb 本身 initiate 的，不可能这么巧昨天 blow whistle 今天断网。
啥时候修好，得看 fb 啥时候埋好污垢。
artdong 发表于 2021-10-04 15:58

行外人士就别乱评论了。。。如果是藏data根本不会走DNS这条路，scheduled DB maintenance比这个好得多。
何况那个whistle blower说的都是一些offline的文档/研究材料，跟线上服务没有一点关系。

据说FB 修这么慢的一个主要原因是因为他们内部也用的是 FB 系统（也就是说内部也挂了），所以整个公司99% 今天都在摸鱼……
脸厂的员工说，peering路由被一条自动部署的配置更新搞掉线了，机房能物理接触到路由的员工既没登录权限又不会修，有登录权限的人既不会修也连不上，会修的人既没有登录权限也连不上路由器。然后所有内部系统也都掉线了导致这三波人协作困难，雪上加霜。 https://twitter.com/chemhack/status/1445091564833939467?s=20
文学城观光团 发表于 2021-10-04 15:42

这个倒是很靠谱。
FB很多年前用IRC，但是IRC这东西在年轻人看起来太不酷了。

当年被逼自杀的员工们的冤魂终于显灵了，快把扎克薄克的命勾走，就能投胎了

建立在高科技上的人类社会太脆弱了！稍微一个glitch就瘫痪。
Silverfox1 发表于 2021-10-04 22:27

现代社会就是很脆弱， 不要说网络了，一个车祸就把大家堵在高速上十几分钟到几个小时。也许你就是要用这十几分钟去在孩子学校关门前把他接回来。一个车祸就都晚了。

嗯， 在摸鱼 。