How is this possible? 清空Production的PR不用第三方approve吗? keluoyi 发表于 2023-11-23 14:08
不管process 多好,有多少approval, 有几P, 最后都得有人来push a button.我这个case 就是super user 有太多privilege, 本来要manually delete a small set of records, 结果没有加where clause. 需要这种manually, 直接production 上操作的一般都是深更半夜火烧眉毛的事,越是这样high stress, human exhaustion 的situation, operator 越容易犯错误。 要不那些大厂有的匪夷所思的incidents 都是怎么来的 - 2017 年S3 outage 其实也是类似,本来在修 billing system 的组一个typo 把大家都搞死了。互联网的半壁河山。
公司里CHRO 的失误 一台大的激光彩打在一个单独的小房间,公司里公用。去拿我的打印件时候,赫然看到CEO annual review by the Board 就躺在那里。四顾无人,忍不住好奇心就翻了翻。Board只给CEO 1.7 分(总分5分)。评语里有一条是必须let go 无能的CRO (我老板) 然后半年后CEO退休了
哈哈 我也有过类似经历 简直了
操作的时候,因为疏忽(一连串的错误导致的,不是我一个人的错),把同事的腿砸断了,送去医院的路上失血过多,死了。
然后我们几个人都被开除了。
从此以后,我工作的时候就特别小心。
这些只是比较embarrassing ,不算工作犯错,也不会导致严重后果,只是影响个人形像而已。
这个错误太严重了,竟然连人命都出了,都不知道说什么好。
你赢了 估计没有更夸张的了
公司要省核Sales每年考績須達標的項目,這個Admin忘了把最重要的一個Column刪掉,然後我就看到了全團隊上至General Manager / VP, 下至小Sales的所有人的Target Compensation.
当我把production environment 的customers table 清空了之后,领导安慰我的话就是”Nobody died”.
这个不算什么吧,从备份里恢复就是了。
你是不是做Treasury工作的 看了你前面说的我忽然觉得我的direct report出的error也不算啥🤣
这是pre cloud 年代,不是online 备份,先要去找tape; primary backup, transactiondb checkpoint files; 然后MS SQL 恢复就好几个小时。
Bless
你心理素质够强。我摊上这种事一定会夜夜失眠抑郁焦虑永远觉得欠别人家孩子一个爸爸妈妈,欠人家爸爸妈妈一个孩子。。。。
我的组员,直接把客户的production instance整个decomissioned了
好奇他最终给你写信了吗?
这个是放疗吧?那就还好,反正一次放射的计量也不大
想起刑事侦缉档案里那个案子了,搞错了病人,给健康的放疗很久终于得癌症了。
妈呀,居然能在这里发现一个SWS 出来的,握手握手。
备份数据可能过时了,或者压根就没有备份。
当然没有啦。写了我也不敢用呀。
既然观众都是医务工作者,就说是性教育科普电影得了,工作人员还是年轻啊。
当年你都不记得他,他多年以后不记得你,难道不是很正常?
我们供货商也干过这事,把成本价一起发给我了,我研究了一番,对自己零售定价有数了,并不会去找供货商压价。供货商的批发价和成本价的比例是有行规的,一般就在那个范围内。
看了这里的其他帖子,简直有点后怕了。
你这碎纸机质量堪忧啊
你赢了!
同事捅的篓子,今年一个赔了三米,一个赔了一米,感觉我不干活也挺好的
赞好老板!
这个能忘还是很牛。。。
我以前工作过的一个公司,不知道是HR还是payroll的人选错打印机了,整个site的人的salary都打印出来了,发到了我们这边的打印机上。我老板看到了,说他赶紧给人送回去了,我们遗憾,开玩笑怪他也不拿来给大家先看一眼。
这事我们这里也发生过,是某人给另外一个人发生日祝福的,结果很多很多人都收到了,可恶的是还有很多reply all,说不要发给自己,然后有人发 EMAIL REPLY ALL说不要REPLY ALL,那个乱,后来公司特地出了一款T恤, 上面大写着HAPPY BIRTHDAY TO XXX.
这种苦笑不得的系列 reply all 的email,我们时不时会收到🤣
不知道这种发给所有人的EMAIL IT会不会有控制,实在是太浪费资源了
你这个是放疗吧?
神马?我还以为他是故意开玩笑
这种不能告他吗
这个上司真心不错
rm -rf *
You were like “wow, unbelievable, how did that happen?” 然后吹着口哨就走了。
How is this possible? 清空Production的PR不用第三方approve吗?
不管process 多好,有多少approval, 有几P, 最后都得有人来push a button.我这个case 就是super user 有太多privilege, 本来要manually delete a small set of records, 结果没有加where clause.
需要这种manually, 直接production 上操作的一般都是深更半夜火烧眉毛的事,越是这样high stress, human exhaustion 的situation, operator 越容易犯错误。
要不那些大厂有的匪夷所思的incidents 都是怎么来的 - 2017 年S3 outage 其实也是类似,本来在修 billing system 的组一个typo 把大家都搞死了。互联网的半壁河山。
比如一开始发邮件给老板,全部没有主题。 终于有一天老板叫我过去,当面演示给我看,他准备查某个内容,我几十个邮件全是空白title,他要一个个邮件打开去找。。。
亲手造成的运维事故:在 Live CD 环境下部署并运行了 8 个月
前情提要:今年春节时去部署了一套内部系统,访问量不大,加上临近春节协调资源难,就先单机部署了, 对方提供的是 H3C 的物理机,准备安装 Ubuntu 系统,对运维要求带桌面安装 中途被电话打断,回到机器旁边看到已经在 Ubuntu 桌面了以为对方运维帮装好了, 于是直接部署好了我们的系统,测试没问题就离开了,后面也一直相安无事,没出过什么问题。
直到昨天晚上组里同事去给他们更新部署,由于各种巧合提示磁盘空间不足,于是各种操作后给重启了机器, 发现.....进 Live CD 桌面,目录是空的,重启弹出光盘,提示找不到启动磁盘, 通宵一夜后就在刚刚给我打来了电话,我:???? 各种记忆恢复术后想起来,当时 Ubuntu 压根就没装进硬盘啊?
由于是单机部署,暂时没想到能恢复数据的方法...
一台大的激光彩打在一个单独的小房间,公司里公用。去拿我的打印件时候,赫然看到CEO annual review by the Board 就躺在那里。四顾无人,忍不住好奇心就翻了翻。Board只给CEO 1.7 分(总分5分)。评语里有一条是必须let go 无能的CRO (我老板)
然后半年后CEO退休了
嗨,过了很久才知道,他招我时给我的开的薪水非常低。那会俺是新人,啥也不知道,只要有个工作就好。
这都不开除,好老板!
没有。那天也挺奇怪,好似鬼迷了眼,竟然三个人经手都没有发现错误。傍晚快下班时系统日结才发现帐不平,差额竟然上千万。当下所有人吓坏了,全体不能下班,全部加班纠错。最后才发现是这三笔款项出错,已经汇出去。
我们三个人坐在一个会议室里等通知,忐忑不安,心乱如麻。我虽然紧张,但觉得紧张也没用,似乎也不是太紧张。一个年轻男同事也紧张而淡定。最焦虑不安的是一个中年女同事,坐都坐不住,团团转,不停念叨这可怎么办呀我肯定要被炒了呀怎么办呀(大抵是中年人的中年危机家庭负担重压力最大?)。我试着安慰她,大家同病相怜。她又说你们年轻不怕,我不一样呀。
已是晚上八九点钟,大老板也来了救场,和小老板一起联系对方银行截停这笔款项。大老板还和蔼可亲地安慰我们,给我们叫了外卖吃。
然后就成功截住了这笔款,没有造成任何损失。我惶惶不可终日数天,又恢复生龙活虎。没多久就又把那张银行本票塞进碎纸机。这次没惊动大小老板,senior 同事从碎纸机里把银行本票碎片找出拼贴粘起来出具正式的函endorsement ,默默解决了此事。我再次顺利过关。
年底老板evaluation 和peers evaluation 我的performance review 还很好,拿到挺好的bonus。
可能我年轻的时候单纯活泼可爱,比较讨人喜欢,大家待我都很宽容温厚。十分感恩。
很久以前的事了,不记得碎纸机牌子,碎出来是细细的长条。银行本票比普通支票大些,比A4纸小很多。那个同事硬是用透明胶拼了回来,再出具很formal 的endorsement 。他真是很聪明。经此一事,我也学会了很多 —— 不能随便毁东西;发生类似事故应如何补救。
所谓三人行,必有我师。人生一路走来,活到老学到老,从遇见的人身上学到许多东西,受益终身,十分感恩。
我的感觉,美眉家里一定不是一般人。能这么出错自己没有心理负担,别人还能这么宽容的,已经远超出本人可爱能覆盖的范围了。
A客户太好说话了,没收钱还退钱
没想到你竟然有这么迷糊小白的时候!
告对方公司?诉讼费用至少二十万,对方可以凹计算问题等等。公司就算了。我到现在也不知白女是无知还是收贿赂,人家后来还升了。我知道在中国有人是收受贿赂干这种事的。
好用吗?😂