跳完才发现原来的并不算太差

h
huanglin82
楼主 (北美华人网)
后悔应该是没有的。如果再给我一次机会,就原来的工作,我可能还是想要换。毕竟天天开车往返至少2个小时去熬时间,而且看不到希望,我觉得我也熬不下去。
但以前的工作,数据真没现在的这么不靠谱。真是没有比较就没有伤害!
不知道当年哪个外包厂的印度人给设计的数据库,一个普通的table啊,居然有100多个column,130-150个吧。就算是从UI系统里面抓出来的attribute,你不能分分类吗?而且column name也特别长,比如“is_the_weather_condition_impact”, 然后数值就两个,0或者1。我真是服了!我们业务模型不复杂啊!真是生生被设计数据库的搞的没脾气。从reporting和analytics的角度,这些table太!不!好!用!了!
还有,我不明白这些table为什么要aggregate,弄成cube一样,完全不是raw data。比如我要计算全公司每个部门的员工人数,我希望的table是每个员工占一行,员工姓名、工号、部门名字,然后我自己去统计。结果这些table呢,每个部门一行,然后有个column叫number_of_employee。真是吐槽无力!问题是如果你数字准确也行,你的数字还不准确,真心不知道ETL是怎么做的,database tables为什么这么设计..
我觉得我一个学校里学个皮毛出来的人,都有最最基本的common sense。这当年的管理者肯定是完全不懂一丁点数据和业务的职场混子。唉!
现在是真心体会到了钱难挣、屎难吃…想找个离家距离适中、钱合理、工作内容正常、老板正常、团队正常..的工作,是不是要求太多了?
h
hijklmn
习惯了就好了。。。
f
feifeiduan
回复 2楼 hijklmn 的帖子
哈哈这个答案让人服气
楼主适应适应就习惯了
h
huanglin82
哦,还有,没有document。换句话说,完全不知道应该从哪个table里面找信息。比如做一个类别的report,100多个table就一个个试吧。发现不好用的mark一下,不要用。最近我发现为什么没有document呢,因为他们做事情压根就不写邮件。就算业务模型不复杂,你光凭嘴说,说完了下次换人了不是还得再说吗?而且如果人离开公司了呢?
reorg频繁、人员流动性大。全球16、7万员工。对了,不是科技大厂。
唉!不过,如果再给我一次机会,上一家也仍然不能算良配。这是真正体会到了工作就是paycheck,问题是这paycheck挣得真是不舒心。

b
badgerbadger
这行确实绝大多数时间就是在洗数据,现公司这德行才是行业常态。只能说你前司真不错。
h
huanglin82
回复 5楼 badgerbadger 的帖子
唉。前司传统行业,科技含量低,但是担子重。但是现在回头看,数据质量并不差。但是不同组的文化差异比较大。我刚去的时候,年轻的新老板刚上任一年多,干劲足,带着大家还是出了不少活的。后来慢慢就不行了,因为没啥活了,能自动化的报告和流程都自动化了,就开始内耗,没事找事。组里一些人也陆续离开。对了,前司就是那年暴风雪大面积停电的州的最大的输电公司。
b
badgerbadger
回复 5楼 badgerbadger 的帖子
唉。前司传统行业,科技含量低,但是担子重。但是现在回头看,数据质量并不差。但是不同组的文化差异比较大。我刚去的时候,年轻的新老板刚上任一年多,干劲足,带着大家还是出了不少活的。后来慢慢就不行了,因为没啥活了,能自动化的报告和流程都自动化了,就开始内耗,没事找事。组里一些人也陆续离开。对了,前司就是那年暴风雪大面积停电的州的最大的输电公司。
huanglin82 发表于 2024-03-21 21:04

唉,没办法,win some, lose some。
前面姐妹也说了,新工作习惯就好
h
huanglin82
回复 7楼 badgerbadger 的帖子
唉。真的。win some,lose some。 新司是前些天全国大面积手机无信号的通信运营商。唉。再坚持坚持吧。
h
huanglin82
我还有个体会,给想要和即将从事数据行业的朋友们参考一下吧,如果可能,去业务组做数据,不要去专门的数据组。 当时我在我的前司,就在Operations组,组里有15个employee,有SME,有analyst,这样的就好很多,有不懂的业务基本都可以在一个老板那里解决,沟通成本低。而且有时候组里搭配就把活干完了。当然缺点也很明显,自给自足的组、一般来说发展空间就小,折腾不出去你的这个组。所以,嗨,甘蔗没有两头甜。
j
jianliu67
自己写点儿 SQL 生成临时表吧,反正写一次就行了。
l
lupinthethird
我也是天天用数据库的人,但我们有行业规范。不好意思楼主,我看到你那个变量的名字就笑了哈哈,还没有document,太让人抓狂了
鸿
鸿粉佳人
楼主 这点工作我每天最多半小时搞完。 只要有数据,就没问题
h
huanglin82
jianliu67 发表于 2024-03-21 21:35
自己写点儿 SQL 生成临时表吧,反正写一次就行了。

是啊。就是自己写哎。可不是也得先能找到有正确信息的table吗。我其实也挺佩服老美的,因为就算做不出来或者做的不好,也能混下去,但是老美就不觉得是个事儿,老中就很难受。我观察我们组,起码存在过三个老中,都麻溜跑了。留下来的都是干了二三十年的老美。当然还有个原因,老美语言有优势,能把没做成的事情也说得天花乱坠。很多词汇和表达远非第二外语的人能handle的。
h
huanglin82
lupinthethird 发表于 2024-03-21 22:01
我也是天天用数据库的人,但我们有行业规范。不好意思楼主,我看到你那个变量的名字就笑了哈哈,还没有document,太让人抓狂了

还好还好。我现在人到中年,平和很多了,这要是20几岁,我估计我会立马裸辞了。人年纪大了就会觉得很多事情都不是事儿。我现在也在学老美,professionally拿paycheck做事情,不管这个事情做的顺不顺利,不要走心就能减少很多烦躁。
C
Cath226
工作让我明白整个世界都是个草台班子 还有lz 放平心态 工作麻烦 咱们就多花点时间 反正salaried employee又不是计件工资 犯不着为此郁闷呀

h
huanglin82
跳完的这个工作起码时间自由度大一些了,下午三点想走也就走了,再不像前司,没事也要生生熬到5点,如果4点半走,那简直是顶着老板们针锋剑芒一样的目光。早晨起来的时间是差不多的。交通距离没有变。 不过不跳也不知道原来数据质量能差到这种地步。我不觉得整个公司都是这样,但是我们部门显然是很糟糕的。
H
High.eee
这不正是你可以发挥的地方嘛?如果其他任务不重,你就搞个document,再 improve database,这是挺有visibility的贡献。
h
huanglin82
Cath226 发表于 2024-03-21 23:10
工作让我明白整个世界都是个草台班子 还有lz 放平心态 工作麻烦 咱们就多花点时间 反正salaried employee又不是计件工资 犯不着为此郁闷呀


是的,谢谢你温暖的语言。确实是要放平心态。
h
huanglin82
High.eee 发表于 2024-03-21 23:15
这不正是你可以发挥的地方嘛?如果其他任务不重,你就搞个document,再 improve database,这是挺有visibility的贡献。

document我在写了。improve database需要上面老板support才能决定啊。 我前司有个同事说过一句话,技术上没有什么做不出来的,但是你得有权限(permission)去做。我觉得她说的太对了。很多时候,管理层水平好坏能够决定一个组织发展的好坏,就是因为他们有决定权。
v
vsfan
😆加油……我上一个项目有1500个column 人家还不高兴 说我excel 都能处理你个DB还不行?
h
huanglin82
突然想起来,离开前司除了时间不自由、耗时间、还有个原因是,我明明看到问题、提出来了、也有解决方案、直接老板也认同、但是就是没办法去执行。我不知道我老板不推进执行的原因是什么。他应该也有他的理由。真心的我换了这个工作之后才体会到,工作就是paycheck,be professional to play is enough ,走心就有烦恼。
伪猴王
huanglin82 发表于 2024-03-21 21:12
回复 7楼 badgerbadger 的帖子
唉。真的。win some,lose some。 新司是前些天全国大面积手机无信号的通信运营商。唉。再坚持坚持吧。

at&t啊。这垃圾公司你都去? 当然了,既然进去了就好好混。挖美帝墙角。
鸿
鸿粉佳人
楼主我教你。
把所有表,一切所有的列,全部找出来。这些都在meta的表里面,如果有列的"详细描述"尽量也找出来
然后让AI写N个查询语句,查询所有表的所有列,不重复的前100个记录(准确起见可以用200个或者更多)
然后就可以用AI加pandas提问了。
"please find the column that best describe employee's salary" "please find the column that best describe employee's department"
任何时候想问问题都可以,基本上一找一个准。
以上流程,半小时内完成。
u
usayso
column的多是因为业务不断有新要求,你加一列我加一列,谁也不想废那脑力再建个table,还要多写几行sql。 简单地在原有的sql里加多个变量就完事大吉
h
huanglin82
伪猴王 发表于 2024-03-21 23:27
at&t啊。这垃圾公司你都去? 当然了,既然进去了就好好混。挖美帝墙角。

看来也是你曾经的雇主或者客户吧。展开说说?倒是一个能混退休的地方。可是我真心觉得不比我前司容易混退休。我离开前司也是觉得很难混到退休,太内耗了,那还不如早走,趁没那么老还能在市场上卖个好价。
h
huanglin82
鸿粉佳人 发表于 2024-03-21 23:28
楼主我教你。
把所有表,一切所有的列,全部找出来。这些都在meta的表里面,如果有列的"详细描述"尽量也找出来
然后让AI写N个查询语句,查询所有表的所有列,不重复的前100个记录(准确起见可以用200个或者更多)
然后就可以用AI加pandas提问了。
"please find the column that best describe employee's salary" "please find the column that best describe employee's department"
任何时候想问问题都可以,基本上一找一个准。
以上流程,半小时内完成。

感谢指教。我们是有内部的公司版本的ChatGPT,也有其他的GenAI工具。我确实应该学着用起来了。谢谢您!
h
huanglin82
usayso 发表于 2024-03-21 23:30
column的多是因为业务不断有新要求,你加一列我加一列,谁也不想废那脑力再建个table,还要多写几行sql。 简单地在原有的sql里加多个变量就完事大吉

你说的太对了!公司合了分、分了合、历史遗留的问题太多了。
鸿
鸿粉佳人
huanglin82 发表于 2024-03-21 23:39
感谢指教。我们是有内部的公司版本的ChatGPT,也有其他的GenAI工具。我确实应该学着用起来了。谢谢您!

ASK AT&T不允许用业务数据。你要注意了。ASK AT&T后台是Open AI.那个不能用。需要自己建。
k
keluoyi
鸿粉佳人 发表于 2024-03-21 23:44
ASK AT&T不允许用业务数据。你要注意了。ASK AT&T后台是Open AI.那个不能用。需要自己建。

好奇为什么不允许用业务数据?我们公司的Chatgpt Enterprise是可以上传公司数据的,明说了Enterprise里输入的内容不会用来train OpenAI。
鸿
鸿粉佳人
keluoyi 发表于 2024-03-21 23:55
好奇为什么不允许用业务数据?我们公司的Chatgpt Enterprise是可以上传公司数据的,明说了Enterprise里输入的内容不会用来train OpenAI。

不允许用业务数据去问问题 是他们的内部规定。
有些公司可以用业务数据问问题,取决于公司对隐私的重视程度。有些不大重要的数据,当然你问了也没事。
但是像电话公司里面很多敏感信息,它不知道你问问题的时候拿的什么数据去问,例如用户的电话号码,SSN,信用卡号码,这些都是绝对不可以上传的。所以一刀切了,所有业务相关问题都不能问。但是让AI写个程序,做个SQL过程之类的,没问题。
OpenAI只保证你的数据不拿去train AI,但没保证上传了就给你删除掉。万一它保存了呢,后来又泄露了呢?甚至于在你上传数据的时候,在网络传输过程,或者OpenAI的云服务器上,也都有可能泄露。
所以后台引擎用的OpenAI,严格的公司是不允许上传数据去问问题的。
如果后台是自己做的Gpt就没有这个问题,因为全是local的。

I
Inferno
huanglin82 发表于 2024-03-21 23:13
跳完的这个工作起码时间自由度大一些了,下午三点想走也就走了,再不像前司,没事也要生生熬到5点,如果4点半走,那简直是顶着老板们针锋剑芒一样的目光。早晨起来的时间是差不多的。交通距离没有变。 不过不跳也不知道原来数据质量能差到这种地步。我不觉得整个公司都是这样,但是我们部门显然是很糟糕的。

这不挺好。 把现有的烂摊子优化document,也很有意义啊。做完了别忘了给自己邀功
I
Inferno
huanglin82 发表于 2024-03-21 23:19
document我在写了。improve database需要上面老板support才能决定啊。 我前司有个同事说过一句话,技术上没有什么做不出来的,但是你得有权限(permission)去做。我觉得她说的太对了。很多时候,管理层水平好坏能够决定一个组织发展的好坏,就是因为他们有决定权。

你也不用改进原数据,就自己准备些自己用的mapping的东西方便你自己和后人操作,不需要权限吧
y
yiemaosh
没关系。越跳薪水越高。做了一年可以继续跳
q
qqlxl
我只要钱到位了啥活都不是问题
c
ccchhh
回复 4楼 huanglin82 的帖子
所以美国要慢慢被中国赶上了。哎,原来领先的人本来哪有那么容易就被赶上的?领先是有垄断优势的。可是美国这几年肉眼可见的衰落走低,各种人浮于事官僚作风各种内耗鼓励反智主义。我们身边不都如此吗?一叶而知秋全国上下风行如此,真是让人难过。
y
yulingxi
习惯了就好,躺平。
d
dasiduoduo123
哈哈,我也是为了图轻松,降薪去了local government,结果进去发现比我之前的工作要忙,而且真的是一团乱
b
believeicanfly
数据库由初级到高级依次为flat file DBMS, hierachical DBMS, and rational DBMS. 现在多用rational DBMS, 然而这家公司用的还是最初级的flat file 模式
z
zzsummer
楼主有点幼稚了,这都不是事吧
c
cathytree
我以为你说科目三。
g
gvtt
看标题以为是跳伞 lol
C
Confuse
这些年工作中见过的奇葩事太多了,不至于像波音那样就好。
h
hwx_1024
cube可能是因为他们本来做的东西就是需要aggregate level的,这样比较快。虽然我也不喜欢这样
h
huanglin82
Inferno 发表于 2024-03-22 00:15
你也不用改进原数据,就自己准备些自己用的mapping的东西方便你自己和后人操作,不需要权限吧

是。我也只能这么想。尽量去做,做的时候尽量也能方便到后面的人。
今天早上和第三任supervisor说起来,他终于officially给我指了一个support。唉!说起来这又是一个故事。我一进来就reorg,确切说是去年下半年这个部门就开始reorg,也许是全公司reorg。我第一个月的supervisor是hm,2月份换组换supervisor,现在3月份,马上又会换到第三个supervisor那里。
h
huanglin82
yiemaosh 发表于 2024-03-22 01:10
没关系。越跳薪水越高。做了一年可以继续跳

很难了。我自己水平能力也是有限的,年龄大了也不适合去科技大厂或者start up卷。新司也是面了几家之后权衡利弊决定去的。前司的薪水福利bar太高了,如果还在传统行业或者普通厂,完全给不了前司的薪水。当时跳的最初动力是想找个离家近的,但是第一次跳嘛,不知道其实保持原薪找就很好了,现在回看要得多简历关就刷掉了,因为很多公司网上申请就会让你选薪水期望。只有现司能给的起薪水,距离一模一样,两栋楼挨着。然后就来了。下次再跳会以离家远近为第一考虑因素了。
h
huanglin82
dasiduoduo123 发表于 2024-03-22 10:44
哈哈,我也是为了图轻松,降薪去了local government,结果进去发现比我之前的工作要忙,而且真的是一团乱

这个我要mark一下。告诉自己远离体制内
h
huanglin82
believeicanfly 发表于 2024-03-22 11:02
数据库由初级到高级依次为flat file DBMS, hierachical DBMS, and rational DBMS. 现在多用rational DBMS, 然而这家公司用的还是最初级的flat file 模式

rational?难道不是relational
麦芽糖糖
mm还年轻吧,或者就是不经常换工作,换得多了见的奇葩就多,以后就见怪不怪啦。take it easy :)
泡沫泡沫
Cath226 发表于 2024-03-21 23:10
工作让我明白整个世界都是个草台班子 还有lz 放平心态 工作麻烦 咱们就多花点时间 反正salaried employee又不是计件工资 犯不着为此郁闷呀


cant agree more
泡沫泡沫
这个太正常了吧,哈哈哈哈有本事的人就是这么狗屁的数据库里也能把自己的数据挖出来
C
CloudY7764
huanglin82 发表于 2024-03-21 23:13
跳完的这个工作起码时间自由度大一些了,下午三点想走也就走了,再不像前司,没事也要生生熬到5点,如果4点半走,那简直是顶着老板们针锋剑芒一样的目光。早晨起来的时间是差不多的。交通距离没有变。 不过不跳也不知道原来数据质量能差到这种地步。我不觉得整个公司都是这样,但是我们部门显然是很糟糕的。

人生在于那下午三点想走就走。不在于你的数据库做的多牛。再牛再精确的数据库在高层眼里就是一个数据点。 短短几十年,还是自己家庭孩子最重要。 要学美国人的和稀泥,又名沟通领导能力。
C
CloudY7764
gvtt 发表于 2024-03-22 12:29
看标题以为是跳伞 lol

我猜了半天觉得是跳舞。
h
huanglin82
麦芽糖糖 发表于 2024-03-22 17:22
mm还年轻吧,或者就是不经常换工作,换得多了见的奇葩就多,以后就见怪不怪啦。take it easy :)

40多了,不年轻了。来的晚,读书出来工作已经38岁了。今天和马上要换的第三任老板扯了一会儿,这些tables和data问题他都知道,也是这么些年他们的痛点。不过好像他也没啥特别好的办法。就这么磕磕碰碰做下来了。这第三个老板倒是没毛病。唉!
h
huanglin82
泡沫泡沫 发表于 2024-03-22 17:57
这个太正常了吧,哈哈哈哈有本事的人就是这么狗屁的数据库里也能把自己的数据挖出来

你说的太对了!我们组的黑人小朋友就是你说的这种有本事的人。我是真心佩服他。他比我早来三个月,纽约一个什么学校学数学和工程专业的。所以,黑人也是有牛人的。
h
huanglin82
CloudY7764 发表于 2024-03-23 00:08
人生在于那下午三点想走就走。不在于你的数据库做的多牛。再牛再精确的数据库在高层眼里就是一个数据点。 短短几十年,还是自己家庭孩子最重要。 要学美国人的和稀泥,又名沟通领导能力。

是啊。我观察老美们,他们都很淡定,就慢慢做,虽然也抱怨,但是不会真的走心抱怨,就是有啥做啥,到点下班,下班之后就不想工作了。我觉得这是混职场最基本的心理素质。