有人了解industry的A/B testing吗

C
ChairmanXi
楼主 (北美华人网)
听说很多公司都要做a/b testing,大公司都有自己的in house experimentation platform. 如果公司没有自己的platform的话,是不是都是买的第三方平台(比如vwo)?那data scientist / data analyst 做什么事情呢?感觉这种平台都很自动化 (no code),最后统计值也算好了。
有公司是不用第三方平台,也没有in house 的platform, 那就意味着engineer 以及ds 就要一起从头custom etl, collect data 到最后的算statistics?
g
gokgs
什么是 industry?
w
wfmlover
他们的作用就是给老板们讲故事 结果好的时候,跟老板吹牛能给公司带来多大的收益 在结果不显著的时候,告诉老板这是为什么
c
contestantno1
蹲一个看看
m
mrr666
A/B testing 一般算比较传统的统计的活 DS做这个的比较少 模型方面不是很难主要是etl 啥的流程比较麻烦
B
BZH
那在领英搞AB testing的华人,已经爬到go的位置了,可见对公司还是很重要的一个方向。
f
facet
那在领英搞AB testing的华人,已经爬到go的位置了,可见对公司还是很重要的一个方向。
BZH 发表于 2022-10-02 19:02

那当然,严肃的 a/b test 要专门申请 fund 来做,就是部门愿意承受一定销售损失或客户流失来测试不同campaign 策略,常常动辄几个月上百万刀的名义损失,
见山还是山
实话实说,真是不懂有些公司那么重视ABtesting,那么简单的东西还需要人来做吗?买专门的tool就行了。前面有个楼主说的对,要找会story telling的人来讲故事。话说prospective data collecting真是要花很多钱啊,看两周的效果,那还不是自己骗自己。
f
facet
实话实说,真是不懂有些公司那么重视ABtesting,那么简单的东西还需要人来做吗?买专门的tool就行了。前面有个楼主说的对,要找会story telling的人来讲故事。话说prospective data collecting真是要花很多钱啊,看两周的效果,那还不是自己骗自己。
见山还是山 发表于 2022-10-02 19:54

核心不是方法,而是数据采集
t
ttyy
A/B testing的结果很好理解,不是DS的活。implementation有很多各种各样的问题会导致数据出错。不过也不需要DS…