看帖神器
未名空间
追帖动态
头条新闻
每日新帖
最新热帖
新闻存档
热帖存档
文学城
虎扑论坛
未名空间
北美华人网
北美微论坛
看帖神器
登录
← 下载
《看帖神器》官方
iOS App
,体验轻松追帖。
我司目前的技术架构
查看未名空间今日新帖
最新回复:2019年7月26日 21点40分 PT
共 (68) 楼
返回列表
订阅追帖
只看未读
更多选项
阅读全帖
只看图片
只看视频
查看原帖
w
wdong
接近 5 年
楼主 (未名空间)
前端 vue.js, iview。
后端 python. 不带数据库的用flask, 带数据库的用django。
前后端之间用ajax web service交互,完全弃用django的模板系统。
部署用nginx。
核心技术系统底层C++,数据python。如果哪天后端发现python出现
瓶颈了,应该能很快用C++模块顶上。
大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
我自认为作为CTO我给公司选择了正确的技术路线,能帮助我们
在前进的道路上避免不少冤枉活。我们目前是2B业务比较早期,
将来还不知道会咋样,且看我这套体系能玩到什么时候。
这套体系目前还不能覆盖手机端。我对app开发不熟,这个是个缺憾。
但是新手学语言找工作,我觉得需要学js和python两种语言,先学哪
一个都没关系。从语言本身来说, js比python要有意思。n年前我来
吹过用js通吃前后台,现在数据这块崛起了,会python有太多的优势了。
Python的难度其实已经不在语言了,而是拼CS专业知识了。
再接下来,光靠会一个语言本身其实很难有什么红利了。
h
hulk
接近 5 年
2 楼
算比较简单直白的
赞一个
T
TheMatrix
接近 5 年
3 楼
赞干货!
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
l
lightroom
接近 5 年
4 楼
赞。而且缺人手,CTO可以完全顶上
g
guvest
接近 5 年
5 楼
我司主要是Cassandra, postgreSQL。
l
lightroom
接近 5 年
6 楼
Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近ALU
【在 wdong(万事休)的大作中提到:】
:前端 vue.js, iview。
:后端 python. 不带数据库的用flask, 带数据库的用django。
r
repast
接近 5 年
7 楼
ajax web service 是啥,第一次听说 😓
贵司的客户是哪些公司?已经有 revenue 了吗/?
app 学个 flutter 差不多了。
我司目前是 loopback 后端 + angular/flutter 前端。
另外一个项目是 golang + C#
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
g
guvest
接近 5 年
8 楼
现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
这些事不是浪费时间吗。招个靠谱的architecture并不难。
【 在 lightroom(吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
<br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近
ALU
<br>: :前端 vue.js, iview。
<br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
<br>
g
guvest
接近 5 年
9 楼
应该就是说xmlhttprrquest为基础的一套前端拿数据的办法。
【 在 repast(xebec) 的大作中提到: 】
: ajax web service 是啥
w
wdong
接近 5 年
10 楼
一开始招人跟不上,我现在还自己写javascript呢。
在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
没事干了又不能开除掉。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
: ,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
: 这些事不是浪费时间吗。招个靠谱的architecture并不难。
: <br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据
: 靠近
: ALU
: <br>: :前端 vue.js, iview。
: <br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
: <br>
g
guvest
接近 5 年
11 楼
你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。
另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
与进来新项目了。这样也不合适。
【 在 wdong(万事休) 的大作中提到: 】
: 一开始招人跟不上,我现在还自己写javascript呢。
: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
: 没事干了又不能开除掉。
r
repast
接近 5 年
12 楼
站太破了,乱码了
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
#65533;
: 銆� 鍦� repast(xebec) 鐨勫ぇ浣滀腑鎻愬埌: 銆�
:
: ajax web service 是啥
:
w
wdong
接近 5 年
13 楼
这就是我从头做的好处啊, 只招js和python的人。
现在年轻人都会这些。.net其实国内很流行,也是一条路子。
我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
应用啥的,全在excel里面搞。VBA。
不过隔壁说的云是个大问题。我估计马上就要考虑了。
云的便捷很诱人的。但是实际有两个问题:
1. 不能吊死在一棵树上。
2. 客户不允许上云。数据必须只进不出。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。
: 另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
: 与进来新项目了。这样也不合适。
:
: 一开始招人跟不上,我现在还自己写javascript呢。
:
: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
:
: 没事干了又不能开除掉。
:
g
guvest
接近 5 年
14 楼
我猜就是指xmlhttprequest 为基础协议的各种新一代设计吧。我以前有个帖子讲,我
个人认为
是xmlhttprequest 救了当年崩溃的.net泡沫。
旧时模版都是吐完整的一个页面的。
【 在 repast(xebec) 的大作中提到: 】
<br>: 站太破了,乱码了
<br>: #65533;
<br>
l
longtian
接近 5 年
15 楼
赞干货,看来国内vue还是很流行的
问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
不用?
spa design开发比用template要慢很多吧?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
r
repast
接近 5 年
16 楼
问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
e
echowuhao
接近 5 年
17 楼
vue 本身就有template,比后端写template 开发效率高太多了,性能可能差一点,不
过无关紧要。
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 赞干货,看来国内vue还是很流行的
: 问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
: 不用?
: spa design开发比用template要慢很多吧?
e
echowuhao
接近 5 年
18 楼
大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
======
老司机啊
w
wdong
接近 5 年
19 楼
我用过青云也很不错. 不过目前我就是用阿里云.
【 在 repast (xebec) 的大作中提到: 】
: 问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?
m
mitbbsre
接近 5 年
20 楼
赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是
numpy, pandas, tensorflow 这种包的使用么?
e
echowuhao
接近 5 年
21 楼
去kaggle 上刷,看人家的代码。飞速前进。
【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?
m
mitbbsre
接近 5 年
22 楼
再就是您说的“ajax web service交互”, 是指用 django RESTFUL 来连接前端的东
西么?
m
mitbbsre
接近 5 年
23 楼
谢谢大神。 基本没学过数据,想开始自己搞。 kaggle 有没有啥教程? 我看周围人都是组队搞得。
【 在 echowuhao (echo) 的大作中提到: 】
: 去kaggle 上刷,看人家的代码。飞速前进。
w
wdong
接近 5 年
24 楼
数据的话就是 numpy, pandas, scikit-learn
如果偏图像就是keras.
【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?
d
dumbCoder
接近 5 年
25 楼
赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
是 JSON Schema.
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
w
wdong
接近 5 年
26 楼
django的url配置,比flask的decorator,落后了一个时代。
其实从界面设计来讲,decorator的url和函数名还是有冗余。
经常需要同一个单词写两遍。还有改进的余地。
【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
: 如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
: Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
: 是 JSON Schema.
d
dumbCoder
接近 5 年
27 楼
我怎么感觉 url 明文写在一个文件里更 organized
flask 那个 decorator 以前 bottle.py 也这么搞的, 我不是很感冒
【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
d
dumbCoder
接近 5 年
28 楼
而且我喜欢把 url 和内部函数名分开. 看来每个人喜好很不一样.
因为一个是对外被引用, 一个是对内被引用
【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
b
bobohu
接近 5 年
29 楼
我个人建议加上Kafka作中间层。这样解耦的效果非常好。
我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
y
yizhongxunhu
接近 5 年
30 楼
东哥牛逼🐂,爱你!
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
e
echowuhao
接近 5 年
31 楼
还是取决于应用。
另外,kafaka 与 rabbitmq 比优势在哪里?
我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。
【 在 bobohu (薄🍉🍉) 的大作中提到: 】
: 我个人建议加上Kafka作中间层。这样解耦的效果非常好。
: 我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。
d
dumbCoder
接近 5 年
32 楼
rabbitmq 没有自带的 horizontal scalling, 不好 scale
还有, kafka 默认是写到硬盘, rabbitmq 默认在内存, 用途不一样
【 在 echowuhao (echo) 的大作中提到: 】
: 还是取决于应用。
: 另外,kafaka 与 rabbitmq 比优势在哪里?
: 我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。
: 乱。
d
dynkin
接近 5 年
33 楼
写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大,通常做到上百人以后就要重写了。
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
w
wflower
接近 5 年
34 楼
大数据这块也许可以参考RAPIDS
手机前段要想省事,还是网页
h
heteroclinic
接近 5 年
35 楼
前端你得补补bootstrap
最近半年的词,keycloak, tableau, helm chart
看来词汇量还得是在加州能练出来
我就不特别深究具体语言mono flux etc etc
这些都是开源大陆货,是凡公司独门的东西我不讲
h
heteroclinic
接近 5 年
36 楼
市上小儿唱动态类型一时爽,代码重构火葬场
三国开头那几章的巴?
【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。
w
walkrandom
接近 5 年
37 楼
你out了。
Python现在的写法是type hint加pycharm。
静态类型检查跟其他的语言没区别。
【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。
w
wdong
接近 5 年
38 楼
我最近正在写javascript。可以负责地说,bootstrap已经out了:)
tableau我没用过,我们用了下fine BI觉得很不错。
别的几个我去了解下。
【 在 heteroclinic (asymptotically stable) 的大作中提到: 】
: 前端你得补补bootstrap
: 最近半年的词,keycloak, tableau, helm chart
: 看来词汇量还得是在加州能练出来
: 我就不特别深究具体语言mono flux etc etc
: 这些都是开源大陆货,是凡公司独门的东西我不讲
d
dynkin
接近 5 年
39 楼
你说的是没错,可是实际工程当中写代码要防下限。
例如你找几个志同道合的人一起用pycharm一起加type hint搞个开源工程没啥问题。但是业务要发展吧,你总要加新功能改写api吧,你总要招新手吧?万一你想招的AI大牛
只会核心算法不会写单元测试呢?你就不要了?
慢慢你就趟雷了。
不过python还不是最坑的,坑不过javascript。
【 在 walkrandom (walkrandom) 的大作中提到: 】
: 你out了。
: Python现在的写法是type hint加pycharm。
: 静态类型检查跟其他的语言没区别。
s
silverhawk
接近 5 年
40 楼
已经有客户了啊,那客户不准上云,自己难道买机器架机器?话说产品是啥能透露下?【 在 wdong (万事休) 的大作中提到: 】
: 这就是我从头做的好处啊, 只招js和python的人。
: 现在年轻人都会这些。.net其实国内很流行,也是一条路子。
: 我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
: 应用啥的,全在excel里面搞。VBA。
: 不过隔壁说的云是个大问题。我估计马上就要考虑了。
: 云的便捷很诱人的。但是实际有两个问题:
: 1. 不能吊死在一棵树上。
: 2. 客户不允许上云。数据必须只进不出。
s
silverhawk
接近 5 年
41 楼
赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
据实时性?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
w
wwzz
接近 5 年
42 楼
让我想起了老魏的无敌单机。
【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?
l
lightroom
接近 5 年
43 楼
人家数据肯定往DB放。这个hpc是取代hadoop的
【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?
w
wdong
接近 5 年
44 楼
我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
【 在 wwzz (一辈子当码工) 的大作中提到: 】
: 让我想起了老魏的无敌单机。
: 【在 silverhawk(silverhawk)的大作中提到:】
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?
D
Dcman
接近 5 年
45 楼
高性能大内存的单机系统(真正计算部分)
这块能展开讲讲吗?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
s
silverhawk
接近 5 年
46 楼
I see,所以说用大单机内存足够装下所有数据直接处理就可以?
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 人家数据肯定往DB放。这个hpc是取代hadoop的
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?
s
silverhawk
接近 5 年
47 楼
老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什么方案?
【 在 wdong (万事休) 的大作中提到: 】
: 我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
: 我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
: 意数
l
lightroom
接近 5 年
48 楼
从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM 里。
从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机器内是CPU到RAM连接
【在 silverhawk(silverhawk)的大作中提到:】
:I see,所以说用大单机内存足够装下所有数据直接处理就可以?
:【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
w
wdong
接近 5 年
49 楼
无非就是各种花样replicate和backup。当时讨论主要的结论是老魏的那套单机架构其
实没法证伪。楼上说的,SSD有新技术出来,啥啥啥的,所以单机吞吐量其实还是会有
很大程度提高的。
【 在 silverhawk (silverhawk) 的大作中提到: 】
: 老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什
: 么方案?
r
repast
接近 5 年
50 楼
这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。
我看你没提,deploy python 有必要用 docker 吗?
【 在 wdong (万事休) 的大作中提到: 】
: 数据的话就是 numpy, pandas, scikit-learn
: 如果偏图像就是keras.
n
netghost
接近 5 年
51 楼
你說得明顯不對,IO的瓶頸是python.lol
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: 【在 silverhawk(silverhawk)的大作中提到:】
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?
w
wwzz
接近 5 年
52 楼
啥叫 Python 无法deploy?放docker 里就行了。
【在 repast(xebec)的大作中提到:】
:这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
:我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。
s
silverhawk
接近 5 年
53 楼
streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?
: :【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
r
repast
接近 5 年
54 楼
Django 现在直接支持 chunked transfer encoding 了吗?
flask 呢?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
d
dumbCoder
接近 5 年
55 楼
wdong 能说说你这个牛x的单机大概是什么配置? 啥样的内存和CPU?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
r
repast
接近 5 年
56 楼
查了下现状,估计等不到那一天,第一版老老实实算长度,以后再说。
【 在 repast (xebec) 的大作中提到: 】
: Django 现在直接支持 chunked transfer encoding 了吗?
: flask 呢?
l
lightroom
接近 5 年
57 楼
对于CPU的瓶颈,硬件上,AMD新CPU使得多核变得便宜,还有可以offload到GPU上。
算法上有两个大方向,并行和cache friendly算法/数据结构
【 在 silverhawk (silverhawk) 的大作中提到: 】
: streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数
: 业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以
: 里。
A
AIHiring
接近 5 年
58 楼
为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
n
nacst23
接近 5 年
59 楼
I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
n
nacst23
接近 5 年
60 楼
I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
n
ngugc
接近 5 年
61 楼
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
带数据库的也直接flask+sqlalchemy不行吗?
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
f
fantasist
接近 5 年
62 楼
赞干货
s
sinical
接近 5 年
63 楼
赞分享
Dau多少
你这“大”数据是多大?
H
HappyE
接近 5 年
64 楼
单机再快也跑不了大量图像识别之类的AI模型吧?
s
sunshineboy
接近 5 年
65 楼
多大公司? 2b 还是2c?
您这个架构 可能会被人说不scalable
A
AIHiring
接近 5 年
66 楼
但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧密,还是front和backend更紧密。不同的应用可能不太一样。我的经验是frontend-backend更紧
【 在 nacst23 (cnc) 的大作中提到: 】
: I guess for Machine learning/DS part , u need python
g
guvest
接近 5 年
67 楼
新领域值钱。如果是工程师,就往ml engineer的万金油方向靠。不用瞎琢磨了。
python的几个数值计算库是必须的。你想想matlab多少年不败。
后端的常规任务,增删查改什么的。20年经验的java老师傅多的是。早就人满为患了。【 在 AIHiring() 的大作中提到: 】
<br>: 但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧
密,还
<br>: 是front和backend更紧密。不同的应用可能不太一样。我的经验是
frontend-
backend更紧
<br>
E
ET
4 年多
68 楼
都用阿里云了, 阿里的quick BI也可以看下。
另外,element UI,很好的前端theme框架。
阿里的ice work, 很好的搭建enterprise web app 的框架。
这样开发前端的成本低太多了
【 在 wdong (万事休) 的大作中提到: 】
: 我最近正在写javascript。可以负责地说,bootstrap已经out了:)
: tableau我没用过,我们用了下fine BI觉得很不错。
: 别的几个我去了解下。
请输入帖子链接
收藏帖子
前端 vue.js, iview。
后端 python. 不带数据库的用flask, 带数据库的用django。
前后端之间用ajax web service交互,完全弃用django的模板系统。
部署用nginx。
核心技术系统底层C++,数据python。如果哪天后端发现python出现
瓶颈了,应该能很快用C++模块顶上。
大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
我自认为作为CTO我给公司选择了正确的技术路线,能帮助我们
在前进的道路上避免不少冤枉活。我们目前是2B业务比较早期,
将来还不知道会咋样,且看我这套体系能玩到什么时候。
这套体系目前还不能覆盖手机端。我对app开发不熟,这个是个缺憾。
但是新手学语言找工作,我觉得需要学js和python两种语言,先学哪
一个都没关系。从语言本身来说, js比python要有意思。n年前我来
吹过用js通吃前后台,现在数据这块崛起了,会python有太多的优势了。
Python的难度其实已经不在语言了,而是拼CS专业知识了。
再接下来,光靠会一个语言本身其实很难有什么红利了。
算比较简单直白的
赞一个
赞干货!
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
赞。而且缺人手,CTO可以完全顶上
我司主要是Cassandra, postgreSQL。
Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近ALU
【在 wdong(万事休)的大作中提到:】
:前端 vue.js, iview。
:后端 python. 不带数据库的用flask, 带数据库的用django。
ajax web service 是啥,第一次听说 😓
贵司的客户是哪些公司?已经有 revenue 了吗/?
app 学个 flutter 差不多了。
我司目前是 loopback 后端 + angular/flutter 前端。
另外一个项目是 golang + C#
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
这些事不是浪费时间吗。招个靠谱的architecture并不难。
【 在 lightroom(吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
<br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据靠近
ALU
<br>: :前端 vue.js, iview。
<br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
<br>
应该就是说xmlhttprrquest为基础的一套前端拿数据的办法。
【 在 repast(xebec) 的大作中提到: 】
: ajax web service 是啥
一开始招人跟不上,我现在还自己写javascript呢。
在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
没事干了又不能开除掉。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
: ,也需要考虑人员最熟悉和擅长什么。初创公司包袱小,相对自由些。但是wdong琢磨
: 这些事不是浪费时间吗。招个靠谱的architecture并不难。
: <br>: Hadoop的背景是那时千兆以太网比硬盘快,还有内存小。现在是要让数据
: 靠近
: ALU
: <br>: :前端 vue.js, iview。
: <br>: :后端 python. 不带数据库的用flask, 带数据库的用django。
: <br>
你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。
另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
与进来新项目了。这样也不合适。
【 在 wdong(万事休) 的大作中提到: 】
: 一开始招人跟不上,我现在还自己写javascript呢。
: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
: 没事干了又不能开除掉。
站太破了,乱码了
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
#65533;
: 銆� 鍦� repast(xebec) 鐨勫ぇ浣滀腑鎻愬埌: 銆�
:
: ajax web service 是啥
:
这就是我从头做的好处啊, 只招js和python的人。
现在年轻人都会这些。.net其实国内很流行,也是一条路子。
我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
应用啥的,全在excel里面搞。VBA。
不过隔壁说的云是个大问题。我估计马上就要考虑了。
云的便捷很诱人的。但是实际有两个问题:
1. 不能吊死在一棵树上。
2. 客户不允许上云。数据必须只进不出。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训,人事和财务都不发声。
: 另外像你这个架构,我司几十个angular的人,几十个java的人,几十个.net都无法参
: 与进来新项目了。这样也不合适。
:
: 一开始招人跟不上,我现在还自己写javascript呢。
:
: 在revenue能跟上之前,招人还是比较谨慎。毕竟人一来每月都是好几万人刀,
:
: 没事干了又不能开除掉。
:
我猜就是指xmlhttprequest 为基础协议的各种新一代设计吧。我以前有个帖子讲,我
个人认为
是xmlhttprequest 救了当年崩溃的.net泡沫。
旧时模版都是吐完整的一个页面的。
【 在 repast(xebec) 的大作中提到: 】
<br>: 站太破了,乱码了
<br>: #65533;
<br>
赞干货,看来国内vue还是很流行的
问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
不用?
spa design开发比用template要慢很多吧?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
vue 本身就有template,比后端写template 开发效率高太多了,性能可能差一点,不
过无关紧要。
【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 赞干货,看来国内vue还是很流行的
: 问一下,完全弃用django的模板系统是说DTL还是说不用任何template系统,jinja2也
: 不用?
: spa design开发比用template要慢很多吧?
大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
======
老司机啊
我用过青云也很不错. 不过目前我就是用阿里云.
【 在 repast (xebec) 的大作中提到: 】
: 问一下部署在国内除了阿里云,还有哪些比较靠谱的啊?
赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是
numpy, pandas, tensorflow 这种包的使用么?
去kaggle 上刷,看人家的代码。飞速前进。
【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?
再就是您说的“ajax web service交互”, 是指用 django RESTFUL 来连接前端的东
西么?
谢谢大神。 基本没学过数据,想开始自己搞。 kaggle 有没有啥教程? 我看周围人都是组队搞得。
【 在 echowuhao (echo) 的大作中提到: 】
: 去kaggle 上刷,看人家的代码。飞速前进。
数据的话就是 numpy, pandas, scikit-learn
如果偏图像就是keras.
【 在 mitbbsre (mitbbsre) 的大作中提到: 】
: 赞! 刚入门的想问下大牛, python数据这块想学习一下的话,应该学什么呢? 是 : numpy, pandas, tensorflow 这种包的使用么?
赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
是 JSON Schema.
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
django的url配置,比flask的decorator,落后了一个时代。
其实从界面设计来讲,decorator的url和函数名还是有冗余。
经常需要同一个单词写两遍。还有改进的余地。
【 在 dumbCoder (HumbleCoder 不懂就问-_-) 的大作中提到: 】
: 赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
: 如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
: Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
: 是 JSON Schema.
我怎么感觉 url 明文写在一个文件里更 organized
flask 那个 decorator 以前 bottle.py 也这么搞的, 我不是很感冒
【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
而且我喜欢把 url 和内部函数名分开. 看来每个人喜好很不一样.
因为一个是对外被引用, 一个是对内被引用
【 在 wdong (万事休) 的大作中提到: 】
: django的url配置,比flask的decorator,落后了一个时代。
: 其实从界面设计来讲,decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
我个人建议加上Kafka作中间层。这样解耦的效果非常好。
我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
东哥牛逼🐂,爱你!
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
还是取决于应用。
另外,kafaka 与 rabbitmq 比优势在哪里?
我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。
【 在 bobohu (薄🍉🍉) 的大作中提到: 】
: 我个人建议加上Kafka作中间层。这样解耦的效果非常好。
: 我们公司也做B2B,客户有顶级的投行,有大量的service运行,没有消息层就特别混乱。
rabbitmq 没有自带的 horizontal scalling, 不好 scale
还有, kafka 默认是写到硬盘, rabbitmq 默认在内存, 用途不一样
【 在 echowuhao (echo) 的大作中提到: 】
: 还是取决于应用。
: 另外,kafaka 与 rabbitmq 比优势在哪里?
: 我感觉如果流量不是特别大,rabbitmq 功能更全,更好用。
: 乱。
写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大,通常做到上百人以后就要重写了。
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
大数据这块也许可以参考RAPIDS
手机前段要想省事,还是网页
前端你得补补bootstrap
最近半年的词,keycloak, tableau, helm chart
看来词汇量还得是在加州能练出来
我就不特别深究具体语言mono flux etc etc
这些都是开源大陆货,是凡公司独门的东西我不讲
市上小儿唱动态类型一时爽,代码重构火葬场
三国开头那几章的巴?
【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。
你out了。
Python现在的写法是type hint加pycharm。
静态类型检查跟其他的语言没区别。
【 在 dynkin (化神奇为腐朽) 的大作中提到: 】
: 写python小心,没静态类型检查维护要死人,所以靠python做技术栈的公司通常做不大
: ,通常做到上百人以后就要重写了。
我最近正在写javascript。可以负责地说,bootstrap已经out了:)
tableau我没用过,我们用了下fine BI觉得很不错。
别的几个我去了解下。
【 在 heteroclinic (asymptotically stable) 的大作中提到: 】
: 前端你得补补bootstrap
: 最近半年的词,keycloak, tableau, helm chart
: 看来词汇量还得是在加州能练出来
: 我就不特别深究具体语言mono flux etc etc
: 这些都是开源大陆货,是凡公司独门的东西我不讲
你说的是没错,可是实际工程当中写代码要防下限。
例如你找几个志同道合的人一起用pycharm一起加type hint搞个开源工程没啥问题。但是业务要发展吧,你总要加新功能改写api吧,你总要招新手吧?万一你想招的AI大牛
只会核心算法不会写单元测试呢?你就不要了?
慢慢你就趟雷了。
不过python还不是最坑的,坑不过javascript。
【 在 walkrandom (walkrandom) 的大作中提到: 】
: 你out了。
: Python现在的写法是type hint加pycharm。
: 静态类型检查跟其他的语言没区别。
已经有客户了啊,那客户不准上云,自己难道买机器架机器?话说产品是啥能透露下?【 在 wdong (万事休) 的大作中提到: 】
: 这就是我从头做的好处啊, 只招js和python的人。
: 现在年轻人都会这些。.net其实国内很流行,也是一条路子。
: 我最近碰到的才好玩,就是人家只用excel。写文档都不用word。
: 应用啥的,全在excel里面搞。VBA。
: 不过隔壁说的云是个大问题。我估计马上就要考虑了。
: 云的便捷很诱人的。但是实际有两个问题:
: 1. 不能吊死在一棵树上。
: 2. 客户不允许上云。数据必须只进不出。
赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
据实时性?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
让我想起了老魏的无敌单机。
【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?
人家数据肯定往DB放。这个hpc是取代hadoop的
【在 silverhawk(silverhawk)的大作中提到:】
:赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在意数
:据实时性?
我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
【 在 wwzz (一辈子当码工) 的大作中提到: 】
: 让我想起了老魏的无敌单机。
: 【在 silverhawk(silverhawk)的大作中提到:】
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?
高性能大内存的单机系统(真正计算部分)
这块能展开讲讲吗?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
I see,所以说用大单机内存足够装下所有数据直接处理就可以?
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 人家数据肯定往DB放。这个hpc是取代hadoop的
: :赞,高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意?更在
意数
: :据实时性?
老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什么方案?
【 在 wdong (万事休) 的大作中提到: 】
: 我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
: 我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
: 意数
从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM 里。
从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机器内是CPU到RAM连接
【在 silverhawk(silverhawk)的大作中提到:】
:I see,所以说用大单机内存足够装下所有数据直接处理就可以?
:【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
无非就是各种花样replicate和backup。当时讨论主要的结论是老魏的那套单机架构其
实没法证伪。楼上说的,SSD有新技术出来,啥啥啥的,所以单机吞吐量其实还是会有
很大程度提高的。
【 在 silverhawk (silverhawk) 的大作中提到: 】
: 老魏的方法是什么?记不得当时的讨论了,就是persistent到硬盘或者DB?还是其他什
: 么方案?
这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。
我看你没提,deploy python 有必要用 docker 吗?
【 在 wdong (万事休) 的大作中提到: 】
: 数据的话就是 numpy, pandas, scikit-learn
: 如果偏图像就是keras.
你說得明顯不對,IO的瓶頸是python.lol
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: 【在 silverhawk(silverhawk)的大作中提到:】
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?
啥叫 Python 无法deploy?放docker 里就行了。
【在 repast(xebec)的大作中提到:】
:这些单机都玩过,deploy有坑吧?我之前认识的人直接说 python无法 deploy,
:我接下来的项目打算走你的路线,python用了多年了还没有正经做过服务。
streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 从算法上,很多算法是mini batch的或者streaming的,不需要把全部数据放到RAM
里。
: 从硬件上,nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络,在机
: 器内是CPU到RAM连接
: :I see,所以说用大单机内存足够装下所有数据直接处理就可以?
: :【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
Django 现在直接支持 chunked transfer encoding 了吗?
flask 呢?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
wdong 能说说你这个牛x的单机大概是什么配置? 啥样的内存和CPU?
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
查了下现状,估计等不到那一天,第一版老老实实算长度,以后再说。
【 在 repast (xebec) 的大作中提到: 】
: Django 现在直接支持 chunked transfer encoding 了吗?
: flask 呢?
对于CPU的瓶颈,硬件上,AMD新CPU使得多核变得便宜,还有可以offload到GPU上。
算法上有两个大方向,并行和cache friendly算法/数据结构
【 在 silverhawk (silverhawk) 的大作中提到: 】
: streaming 的东西不仅仅是SSD或者IO瓶颈啊,很多时候CPU也是个瓶颈。不过看大多数
: 业务,如果其他不重要的外围交给其他服务做,单机做最核心的,起步阶段其实也可以
: 里。
为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
I guess for Machine learning/DS part , u need python
【 在 AIHiring () 的大作中提到: 】
: 为什么不考虑后段用node + mongodb?这样上手只需要学习JavaScript/typescript
【 在 wdong (万事休) 的大作中提到: 】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask, 带数据库的用django。
带数据库的也直接flask+sqlalchemy不行吗?
: 前后端之间用ajax web service交互,完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++,数据python。如果哪天后端发现python出现
: 瓶颈了,应该能很快用C++模块顶上。
: 大数据这块,对外暂时宣称用hadoop, spark这些,实际我会用高性能
: 大内存的单机系统(真正计算部分)。我认为在hadoop是15年前的硬件
: 技术的软件解决方案,5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
: ...................
赞干货
赞分享
Dau多少
你这“大”数据是多大?
单机再快也跑不了大量图像识别之类的AI模型吧?
多大公司? 2b 还是2c?
您这个架构 可能会被人说不scalable
但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧密,还是front和backend更紧密。不同的应用可能不太一样。我的经验是frontend-backend更紧
【 在 nacst23 (cnc) 的大作中提到: 】
: I guess for Machine learning/DS part , u need python
新领域值钱。如果是工程师,就往ml engineer的万金油方向靠。不用瞎琢磨了。
python的几个数值计算库是必须的。你想想matlab多少年不败。
后端的常规任务,增删查改什么的。20年经验的java老师傅多的是。早就人满为患了。【 在 AIHiring() 的大作中提到: 】
<br>: 但front-end需要js,所以这是一个trade off。到底backend和ml/data结合更紧
密,还
<br>: 是front和backend更紧密。不同的应用可能不太一样。我的经验是
frontend-
backend更紧
<br>
都用阿里云了, 阿里的quick BI也可以看下。
另外,element UI,很好的前端theme框架。
阿里的ice work, 很好的搭建enterprise web app 的框架。
这样开发前端的成本低太多了
【 在 wdong (万事休) 的大作中提到: 】
: 我最近正在写javascript。可以负责地说,bootstrap已经out了:)
: tableau我没用过,我们用了下fine BI觉得很不错。
: 别的几个我去了解下。