请问下华人网站不允许web scraping 吗?

r
rewish
楼主 (北美华人网)
在学习web scraping,就想着拿华人网来吧结果华人网不让我的IP访问了。另外问下,web scraping的时候应该注意哪些问题呢?
i
ivoryzz
你搓的太频繁了 给网站造成了负担 你可以试试每次搓之后 停留1分钟 然后再搓 Sleep(60)
r
rewish
你搓的太频繁了 给网站造成了负担 你可以试试每次搓之后 停留1分钟 然后再搓 Sleep(60)
ivoryzz 发表于 2022-02-16 14:43

我好像没太频繁呢,我数了下就六次
超级版主e
感谢反馈,会有专门负责的版务跟进处理。
论坛管理员
在学习web scraping,就想着拿华人网来吧结果华人网不让我的IP访问了。另外问下,web scraping的时候应该注意哪些问题呢?
rewish 发表于 2022-02-16 14:41

web scraping 你指什么操作? 能具体描述下吗。 thanks