软讯网络 > 网站建设 > PHP > Larbin不能下载某些网页的原因
【标 题】：Larbin不能下载某些网页的原因
【关键字】：
Larbin
【来 源】：http://www.cublog.cn/u/21158/showart.php?id=133206
Larbin不能下载某些网页的原因
原本以为是robots.txt的设置问题.
今天试了一下，原来并非如此，事实是因为有些网页太大的缘故，larbin的默认设置是最大100k，超过100k都不能下载，所以设置从sohu.com,163.com开始下载,必须更改对网页大小的限制。以300k为宜。
【相关文章】
没有相关文章
|