1，找出虚伪蜘蛛进行IP屏蔽。
经过网站日志剖析，咱们能够知道其实许多所谓的百度spider或谷歌spider其实都是假的，咱们能够经过解分出这些虚伪蜘蛛的IP进行屏蔽，这样不只能够节约流量也能够削减网站被收集的危险。详细操作中需求反查出IP是不是真蜘蛛，操作办法为:点击左下角的开端-运转-CMD-输入指令nslookupip回车就能够看到成果了。假设是真的查找蜘蛛都有一个蜘蛛符号，而假的蜘蛛却没有符号。
2，屏蔽无效的蜘蛛或对查找引擎优化作用小的查找蜘蛛。
比方咱们知道谷歌蜘蛛是抓取量十分大，可是关于许多职业来说谷歌的流量很低，查找引擎优化作用并欠好，因而能够进行屏蔽谷歌蜘蛛的抓取而节约许多的流量，例如美丽说网站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外，还有一些蜘蛛比方的盘古查找、bing蜘蛛等，这些流量都十分低的，或许几乎没有太大作用的蜘蛛其实都能够屏蔽掉。
3，用robots约束无效页面或重复页面的抓取。
有一些页面可能曾经存在可是现在没有了，或许是存在动态与静态的URL一同存在，因为存在反向链接或数据库内有这样的链接，蜘蛛仍旧会不时进行抓取，咱们能够找出回来404页面的URL，把这些URL都给屏蔽掉，这样既进步了抓取屏蔽也削减了流量糟蹋。
4，约束页面的抓取内容来进步抓取功率与抓取速度，削减抓取流量。
关于任何一个页面来说，都有许多无效的噪音区，比方一个网站的登录、注册部分、最下面的版权信息和一些协助性的链接导航等，或一些模板上存在一些无法被蜘蛛辨认的展现模块等，这些咱们都能够选用加Noffollow标签或ajax、JS等办法进行约束或屏蔽抓取，削减抓取量。
5，外部调用或cdn加速来进步蜘蛛的抓取，削减服务器的响应和流量糟蹋。
现在的网站大多选用许多的图片、视频等多媒体来展现，而这些图片缺需求较多的下载流量，假设咱们把图片选用外部调用的办法，那么就能够节约许多的蜘蛛抓取流量。现在比较好的办法有把图片放在其他的服务器或上传到一些网盘上都能够。
6，使用站长东西约束或进步蜘蛛的抓取，或许约束蜘蛛抓取的时刻。
现在百度站长渠道和谷歌站长渠道都有站长抓取的东西，能够用来约束蜘蛛抓取的时刻和抓取量，咱们能够依据需求进行合理分配，到达最佳的作用。
南昌网络营销培训学校 网络营销 抓取的讲解就到这了。
