通知设置 新通知
apache将搜索引擎抓取日志记录到独立的日志文件
Linux • linyu520 发表了文章 • 0 个评论 • 4978 次浏览 • 2016-10-17 21:13
我们做SEO的时候,常常希望知道搜索引擎爬虫什么时候光顾了我们的网站,这时我们就可以同下面的方法,将搜索引擎的抓取日志单独放在一个日志文件中。 1、 识别搜索引擎: 在“/etc/httpd/conf/httpd.conf”文件“LogFormat”前面添加如下内容,用来判断是蜘蛛抓取还是真实用户访问:SetEnvIfNoCase User-Agent "(Googlebot|Mediapartners-Google|Baiduspider|MSNBot|sogou spider|S 查看原文 »