如何收集网站日志？如何高效进行网站日志剖析？

如何实施网站日志剖析

在着手进行网站日志剖析之前，必须首先明确以下要点：

1. 何谓网站日志？

2. 在何种情形下有必要进行网站日志剖析？

何谓网站日志？

网站日志，确切地说是服务器日志。借助服务器日志，我们能掌握用户在何种IP、何种分辨率的设备、何时、何地访问了我们的网站，以及当时访问的页面是否顺畅。

对于我们的网站来说，搜索引擎同样也是用户之一。本文所讨论的网站日志剖析，主要针对的是搜索引擎这类用户。

在何种情形下需要实施网站日志剖析？

1、久远站点（成立1年且正常运行中的网站）：SEO流量出现异常波动。

2、新成立站点（成立6个月以下的网站）：定期剖析。

掌握上述两种情形后，我们该如何进行网站日志剖析？

针对久远站点网站日志剖析

作为SEO从业者，需要定期进行数据分析。了解网站SEO流量的波动情况。当网站SEO流量波动达到10%及以上时，就需要进一步深入剖析。

分为两种情况：

了解外部环境：了解外部环境的前提在于平时你得有一定的社交网络，如果没有也没关系。加入两个地方——访问搜索引擎站长平台或加入搜索引擎站长群。比如，百度搜索引擎，它设有站长平台，并相应建立了站长QQ群。

在拥有社交网络的基础上，可以直接了解外部环境的情况——是否也出现类似幅度的波动？这个的前提要结合你近期进行的SEO操作一并考虑，避免误判。

在没有社交网络的情况下，加入群组、访问站长平台。通常搜索引擎算法升级时，会在群组或站长平台有相关的小道消息出现。

如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法进行相应的站内优化。

比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。

如果站点存在上述情况，就需要针对性地进行优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回、可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或授权。

分析内部环境：在分析内部环境之前，再次提出这个公式：

SEO流量=抓取量收录率（准确地说应该是索引率）首页率*点击率。当抓取频次、抓取时间出现异常必然引起抓取量的减少。

因此，排除了外部因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助百度站长平台的“抓取频次”工具，先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释两个概念，便于理解：

1. 抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2. 抓取时间：指的是搜索引擎每次抓取耗时。

影响抓取频次的可能原因

1. 抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

2. 运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。

抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致

总结一下久远站点如何进行网站日志剖析（针对中文站点）：

排除外部因素：了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内部分析：1. 使用工具：百度站长平台。（非VIP账户看下文介绍）

2. 分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

针对新站点如何进行网站日志剖析

对新站点进行网站日志剖析，主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期（沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段，我们将这个阶段称为沙盒，在沙盒里面的这段时间，我们将其称为沙盒期，沙盒期一般都是2-6个月。）进入沙盒期并不意味着站点不会被抓取，由于新站点建立之初，权重较低，内容量较少，因此抓取量等相应的也不会太多。

前期，我们分析新站点网站日志，主要是分析站点是否有被爬虫抓取过？如果没有的情况下，一来是要让站点持续更新优质的内容，二来，在站点建设较为完善的情况下，需要主动向搜索引擎提交链接，让爬虫发现你的站点。除此之外，还可以通过正确渠道交换一些优质的友情链接，吸引爬虫来抓取。

通常新站点建立之初较难获得百度站长平台VIP账号，那么分析网站日志，我们可以通过下载光年日志分析工具进行分析。

步骤

1、下载网站日志（如果是企业站点，可以直接让运维部门的同事帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）

2、打开光年日志分析工具，上传网站日志。

3、查看分析结果。主要维度有这几个：

3、检视分析成效。关键要素包括以下几方面：

（1）概览分析：各类爬虫的总抓取次数、总停留时长、总访问频次。

探讨网站日志分析应关注哪些内容

网站日志系记录web服务器接收处理请求及运行时错误等各类原始信息的以.log为后缀的文件，确切而言，应称之为服务器日志。网站日志的最大价值在于记录网站运营状况，如空间运营情况、被访问请求的记录。

如何分析网站日志？

登录“FTP”账户，连接至网站数据，定位至网站日志文件夹。（注意：通常情况下，网站日志所在文件夹与网站文件同级，且带有log字样。仅少数情况，网站日志文件夹位于网站根目录下。）

打开文件夹，下载日志压缩包！（下载方式十分便捷，只需选中文件直接拖至电脑桌面，然后右键点击本地浏览下载目录的文件，选择“传输队列”即可！）

解压下载的日志文件，并将解压后文件的后缀名改为“txt”

新建一个Excel表格，并打开！在顶端工具栏找到“数据”工具

点击“导入数据”，默认“直接打开数据文件”，再选择“选择数据源”。

选中解压后的txt文档，并打开！

默认“其他编码“

选择“分隔符号”，并“下一步”；

勾选所有选项，然后“下一步”；

默认“常规”，并“完成”；

如图，网站日志数据项之间全部分隔开来；

接下来只需保留所需的数据项即可。删除不需要的数据项！（如图，仅保留了数据分析所需的访客IP、访问文件、访问状态码以及访客名称四项数据。）

选中访客名称一整列，然后点击“开始”栏目的“筛选”工具

点击访客名称一列上方的三角下拉按钮；

取消“全选”，找到百度蜘蛛的访客名称，选中并“确定”；

我们即可获取日志当天百度蜘蛛访问网站的所有数据。

最后，将该数据保存至网站每日分析日志中。（注意：每日更新原创内容的网站在分析日志时还需保留时间数据。）