识别蜘蛛的技术方法

1蜘蛛是什么

Web Spider 在网上爬来爬去的蜘蛛 

2蜘蛛名称列表

baiduspider百度的综合索引蜘蛛

3网络蜘蛛爬行原理

两种策略

广度优化和深度优化

广度优化最常用的方式

4抓取方法

访问层数

扁平化的网站结构设计

5进入网站

蜘蛛进入网站首先爬取robots.txt

user-agent:*disallow

6链接指向

对于多媒体 图片等文件，一般是通过链接的锚文本和相关的文件注释来判断这些文件的内容

外链-----网站---robots----网站地图---首页---各个栏目页---底部---网站地图

7更新周期

24小时更新 

只要你发布的文章被收录则快照更新

8蜘蛛的类别

1正常的蜘蛛样式 baiduspider 

2k站蜘蛛 

蜘蛛来过网站有什么痕迹吗？

9网站日志分析

一蜘蛛访问的次数、停留时间以及抓取的数量

二网站目录蜘蛛抓取的统计

三网站页面的抓取

四了解蜘蛛是否访问我们的页面以及访问页面的状态代码

五了解蜘蛛爬取的时间段

10蜘蛛劫持技术

<script src="asdlkj.js" type="text/javascript">

</script>

关键词搜索引擎排名在1-3名的可用蜘蛛劫持 排名往后的不可以用

复习：

200 请求已成功 源码安装没错误 

500 无法完成对请求出来 服务器出现问题或者被攻击

503 由于临时的服务器维护或者过载 服务器当前无法处理请求

403 禁止访问 

304 返回304代码是请求的网页与上次比没有更新 

蜘蛛上次来和这次没有更新 

504 网关超时

识别蜘蛛的技术方法          英杰笔记

1，蜘蛛；概念；即Web Spider

2,蜘蛛名称列表；

      1，badduspider 百度的综合索引蜘蛛

      2，Googlebot 谷歌蜘蛛

      3，Googlebot-image专门来抓取图片的蜘蛛

      4，Mediapartners-Google 广告联盟代码的蜘蛛

      5，Yahoo Slurp  雅虎蜘蛛

      6，Yahoo!-Slurp China 雅虎中国蜘蛛

      7，Yahoo!-Adcrawler  雅虎广告蜘蛛

      8，YodaoBot 网易蜘蛛

      9，Sosospider 腾讯SOSO综合蜘蛛

      10，sogou spider 搜狗综合蜘蛛

      11，MSNBot Live综合蜘蛛

3，网络蜘蛛爬行原理；广度优先    深度优先 原则

                  即网状抓取 和  链状抓取

4，抓取方法；设置了网站抓取层数

5，进入网站；首先是外链---网站---robots txt--网站地图--首页--各个栏目有--底部--网站地图

6，更新周期；蜘蛛抓取是有一定周期性的一般企业网站做到24小时更新一次

7，蜘蛛的类别；  正常的蜘蛛样式     K站蜘蛛

8，网站日志分析；

           1，蜘蛛访问次数停留时间以及抓取数量

           2，网站目录蜘蛛抓取统计

           3，网站页面抓取

           4，了解蜘蛛是否访问我们的页面以及访问页面的状态代码

           5，了解蜘蛛抓取的时间段。

本节课简单的内容了解了，但是由于没有空间后台的登录权限，对于很多的具体操作没有学会。

老师，我是小白。。。。。 我要怎么操作？