全部回复 (11)
2011-04-18 14:51:00
沙发
知道了后台有什么用,没帐号、密码你侵入得了别人网站?
2011-04-18 14:55:00
板凳
有本事用他盗我球球,在此恭候
2011-04-18 14:56:00
地板
你抓住的是稻草
2011-04-18 15:10:00
#5
1楼,你建过网站么?抓取的是管理员登录后的页面,你进去就是管理员,知道SID了密码就好破,一般都是MD5加密的,网上破MD5的网站很多的
2011-04-18 15:13:00
#6
呵呵,楼主可能不清楚我的工作,我是做搜索引擎优化的,你说我建站没...
2011-04-18 15:15:00
#7
再说,有多少中国人有谷歌,基本都在用百度。
2011-04-18 15:24:00
#8
呵呵,是我班门弄斧了,不过我想请问一下一般网站都有robots.txt保护重要页面不被抓取,谷歌是怎么抓取的呢?
2011-04-18 15:32:00
#9
我们只做百度的搜索,至于谷歌的抓法不是很了解。
当蜘蛛访问站点时,它首先会检查站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的蜘蛛将能够访问网站上所有没有被保护的页面,重要页面无法访问。至于谷歌为什么能抓取到,不明白。
当蜘蛛访问站点时,它首先会检查站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的蜘蛛将能够访问网站上所有没有被保护的页面,重要页面无法访问。至于谷歌为什么能抓取到,不明白。
2011-04-18 15:36:00
#10
要是想阻止百度、谷歌等搜索引擎抓取网站内容,那就在服务器的根目录中放入一个 robots.txt 文件 文件
2011-04-18 15:46:00
#11
好担心哦!
2011-04-19 11:01:00
#12
路过
登录 后才能回复
flag举报帖子