Python论坛  - 讨论区

标题:[哲思py]看来Google的robot对以前python-chinese的邮件列表归档是非常感兴趣

2008年06月23日 星期一 00:29

Xia Qingran qingran在zeuux.org
星期一 六月 23 00:29:24 CST 2008

今天看到我们的zeuux.org的服务器上有googlebot的大量活动,于是统计了一下昨 
天,也就是2008年6月22号的googlebot对我们网站的哪些页面感兴趣,以及抓取的 
次数,用以下shell统计之:

$zgrep Googlebot\/2.1 zeuux.org-access.log.0.gz |  awk '{print $7}' | 
cut -f1-3 -d/ | sort | uniq -c | sort -nk1
   1 /about/mentor.cn.html
   1 /campaign/zeuux-freedom-summit-2008-shanghai.cn.html
   1 /community/mailing-list.cn.html
   1 /community/zeuux-guru-plan.cn.html
   1 /community/zeuux-handbook.cn.html
   1 /community/zeuux-salon.cn.html
   1 /community/zeuux-team.cn.html
   1 /fashion
   1 /index.cn.html
   1 /law/billxu-rms-drm.cn.html
   1 /mailman/admin
   1 /mailman/listinfo
   1 /news/gnewsense-1-release.cn.html
   1 /patron/patron.cn.html
   1 /philosophy/open-letter-to-cmb.cn.html
   1 /pub/zeuux-campus-sdu-20080417-free-software.pdf
   1 /pub/zeuux-monthly-3-200803-ext4-introduction.pdf
   1 /robots.txt
   1 /science/learning-cvs.cn.html
   1 /science/learning-shell.cn.html
   2 /
   3 /pipermail/zeuux-www
   5 /campaign/zeuux-freedom-summit-2008.cn.html
   5 /community/fashion
  77 /pipermail/zeuux-universe
45054 /pipermail/zeuux-python


昨天一天zeuux-python邮件列表被Google的spider抓取了45054次!太nb了!

-- 
夏清然
Xia Qingran
qingran at zeuux.org


[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

如下红色区域有误,请重新填写。

    你的回复:

    请 登录 后回复。还没有在Zeuux哲思注册吗?现在 注册 !

    Zeuux © 2024

    京ICP备05028076号