2008年06月23日 星期一 00:29
今天看到我们的zeuux.org的服务器上有googlebot的大量活动,于是统计了一下昨 天,也就是2008年6月22号的googlebot对我们网站的哪些页面感兴趣,以及抓取的 次数,用以下shell统计之: $zgrep Googlebot\/2.1 zeuux.org-access.log.0.gz | awk '{print $7}' | cut -f1-3 -d/ | sort | uniq -c | sort -nk1 1 /about/mentor.cn.html 1 /campaign/zeuux-freedom-summit-2008-shanghai.cn.html 1 /community/mailing-list.cn.html 1 /community/zeuux-guru-plan.cn.html 1 /community/zeuux-handbook.cn.html 1 /community/zeuux-salon.cn.html 1 /community/zeuux-team.cn.html 1 /fashion 1 /index.cn.html 1 /law/billxu-rms-drm.cn.html 1 /mailman/admin 1 /mailman/listinfo 1 /news/gnewsense-1-release.cn.html 1 /patron/patron.cn.html 1 /philosophy/open-letter-to-cmb.cn.html 1 /pub/zeuux-campus-sdu-20080417-free-software.pdf 1 /pub/zeuux-monthly-3-200803-ext4-introduction.pdf 1 /robots.txt 1 /science/learning-cvs.cn.html 1 /science/learning-shell.cn.html 2 / 3 /pipermail/zeuux-www 5 /campaign/zeuux-freedom-summit-2008.cn.html 5 /community/fashion 77 /pipermail/zeuux-universe 45054 /pipermail/zeuux-python 昨天一天zeuux-python邮件列表被Google的spider抓取了45054次!太nb了! -- 夏清然 Xia Qingran qingran at zeuux.org
Zeuux © 2024
京ICP备05028076号