2004年08月25日 星期三 10:33
req = urllib2.Request(url)
req.add_header('Accept', 'text/html')
req.add_header('User-Agent', "Mozilla/4.0 (compatible; MSIE 6.0; Windows
NT 5.0)")
req.add_header('Accept-Language', 'zh-CN')
这样你就可以模拟一个简体中文版的windows上的IE6了
因为有些网站的输出内容和浏览器相关,比如cn.yahoo.com它会判断你是否是个
bot,输出的结果是不一样的。
同样通过浏览器的认证信息,cookie, session都可以加在这里,因为他们就是通
过HTTP Header实现的。
为了捕捉Server 和 Client的通信,你可以用一个Proxy来看看他们互相说了写什
么,然后自己来模仿就可以了
现在唯一的技术问题就是JavaScripts/VBScripts...因为有些内容是Scripts做
的,浏览器实现了HTML DOM和Scripts的解析
他们可以得到正确的信息,而bot现在不行,不过可以参考DOMForm,它实现了对
DOM和javascripts的支持,但是还是没有 VBScripts的支持,我想如果要真正完全
模拟一个浏览器,还是需要通过COM来调用浏览器来做吧,但是这样跨平台的问题
又很麻烦。
正在学习中...
dreamingk(天成) wrote:
>dreamingk(天成),您好!
>
> opener.addheaders = [
> ("User-agent", "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.5) Gecko/20031107 Debian/1.5-3"),
> ("Accept", "text/html, image/jpeg, image/png, text/*, image/*, */*")]
> 我用的winxp ie6 这一段应该怎么写?这个header必须要写吗?
>
>======= 2004-08-25 10:11:08 您在来信中写道:=======
>
>
>
>>Xie Yanbo,您好!
>> cookie=ClientCookie.CookieJar()
>> cookie.save(... )
>> AttributeError: CookieJar instance has no attribute 'save'
>>
>>======= 2004-08-25 10:01:58 您在来信中写道:=======
>>
>>
>>
>>>On 2004-08-25 09:57:1093399068 +0800, dreamingk(天成) wrote:
>>>
>>>
>>>>Xie Yanbo,您好!
>>>>
>>>> hehe 我正想呢,我看了半天lib ref,从来没见到过ClientCookie呢。。。
>>>>
>>>>
>>>建议现在就开始学习 cookielib, 毕竟 python2.4 正式版已经近在咫尺了
>>>
>>> http://www.python.org/dev/doc/devel/whatsnew/whatsnew24.html
>>>
>>>再过几天你就可以在正式版的 lib reference 里面看到它了。
>>>
>>>_______________________________________________
>>>python-chinese list
>>>python-chinese at lists.python.cn
>>>http://python.cn/mailman/listinfo/python-chinese
>>>
>>>
>>>
>>= = = = = = = = = = = = = = = = = = = =
>>
>>
>> 致
>>礼!
>>
>>
>> dreamingk(天成)
>> dreamingker at 163.com
>> 2004-08-25
>>
>>_______________________________________________
>>python-chinese list
>>python-chinese at lists.python.cn
>>http://python.cn/mailman/listinfo/python-chinese
>>
>>
>>
>
>= = = = = = = = = = = = = = = = = = = =
>
>
> 致
>礼!
>
>
> dreamingk(天成)
> dreamingker at 163.com
> 2004-08-25
>
>
>
>------------------------------------------------------------------------
>
>_______________________________________________
>python-chinese list
>python-chinese at lists.python.cn
>http://python.cn/mailman/listinfo/python-chinese
>
>
2004年08月25日 星期三 10:43
Xie Yanbo,您好!
他的doc里确实有个例子是使用的cookies.save()
但是不明白为什么ClientCookie.CookieJar为什么没有这个attr
======= 2004-08-25 10:24:22 您在来信中写道:=======
>On 2004-08-25 10:11:1093399868 +0800, dreamingk(天成) wrote:
>> Xie Yanbo,您好!
>> cookie=ClientCookie.CookieJar()
>> cookie.save(... )
>> AttributeError: CookieJar instance has no attribute 'save'
>
>哦,我的那段代码很老了,现在的 ClientCookie API 可能已经有
>变化,自己看文档更改吧──或者你下载一个老版本的 ClientCookie
>试试。
>
>_______________________________________________
>python-chinese list
>python-chinese at lists.python.cn
>http://python.cn/mailman/listinfo/python-chinese
>
= = = = = = = = = = = = = = = = = = = =
致
礼!
dreamingk(天成)
dreamingker at 163.com
2004-08-25
Zeuux © 2025
京ICP备05028076号