Python论坛的帖子：

星期四二月 1 15:03:11 HKT 2007

需要一个脚本，用来下载处理这个文件  
http://training.cusa.com:81/IVRService/fiapi?WSDL

原先脚本中为了方便先调用wget下载，已经完成了。但是因为是给windows下的朋友用 
的，所以，还是用urllib或者urllib2比较方便。

首先尝试用  
urllib.urlopen("http://training.cusa.com:81/IVRService/fiapi?WSDL") 得到了 
HTTP Status 500。后来ethereal抓包对比发现，是因为这个站点要求HTTP header  
"Connection:Keep-Alive" 才能下载。


然后尝试用 urllib2
urllib2.urlopen("http://training.cusa.com:81/IVRService/fiapi?WSDL")
得到的HTTP request包中是"Connection:close"，下载失败，HTTP Status 500。


request =  
urllib2.Request("http://training.cusa.com:81/IVRService/fiapi?WSDL")
opener = urllib2.build_opener()
request.add_header('Connection', 'Keep-Alive')
opener.open(request)
得到的HTTP request包中是"Connection:close"，下载失败，HTTP Status 500。


request.headers.pop('Connection')
opener.addheaders = [('Connection', 'Keep-Alive')]
opener.open(request)
得到的HTTP request包中是"Connection:close"，下载失败，HTTP Status 500。

看来是怎么加都是"Connection:close"，于是看urllib2.py，发现在  
AbstractHTTPHandler.do_open()函数中：

         # We want to make an HTTP/1.1 request, but the addinfourl
         # class isn't prepared to deal with a persistent connection.
         # It will try to read all remaining data from the socket,
         # which will block while the server waits for the next request.
         # So make sure the connection gets closed after the (only)
         # request.
         headers["Connection"] = "close"
         try:
             h.request(req.get_method(), req.get_selector(), req.data,  
headers)
             r = h.getresponse()
         except socket.error, err: # XXX what error?
             raise URLError(err)

看来是这个代码已经被固化在了这个函数中，如果要做，除非是特化自己的Handler， 
然后重写do_open()。看他的注释，似乎是因为addinfourl这个类的原因，只能使用 
"Connection:close"，具体如何，没有进一步深究。只是，这么设计，从最底层hard  
code了"Connection:close"，使得urllib2的使用者没有便利的方式改变这种逻辑，甚 
至得到违背直观的结果，直到看源代码才能明白，我觉得可能不见得是一个好的做 
法。不知道urllib2的设计者是怎么想的。


后来回头看了urllib源代码，就没有这个hard code的代码，而且FancyURLopener看来 
也堪用，只是lib manual上没有细讲，于是还是转用urllib：
opener = urllib.FancyURLopener()
opener.addheader('Connection', 'Keep-Alive')
remortefile =  
opener.open("http://training.cusa.com:81/IVRService/fiapi?WSDL")
就搞定了。


-- 
Leira Hua
http://my.opera.com/Leira

标题：[python-chinese] urllib2 不能添加 HTTP header "Connection:Keep-Alive" 的问题