Python论坛的帖子：

Python论坛 - 讨论区

标题：[python-chinese] urlopen打开一个链接后怎么关闭这个socket

楼主 2007年09月10日星期一 16:31

leopay leopay在gmail.com
星期一九月 10 16:31:12 HKT 2007

urlopenÌ«Æµ·±ÓÐÊ±ºò»á³öÏÖoperation deny
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒÆ³ý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070910/6ed74d05/attachment.htm

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

轩辕十四

0楼 2007年09月13日星期四 16:49

yuan xuan xuanyuan14.leo在gmail.com
星期四九月 13 16:49:38 HKT 2007

我也碰到了类似问题，查了半天没有解决，网页爬虫报错：10054 connection reset by perr....:(
但是http协议这种链接是短连接的，准备做测试看看，在服务器段是否有一大堆FIN_WAIT。。。。

在07-9-10，leopay <leopay在gmail.com> 写道：
>
> urlopen太频繁有时候会出现operation deny
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070913/b2cc9cc1/attachment.htm

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

tianjie

0楼 2007年09月13日星期四 17:18

Tian askfor在gmail.com
星期四九月 13 17:18:38 HKT 2007

Õâ¸öºÍ¶Ô·½µÄ·þÎñÆ÷ÉèÖÃÓÐ¹Ø°É¡£

Åö¼û´óÁ¿µÄÇëÇóºóÓÐ¶ÔÓ¦µÄ´¦Àí£¬·ÀÖ¹±»DOS¡£

Ã»ÓÐ¹Ø±ÕsocketÕâ¸öËµ·¨¡£


On 9/13/07, yuan xuan <xuanyuan14.leo在gmail.com> wrote:
>
> ÎÒÒ²Åöµ½ÁËÀàËÆÎÊÌâ£¬²éÁË°ëÌìÃ»ÓÐ½â¾ö£¬ÍøÒ³ÅÀ³æ±¨´í£º10054 connection reset by perr....:(
> µ«ÊÇhttpÐÒéÕâÖÖÁ´½ÓÊÇ¶ÌÁ¬½ÓµÄ£¬×¼±¸×ö²âÊÔ¿´¿´£¬ÔÚ·þÎñÆ÷¶ÎÊÇ·ñÓÐÒ»´ó¶ÑFIN_WAIT¡£¡£¡£¡£
>
> ÔÚ07-9-10£¬leopay < leopay在gmail.com> Ð´µÀ£º
> >
> > urlopenÌ«Æµ·±ÓÐÊ±ºò»á³öÏÖoperation deny
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> >
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒÆ³ý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070913/7f0c0747/attachment.html

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

轩辕十四

0楼 2007年09月14日星期五 08:19

yuan xuan xuanyuan14.leo在gmail.com
星期五九月 14 08:19:13 HKT 2007

那请教网络爬虫对这种问题一般怎么处理？等待，再重试？

在07-9-13，Tian <askfor在gmail.com> 写道：
>
> 这个和对方的服务器设置有关吧。
>
> 碰见大量的请求后有对应的处理，防止被DOS。
>
> 没有关闭socket这个说法。
>
>
> On 9/13/07, yuan xuan <xuanyuan14.leo在gmail.com> wrote:
> >
> > 我也碰到了类似问题，查了半天没有解决，网页爬虫报错：10054 connection reset by perr....:(
> > 但是http协议这种链接是短连接的，准备做测试看看，在服务器段是否有一大堆FIN_WAIT。。。。
> >
> > 在07-9-10，leopay < leopay在gmail.com> 写道：
> > >
> > > urlopen太频繁有时候会出现operation deny
> > > _______________________________________________
> > > python-chinese
> > > Post: send python-chinese在lists.python.cn
> > > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > > Unsubscribe: send unsubscribe to   python-chinese-request在lists.python.cn
> > >
> > > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> > >
> >
> >
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> >
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070914/e2d59e2f/attachment.html

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

徐继哲

0楼 2007年09月17日星期一 22:08

谢小漫 cat在ewyu.com
星期一九月 17 22:08:43 HKT 2007

是不是这个：
socket.SO_REUSEADDR = 0
都不记得了。

在 07-9-14，yuan xuan<xuanyuan14.leo at gmail.com> 写道：
> 那请教网络爬虫对这种问题一般怎么处理？等待，再重试？
>
> 在07-9-13，Tian <askfor at gmail.com> 写道：
> >
> > 这个和对方的服务器设置有关吧。
> >
> > 碰见大量的请求后有对应的处理，防止被DOS。
> >
> > 没有关闭socket这个说法。
> >
> >
> >
> > On 9/13/07, yuan xuan <xuanyuan14.leo at gmail.com > wrote:
> > > 我也碰到了类似问题，查了半天没有解决，网页爬虫报错：10054 connection reset by perr....:(
> > > 但是http协议这种链接是短连接的，准备做测试看看，在服务器段是否有一大堆FIN_WAIT。。。。
> > >
> > >
> > > 在07-9-10，leopay < leopay at gmail.com> 写道：
> > > > urlopen太频繁有时候会出现operation deny
> > > > _______________________________________________
> > > > python-chinese
> > > > Post: send python-chinese at lists.python.cn
> > > > Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> > > > Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> > > > Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
> > > >
> > >
> > >
> > > _______________________________________________
> > > python-chinese
> > > Post: send python-chinese at lists.python.cn
> > > Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> > > Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> > > Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
> > >
> >
> >
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese at lists.python.cn
> > Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> > Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> > Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
> >
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese at lists.python.cn
> Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
>


-- 
花开邑大，漫步心月湖。
http://www.ewyu.com/

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

轩辕十四

0楼 2007年09月20日星期四 16:01

yuan xuan xuanyuan14.leo在gmail.com
星期四九月 20 16:01:18 HKT 2007

使用的是urllib2，不是直接socket.

在07-9-17，谢小漫 <cat在ewyu.com> 写道：
>
> 是不是这个：
> socket.SO_REUSEADDR = 0
> 都不记得了。
>
> 在 07-9-14，yuan xuan<xuanyuan14.leo在gmail.com> 写道：
> > 那请教网络爬虫对这种问题一般怎么处理？等待，再重试？
> >
> > 在07-9-13，Tian <askfor在gmail.com> 写道：
> > >
> > > 这个和对方的服务器设置有关吧。
> > >
> > > 碰见大量的请求后有对应的处理，防止被DOS。
> > >
> > > 没有关闭socket这个说法。
> > >
> > >
> > >
> > > On 9/13/07, yuan xuan <xuanyuan14.leo在gmail.com > wrote:
> > > > 我也碰到了类似问题，查了半天没有解决，网页爬虫报错：10054 connection reset by perr....:(
> > > > 但是http协议这种链接是短连接的，准备做测试看看，在服务器段是否有一大堆FIN_WAIT。。。。
> > > >
> > > >
> > > > 在07-9-10，leopay < leopay在gmail.com> 写道：
> > > > > urlopen太频繁有时候会出现operation deny
> > > > > _______________________________________________
> > > > > python-chinese
> > > > > Post: send python-chinese在lists.python.cn
> > > > > Subscribe: send subscribe to
> > python-chinese-request在lists.python.cn
> > > > > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > > > > Detail Info:
> > http://python.cn/mailman/listinfo/python-chinese
> > > > >
> > > >
> > > >
> > > > _______________________________________________
> > > > python-chinese
> > > > Post: send python-chinese在lists.python.cn
> > > > Subscribe: send subscribe to
> > python-chinese-request在lists.python.cn
> > > > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > > > Detail Info:
> > http://python.cn/mailman/listinfo/python-chinese
> > > >
> > >
> > >
> > > _______________________________________________
> > > python-chinese
> > > Post: send python-chinese在lists.python.cn
> > > Subscribe: send subscribe to
> > python-chinese-request在lists.python.cn
> > > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > > Detail Info:
> > http://python.cn/mailman/listinfo/python-chinese
> > >
> >
> >
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to
> > python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to
> > python-chinese-request在lists.python.cn
> > Detail Info:
> > http://python.cn/mailman/listinfo/python-chinese
> >
>
>
> --
> 花开邑大，漫步心月湖。
> http://www.ewyu.com/
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070920/304d8727/attachment.html

[导入自Mailman归档：http://www.zeuux.org/pipermail/zeuux-python]

请登录后回复。还没有在Zeuux哲思注册吗？现在注册！