Python论坛  - 讨论区

标题:答复: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?

2004年05月26日 星期三 16:00

Tan Lihui tony at exchange.ricsson.com
Wed May 26 16:00:12 HKT 2004

我可以给你关于我测试的数据,我在两台load balance的pc服务器上做出来的,
配置是:至强cpu 2.4G * 2,2G Registed DDR内存。80G Utral320 SCSI硬盘。
我要支撑一个3000人同时在线,100万注册用户的社区。3000人同时在线,按照20%原则,大概并行访问有2-300人吧?我用apache的ab测试,-n 10000 -c 200只处理
了前面400个请求,后面都挂住了,-c 250的时候有几次甚至是立马就死了!我那个测试页面用db pool, ptl,页面上取数据库里面的文章标题做论坛文章列表。数据库分别用过mysql和oracle817, 其中的myqsl我还用了prebuild的最优二进制包。Sql statement调整到最简单的形式,没有join表,该做的索引全做了。

这样的结果,你怎么解释?

这个问题我会去讨教webfinance.gti.cn,我想,假如他们把zope做得真的快,我大胆猜测可能的情况是这样:
1。他们完全摸透了zope,针对自己应用的特点,做了自己的特别优化。
2。他们只用了zope的一部分,比如tpl,其他没用。zope还是有不少优秀的东西抽取出来用。

-----邮件原件-----
发件人: python-chinese-bounces at lists.python.cn [mailto:python-chinese-bounces at lists.python.cn] 代表 周海文
发送时间: 2004年5月26日 15:42
收件人: python-chinese at lists.python.cn
主题: Re: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?

你说zope的效率有问题,你可以看看 http://webfinance.gti.cn,这个网站目前的数据库容量已有13GB,是使用zope+python的组合,效率也不见差呀?

关于效率,我认为 apache+mod_python 是python中最快的组合。

----- Original Message ----- 
From: "Tan Lihui" <tony at exchange.ricsson.com>
To: <python-chinese at lists.python.cn>
Sent: Wednesday, May 26, 2004 2:40 PM
Subject: 答复: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?


什么没有这个问题,这些都要自己考虑怎么去做的。

除了zope,你说的medusa, twisted实际上面向的都不是做这些东西。
也没有db pool。Zope有,但zope不适合做这个,zope比较适合做
社区,它的效率有问题,这是我经过严格测试得出的结论。Mod_python更加
不会有db pool。

为什么不直接用webware呢?主要是webware的架构导致它不使用于高负载
的站点,因为它是通过一个apache module跟后台的application server
通过socket通讯。搜索引擎讲求效率,所以我个人认为,倒不如直接用mod_python,然后自己做或者参考抽取webware for python的dbpool实现。而且mod_python最好
是静态编译到apache里面,这样我敢保证是使用python的方案中最快的。

-----邮件原件-----
发件人: python-chinese-bounces at lists.python.cn [mailto:python-chinese-bounces at lists.python.cn] 代表 Jacob Fan
发送时间: 2004年5月26日 14:21
收件人: python-chinese at lists.python.cn
主题: Re: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?

你是用什么东东开发的?CGI? 如果你是用那些基于Python的application server(zope ,twisted etc),或者python自带的httpserver,或者medusa都不会存在这个问题。mod_python也应该没有这个问题。
----- Original Message ----- 
From: "The UnderTaker" <undertaker at i-cable.com>
To: <python-chinese at lists.python.cn>
Sent: Wednesday, May 26, 2004 1:39 PM
Subject: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?


> 我想做一个搜索引擎,是搜索Mysql数据库的,如果利用一次性连接,之后其他人浏览就可以不用开多个进程
> 对Mysql的连接,直接用以有的连接进行SQL操作,不知道是否能实现,我之前想过用dde,不过好像要配搭
> wxpython使用,而且用浏览器浏览会定死


--------------------------------------------------------------------------------


> _______________________________________________
> python-chinese list
> python-chinese at lists.python.cn
> http://python.cn/mailman/listinfo/python-chinese
> 

_______________________________________________
python-chinese list
python-chinese at lists.python.cn
http://python.cn/mailman/listinfo/python-chinese


[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2004年05月26日 星期三 16:46

Zoom.Quiet zoomq at infopro.cn
Wed May 26 16:46:47 HKT 2004

Hollo Tan:

  的确!外国人对于开源软件真的开源用法!
会根据具体情况进行完全定制!
不过 Zope 的效率有另外的标准方式来优化哪!?

打开企业模式,Zope 可以极其方便的进行分布式运行!
就是Apache py_mod 组织成的系统,难以完成的任务?
webfinance.gti.cn
的13Gb 数据,肯定不会是由一台服务器进行响应的!




/******** [2004-05-26]16:43:56 ; Tan wrote:

Tan Lihui> 我可以给你关于我测试的数据,我在两台load
Tan Lihui> balance的pc服务器上做出来的,
Tan Lihui> 配置是:至强cpu 2.4G * 2,2G Registed DDR内存。80G Utral320 SCSI硬盘。
Tan Lihui> 我要支撑一个3000人同时在线,100万注册用户的社区。3000人同时在线,按照20%原则,大概并行访问有2-300人吧?我用apache的ab测试,-n 10000 -c 200只处理
Tan Lihui> 了前面400个请求,后面都挂住了,-c
Tan Lihui> 250的时候有几次甚至是立马就死了!我那个测试页面用db pool,
Tan Lihui> ptl,页面上取数据库里面的文章标题做论坛文章列表。数据库分别用过mysql和oracle817, 其中的myqsl我还用了prebuild的最优二进制包。Sql
Tan Lihui> statement调整到最简单的形式,没有join表,该做的索引全做了。

Tan Lihui> 这样的结果,你怎么解释?

Tan Lihui> 这个问题我会去讨教webfinance.gti.cn,我想,假如他们把zope做得真的快,我大胆猜测可能的情况是这样:
Tan Lihui> 1。他们完全摸透了zope,针对自己应用的特点,做了自己的特别优化。
Tan Lihui> 2。他们只用了zope的一部分,比如tpl,其他没用。zope还是有不少优秀的东西抽取出来用。

Tan Lihui> -----邮件原件-----
Tan Lihui> 发件人: python-chinese-bounces at lists.python.cn
Tan Lihui> [mailto:python-chinese-bounces at lists.python.cn] 代表 周海文
Tan Lihui> 发送时间: 2004年5月26日 15:42
Tan Lihui> 收件人: python-chinese at lists.python.cn
Tan Lihui> 主题: Re:
Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?

Tan Lihui> 你说zope的效率有问题,你可以看看
Tan Lihui> http://webfinance.gti.cn,这个网站目前的数据库容量已有13GB,是使用zope+python的组合,效率也不见差呀?

Tan Lihui> 关于效率,我认为 apache+mod_python 是python中最快的组合。

Tan Lihui> ----- Original Message ----- 
Tan Lihui> From: "Tan Lihui" <tony at exchange.ricsson.com>
Tan Lihui> To: <python-chinese at lists.python.cn>
Tan Lihui> Sent: Wednesday, May 26, 2004 2:40 PM
Tan Lihui> Subject: 答复:
Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?


Tan Lihui> 什么没有这个问题,这些都要自己考虑怎么去做的。

Tan Lihui> 除了zope,你说的medusa, twisted实际上面向的都不是做这些东西。
Tan Lihui> 也没有db pool。Zope有,但zope不适合做这个,zope比较适合做
Tan Lihui> 社区,它的效率有问题,这是我经过严格测试得出的结论。Mod_python更加
Tan Lihui> 不会有db pool。

Tan Lihui> 为什么不直接用webware呢?主要是webware的架构导致它不使用于高负载
Tan Lihui> 的站点,因为它是通过一个apache module跟后台的application server
Tan Lihui> 通过socket通讯。搜索引擎讲求效率,所以我个人认为,倒不如直接用mod_python,然后自己做或者参考抽取webware
Tan Lihui> for python的dbpool实现。而且mod_python最好
Tan Lihui> 是静态编译到apache里面,这样我敢保证是使用python的方案中最快的。

Tan Lihui> -----邮件原件-----
Tan Lihui> 发件人: python-chinese-bounces at lists.python.cn
Tan Lihui> [mailto:python-chinese-bounces at lists.python.cn] 代表 Jacob Fan
Tan Lihui> 发送时间: 2004年5月26日 14:21
Tan Lihui> 收件人: python-chinese at lists.python.cn
Tan Lihui> 主题: Re:
Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?

Tan Lihui> 你是用什么东东开发的?CGI?
Tan Lihui> 如果你是用那些基于Python的application server(zope ,twisted
Tan Lihui> etc),或者python自带的httpserver,或者medusa都不会存在这个问题。mod_python也应该没有这个问题。
Tan Lihui> ----- Original Message ----- 
Tan Lihui> From: "The UnderTaker" <undertaker at i-cable.com>
Tan Lihui> To: <python-chinese at lists.python.cn>
Tan Lihui> Sent: Wednesday, May 26, 2004 1:39 PM
Tan Lihui> Subject:
Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?


>> 我想做一个搜索引擎,是搜索Mysql数据库的,如果利用一次性连接,之后其他人浏览就可以不用开多个进程
>> 对Mysql的连接,直接用以有的连接进行SQL操作,不知道是否能实现,我之前想过用dde,不过好像要配搭
>> wxpython使用,而且用浏览器浏览会定死


Tan Lihui> --------------------------------------------------------------------------------


>> _______________________________________________
>> python-chinese list
>> python-chinese at lists.python.cn
>> http://python.cn/mailman/listinfo/python-chinese
>> 

Tan Lihui> _______________________________________________
Tan Lihui> python-chinese list
Tan Lihui> python-chinese at lists.python.cn
Tan Lihui> http://python.cn/mailman/listinfo/python-chinese
Tan Lihui> _______________________________________________
Tan Lihui> python-chinese list
Tan Lihui> python-chinese at lists.python.cn
Tan Lihui> http://python.cn/mailman/listinfo/python-chinese


********************************************/

-- 
Free as in Freedom

 Zoom.Quiet                           

#=========================================#
]Time is unimportant, only life important![
#=========================================#

sender is the Bat!2.02 CE



[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2004年05月26日 星期三 18:21

周海文 zhou.haiwen at gti.cn
Wed May 26 18:21:17 HKT 2004

webfinance.gti.cn的数据库是由一台服务器响应的,
这台服务器的配置如下:
2.4g至强 X 2CPU,2G内存的普通dell服务器(大概3万多元吧)

上面运行了两套webserver
一套就是webfinance.gti.cn, 使用zope + python构建

另一套就是webfinance.gti.cn:7000 使用apache + mod_python构建, 是一个WAP网站,要用手机或手机模拟器浏览。http://webfinance.gti.cn:7000

13G 的MS SQLserver数据库也运行在同一台机上。

另外还运行了一个比较耗费资源的通讯程序,负责将另外一台 13G 的MS SQLserver数据库上的数据增量通讯到这台服务器上的MS SQLserver数据库里。

另外webfinance.gti.cn还有不同的zope下的目录,负责多个网站,具体连接如下:
http://webfinance.gti.cn/bz
http://webfinance.gti.cn/gf
http://webfinance.gti.cn/cc
http://webfinance.gti.cn/ccs
http://webfinance.gti.cn/dotcom
http://webfinance.gti.cn/gti

这台服务器的负载应该是比较重的。

----- Original Message ----- 
From: "Zoom.Quiet" <zoomq at infopro.cn>
To: "Tan Lihui" <tony at exchange.ricsson.com>
Cc: <python-chinese at lists.python.cn>
Sent: Wednesday, May 26, 2004 4:46 PM
Subject: Re: 答复: [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?


> Hollo Tan:
> 
>   的确!外国人对于开源软件真的开源用法!
> 会根据具体情况进行完全定制!
> 不过 Zope 的效率有另外的标准方式来优化哪!?
> 
> 打开企业模式,Zope 可以极其方便的进行分布式运行!
> 就是Apache py_mod 组织成的系统,难以完成的任务?
> webfinance.gti.cn
> 的13Gb 数据,肯定不会是由一台服务器进行响应的!
> 
> 
> 
> 
> /******** [2004-05-26]16:43:56 ; Tan wrote:
> 
> Tan Lihui> 我可以给你关于我测试的数据,我在两台load
> Tan Lihui> balance的pc服务器上做出来的,
> Tan Lihui> 配置是:至强cpu 2.4G * 2,2G Registed DDR内存。80G Utral320 SCSI硬盘。
> Tan Lihui> 我要支撑一个3000人同时在线,100万注册用户的社区。3000人同时在线,按照20%原则,大概并行访问有2-300人吧?我用apache的ab测试,-n 10000 -c 200只处理
> Tan Lihui> 了前面400个请求,后面都挂住了,-c
> Tan Lihui> 250的时候有几次甚至是立马就死了!我那个测试页面用db pool,
> Tan Lihui> ptl,页面上取数据库里面的文章标题做论坛文章列表。数据库分别用过mysql和oracle817, 其中的myqsl我还用了prebuild的最优二进制包。Sql
> Tan Lihui> statement调整到最简单的形式,没有join表,该做的索引全做了。
> 
> Tan Lihui> 这样的结果,你怎么解释?
> 
> Tan Lihui> 这个问题我会去讨教webfinance.gti.cn,我想,假如他们把zope做得真的快,我大胆猜测可能的情况是这样:
> Tan Lihui> 1。他们完全摸透了zope,针对自己应用的特点,做了自己的特别优化。
> Tan Lihui> 2。他们只用了zope的一部分,比如tpl,其他没用。zope还是有不少优秀的东西抽取出来用。
> 
> Tan Lihui> -----邮件原件-----
> Tan Lihui> 发件人: python-chinese-bounces at lists.python.cn
> Tan Lihui> [mailto:python-chinese-bounces at lists.python.cn] 代表 周海文
> Tan Lihui> 发送时间: 2004年5月26日 15:42
> Tan Lihui> 收件人: python-chinese at lists.python.cn
> Tan Lihui> 主题: Re:
> Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?
> 
> Tan Lihui> 你说zope的效率有问题,你可以看看
> Tan Lihui> http://webfinance.gti.cn,这个网站目前的数据库容量已有13GB,是使用zope+python的组合,效率也不见差呀?
> 
> Tan Lihui> 关于效率,我认为 apache+mod_python 是python中最快的组合。
> 
> Tan Lihui> ----- Original Message ----- 
> Tan Lihui> From: "Tan Lihui" <tony at exchange.ricsson.com>
> Tan Lihui> To: <python-chinese at lists.python.cn>
> Tan Lihui> Sent: Wednesday, May 26, 2004 2:40 PM
> Tan Lihui> Subject: 答复:
> Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?
> 
> 
> Tan Lihui> 什么没有这个问题,这些都要自己考虑怎么去做的。
> 
> Tan Lihui> 除了zope,你说的medusa, twisted实际上面向的都不是做这些东西。
> Tan Lihui> 也没有db pool。Zope有,但zope不适合做这个,zope比较适合做
> Tan Lihui> 社区,它的效率有问题,这是我经过严格测试得出的结论。Mod_python更加
> Tan Lihui> 不会有db pool。
> 
> Tan Lihui> 为什么不直接用webware呢?主要是webware的架构导致它不使用于高负载
> Tan Lihui> 的站点,因为它是通过一个apache module跟后台的application server
> Tan Lihui> 通过socket通讯。搜索引擎讲求效率,所以我个人认为,倒不如直接用mod_python,然后自己做或者参考抽取webware
> Tan Lihui> for python的dbpool实现。而且mod_python最好
> Tan Lihui> 是静态编译到apache里面,这样我敢保证是使用python的方案中最快的。
> 
> Tan Lihui> -----邮件原件-----
> Tan Lihui> 发件人: python-chinese-bounces at lists.python.cn
> Tan Lihui> [mailto:python-chinese-bounces at lists.python.cn] 代表 Jacob Fan
> Tan Lihui> 发送时间: 2004年5月26日 14:21
> Tan Lihui> 收件人: python-chinese at lists.python.cn
> Tan Lihui> 主题: Re:
> Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?
> 
> Tan Lihui> 你是用什么东东开发的?CGI?
> Tan Lihui> 如果你是用那些基于Python的application server(zope ,twisted
> Tan Lihui> etc),或者python自带的httpserver,或者medusa都不会存在这个问题。mod_python也应该没有这个问题。
> Tan Lihui> ----- Original Message ----- 
> Tan Lihui> From: "The UnderTaker" <undertaker at i-cable.com>
> Tan Lihui> To: <python-chinese at lists.python.cn>
> Tan Lihui> Sent: Wednesday, May 26, 2004 1:39 PM
> Tan Lihui> Subject:
> Tan Lihui> [python-chinese]如何写一个用Web形式浏览一次,就能常住内存的程序?
> 
> 
> >> 我想做一个搜索引擎,是搜索Mysql数据库的,如果利用一次性连接,之后其他人浏览就可以不用开多个进程
> >> 对Mysql的连接,直接用以有的连接进行SQL操作,不知道是否能实现,我之前想过用dde,不过好像要配搭
> >> wxpython使用,而且用浏览器浏览会定死
> 
> 
> Tan Lihui> --------------------------------------------------------------------------------
> 
> 
> >> _______________________________________________
> >> python-chinese list
> >> python-chinese at lists.python.cn
> >> http://python.cn/mailman/listinfo/python-chinese
> >> 
> 
> Tan Lihui> _______________________________________________
> Tan Lihui> python-chinese list
> Tan Lihui> python-chinese at lists.python.cn
> Tan Lihui> http://python.cn/mailman/listinfo/python-chinese
> Tan Lihui> _______________________________________________
> Tan Lihui> python-chinese list
> Tan Lihui> python-chinese at lists.python.cn
> Tan Lihui> http://python.cn/mailman/listinfo/python-chinese
> 
> 
> ********************************************/
> 
> -- 
> Free as in Freedom
> 
>  Zoom.Quiet                           
> 
> #=========================================#
> ]Time is unimportant, only life important![
> #=========================================#
> 
> sender is the Bat!2.02 CE
> 
> _______________________________________________
> python-chinese list
> python-chinese at lists.python.cn
> http://python.cn/mailman/listinfo/python-chinese

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

如下红色区域有误,请重新填写。

    你的回复:

    请 登录 后回复。还没有在Zeuux哲思注册吗?现在 注册 !

    Zeuux © 2024

    京ICP备05028076号