程序需要从数据库查询数据

每次大概返回几万条数据
需要用python对每条数据进行处理

和c比起来是不是很费时?

谢谢!!

On 1/30/07, 玄利磊 <kency在zctt.com.cn> wrote:
> 程序需要从数据库查询数据
>
> 每次大概返回几万条数据
> 需要用python对每条数据进行处理
>
我们的经验,4Tb 数据 7天迁移完,

每台服务器可以压210个进程不倒.....

> 和c比起来是不是很费时?
>
和C 不比执行! 比开发效率,两样任务的数据程序,

使用C来开发和调试,就算是执行效率比Py 高50%,但是浪费在调试上的时间要高出200%;
综合下来,还是py 合算


> 谢谢!!
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese


-- 
'''Time is unimportant, only life important!
http://zoomquiet.org
blog在http://blog.zoomquiet.org/pyblosxom/
wiki在http://wiki.woodpecker.org.cn/moin/ZoomQuiet
scrap在http://floss.zoomquiet.org
douban在http://www.douban.com/people/zoomq/
____________________________________
Pls. use OpenOffice.org to replace M$ Office.
     http://zh.openoffice.org
Pls. use 7-zip to replace WinRAR/WinZip.
     http://7-zip.org/zh-cn/
You can get the truely Freedom 4 software.
'''

On 1/30/07, 玄利磊 <kency at zctt.com.cn> wrote:
>
> 程序需要从数据库查询数据
>
> 每次大概返回几万条数据
> 需要用python对每条数据进行处理
>
> 和c比起来是不是很费时?
>
> 谢谢!!
>

单说内存中的运算的话，"几万个元素"并不是一个多大的量级。
问题是如果每次查询设计上万条数据，I/O 开销才是瓶颈吧，优化数据库访问才是最重要的。
-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://python.cn/pipermail/python-chinese/attachments/20070130/509e8c1c/attachment.html 

On 1/30/07, swordsp <sparas2006在gmail.com> wrote:
>
> On 1/30/07, 玄利磊 <kency在zctt.com.cn> wrote:
> > 程序需要从数据库查询数据
> >
> > 每次大概返回几万条数据
> > 需要用python对每条数据进行处理
> >
> > 和c比起来是不是很费时?
> >
> > 谢谢!!
> >
>
> 单说内存中的运算的话，"几万个元素"并不是一个多大的量级。
> 问题是如果每次查询设计上万条数据，I/O 开销才是瓶颈吧，优化数据库访问才是最重要的。
>

是啊，你的程序有问题吧，怎么会每次都要返回数万条数据的？


-- 
Best Regards,
Leo Jay

并不是所有时候都考虑开发效率的...

在某些应用场景中,效率不高根本就不能用...这时为了执行效率而牺牲开发效率是正常的.

所以, 楼主啊, 同样条件下python是一定没有C执行效率高, 至于能不能用...你最好在你的场景下测试一下.

2007/1/30, Zoom. Quiet <zoom.quiet at gmail.com>:
> On 1/30/07, 玄利磊 <kency at zctt.com.cn> wrote:
> > 程序需要从数据库查询数据
> >
> > 每次大概返回几万条数据
> > 需要用python对每条数据进行处理
> >
> 我们的经验,4Tb 数据 7天迁移完,
>
> 每台服务器可以压210个进程不倒.....
>
> > 和c比起来是不是很费时?
> >
> 和C 不比执行! 比开发效率,两样任务的数据程序,
>
> 使用C来开发和调试,就算是执行效率比Py 高50%,但是浪费在调试上的时间要高出200%;
> 综合下来,还是py 合算
>
>
> > 谢谢!!
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese at lists.python.cn
> > Subscribe: send subscribe to python-chinese-request at lists.python.cn
> > Unsubscribe: send unsubscribe to  python-chinese-request at lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
>
> --
> '''Time is unimportant, only life important!
> http://zoomquiet.org
> blog at http://blog.zoomquiet.org/pyblosxom/
> wiki at http://wiki.woodpecker.org.cn/moin/ZoomQuiet
> scrap at http://floss.zoomquiet.org
> douban at http://www.douban.com/people/zoomq/
> ____________________________________
> Pls. use OpenOffice.org to replace M$ Office.
>      http://zh.openoffice.org
> Pls. use 7-zip to replace WinRAR/WinZip.
>      http://7-zip.org/zh-cn/
> You can get the truely Freedom 4 software.
> '''
> _______________________________________________
> python-chinese
> Post: send python-chinese at lists.python.cn
> Subscribe: send subscribe to python-chinese-request at lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request at lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese


-- 
只要人间真情在, 何必在意路泥泞
时风日下,和谐需要靠暴力达到!!!

On 1/31/07, 东子 <hydonlee在gmail.com> wrote:
> 并不是所有时候都考虑开发效率的...
>
嗬嗬嗬,软件工程的一切智慧对抗的就是开发资源和有限时间的矛盾,
不考虑开发/维护效率的工程都是必死的工程,

包括一些国内的开发商,都使用Python 先进行原型开发,快速完成功能,客户认可后,
再使用各种工具或是组合使用C组件来替换执行效率瓶颈处的代码，

从而整体上达到开发和运行的效率均衡…………

> 在某些应用场景中,效率不高根本就不能用...这时为了执行效率而牺牲开发效率是正常的.
>
是也乎，这也是C／汇编 长久存在的主要理由，为了执行效率而牺牲开发效率在任何时代都是没有竞争力的，
所以，Python 从诞生开始就致力于良好的同其它语言协作，
PyRex 等等自动生成C 代码的工具，不断的被组建，就是为了让C和Python 都作自个儿擅长的事儿

> 所以, 楼主啊, 同样条件下python是一定没有C执行效率高, 至于能不能用...你最好在你的场景下测试一下.
>
所以，我们一向不给自个儿设置相同的条件给没有可比性的技术框架，

测试的代价，有时比开发的代价还要高，时间不允许时，一般也只能听从直觉了，
嗬嗬嗬…………

> 2007/1/30, Zoom. Quiet <zoom.quiet在gmail.com>:
> > On 1/30/07, 玄利磊 <kency在zctt.com.cn> wrote:
> > > 程序需要从数据库查询数据
> > >
> > > 每次大概返回几万条数据
> > > 需要用python对每条数据进行处理
> > >
> > 我们的经验,4Tb 数据 7天迁移完,
> >
> > 每台服务器可以压210个进程不倒.....
> >
> > > 和c比起来是不是很费时?
> > >
> > 和C 不比执行! 比开发效率,两样任务的数据程序,
> >
> > 使用C来开发和调试,就算是执行效率比Py 高50%,但是浪费在调试上的时间要高出200%;
> > 综合下来,还是py 合算
> >
> >
> > > 谢谢!!
> > > _______________________________________________
> > > python-chinese
> > > Post: send python-chinese在lists.python.cn
> > > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > > Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> > > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> >
> >
> > --
> > '''Time is unimportant, only life important!
> > http://zoomquiet.org
> > blog在http://blog.zoomquiet.org/pyblosxom/
> > wiki在http://wiki.woodpecker.org.cn/moin/ZoomQuiet
> > scrap在http://floss.zoomquiet.org
> > douban在http://www.douban.com/people/zoomq/
> > ____________________________________
> > Pls. use OpenOffice.org to replace M$ Office.
> >      http://zh.openoffice.org
> > Pls. use 7-zip to replace WinRAR/WinZip.
> >      http://7-zip.org/zh-cn/
> > You can get the truely Freedom 4 software.
> > '''
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
>
> --
> 只要人间真情在, 何必在意路泥泞
> 时风日下,和谐需要靠暴力达到!!!
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese


-- 
'''Time is unimportant, only life important!
http://zoomquiet.org
blog在http://blog.zoomquiet.org/pyblosxom/
wiki在http://wiki.woodpecker.org.cn/moin/ZoomQuiet
scrap在http://floss.zoomquiet.org
douban在http://www.douban.com/people/zoomq/
____________________________________
Pls. use OpenOffice.org to replace M$ Office.
     http://zh.openoffice.org
Pls. use 7-zip to replace WinRAR/WinZip.
     http://7-zip.org/zh-cn/
You can get the truely Freedom 4 software.
'''

On 1/31/07, Zoom. Quiet <zoom.quiet在gmail.com> wrote:
>
> On 1/31/07, 东子 <hydonlee在gmail.com> wrote:
> > 并不是所有时候都考虑开发效率的...
> >
> 嗬嗬嗬,软件工程的一切智慧对抗的就是开发资源和有限时间的矛盾,
> 不考虑开发/维护效率的工程都是必死的工程,
>
>
先用你最熟悉的语言，快速的做一个简单的原型出来测试一下性能吧。
在这之前讨论的再深入都没用。

Premature optimization is the root of all evil.

-- 
simple is good
http://brucewang.net
skype: number5
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070131/ba4698c2/attachment.htm 

在时间进度中，顺序限制所造成的影响，没有哪个部分比单元调试和系统测试所受到的牵涉更彻底。而且，要求的时间依赖于所遇到的错误、缺陷数量以及捕捉它们的程度。理论上，缺陷的数量应该为零。但是，由于我们的乐观主义，通常实际出现的缺陷数量比预料的要多得多。因此，系统测试进度的安排常常是编程中最不合理的部分。
对于软件任务的进度安排，以下是我使用了很多年的经验法则：
1/3计划
1/6编码
1/4构件测试和早期系统测试
1/4系统测试，所有的构件已完成

                                                                    ————人月神话
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070131/6da27436/attachment.html 

先make it work，再考虑make it fast的问题

On 1/31/07, 刘星 <liuxing at nanjing-fnst.com> wrote:
>
>
> 在时间进度中，顺序限制所造成的影响，没有哪个部分比单元调试和系统测试所受到的牵涉更彻底。而且，要求的时间依赖于所遇到的错误、缺陷数量以及捕捉它们的程度。理论上，缺陷的数量应该为零。但是，由于我们的乐观主义，通常实际出现的缺陷数量比预料的要多得多。因此，系统测试进度的安排常常是编程中最不合理的部分。
> 对于软件任务的进度安排，以下是我使用了很多年的经验法则：
> 1/3计划
> 1/6编码
> 1/4构件测试和早期系统测试
> 1/4系统测试，所有的构件已完成
>
>                                                                     ————人月神话
> _______________________________________________
> python-chinese
> Post: send python-chinese at lists.python.cn
> Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
>


-- 
Any complex technology which doesn't come with documentation must be the best
available.

讲得好啊

On 1/31/07, 刘星 <liuxing at nanjing-fnst.com> wrote:
>
>
> 在时间进度中，顺序限制所造成的影响，没有哪个部分比单元调试和系统测试所受到的牵涉更彻底。而且，要求的时间依赖于所遇到的错误、缺陷数量以及捕捉它们的程度。理论上，缺陷的数量应该为零。但是，由于我们的乐观主义，通常实际出现的缺陷数量比预料的要多得多。因此，系统测试进度的安排常常是编程中最不合理的部分。
> 对于软件任务的进度安排，以下是我使用了很多年的经验法则：
> 1/3计划
> 1/6编码
> 1/4构件测试和早期系统测试
> 1/4系统测试，所有的构件已完成
>
>
> ――――人月神话
>
> _______________________________________________
> python-chinese
> Post: send python-chinese at lists.python.cn
> Subscribe: send subscribe to python-chinese-request at lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request at lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>



-- 
------======Nerazzurri======------
-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://python.cn/pipermail/python-chinese/attachments/20070131/0a238214/attachment.html 

玄利磊 写道:
> 程序需要从数据库查询数据
>
> 每次大概返回几万条数据
> 需要用python对每条数据进行处理
>
> 和c比起来是不是很费时?
>
> 谢谢!!

应该没问题，我所在单位（一家银行）的MIS系统的数据检查、维护是我用python 
做的，
速度方面还是可以满意。

ps：本人学python还不到一年，算新手