我的程序就是个数据的统计分析平台

前端机搜集数据 而通过平台查询出初始的数据
再根据一些条件 对数据进行合并等处理


>Message: 5
>Date: Tue, 30 Jan 2007 17:50:55 +0800
>From: "Leo Jay" <python.leojay在gmail.com>
>Subject: Re: [python-chinese] python 处理海量数据的能力如何
>To: python-chinese在lists.python.cn
>Message-ID:
>	<4e307e0f0701300150h53e9f6acsdca8974d6b36d243在mail.gmail.com>
>Content-Type: text/plain; charset=GB2312; format=flowed
>
>On 1/30/07, swordsp <sparas2006在gmail.com> wrote:
>>
>> On 1/30/07, 玄利磊 <kency在zctt.com.cn> wrote:
>> > 程序需要从数据库查询数据
>> >
>> > 每次大概返回几万条数据
>> > 需要用python对每条数据进行处理
>> >
>> > 和c比起来是不是很费时?
>> >
>> > 谢谢!!
>> >
>>
>> 单说内存中的运算的话，"几万个元素"并不是一个多大的量级。
>> 问题是如果每次查询设计上万条数据，I/O 开销才是瓶颈吧，优化数据库访问才是最重要的。
>>
>
>是啊，你的程序有问题吧，怎么会每次都要返回数万条数据的？
>
>
>-- 
>Best Regards,
>Leo Jay
>

On 1/31/07, 玄利磊 <kency at zctt.com.cn> wrote:
> 我的程序就是个数据的统计分析平台
>
> 前端机搜集数据 而通过平台查询出初始的数据
> 再根据一些条件 对数据进行合并等处理
>
>

是否可以考虑使用存储过程把一部分计算交给数据库服务器来做。

-- 
GoogleTalk: qcxhome at gmail.com
MSN: qcxhome at hotmail.com
My Space: tkdchen.spaces.live.com
BOINC: boinc.berkeley.edu
中国分布式计算总站: www.equn.com