现在我用MySQLdb处理百万条数据，每条数据在数据库中是20字节，在python就用了1GB多的内存。

我换成c++就变成了百兆左右。

有什么办法让python用的内存少一点啊？

谢了
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20080110/9115137b/attachment.html 

ÊDzåÈ뻹ÊDzéѯ°¡£¿

On Jan 10, 2008 10:11 AM, С³¿ <lichengiggs在gmail.com> wrote:

> ÏÖÔÚÎÒÓÃMySQLdb´¦Àí°ÙÍòÌõÊý¾Ý£¬Ã¿ÌõÊý¾ÝÔÚÊý¾Ý¿âÖÐÊÇ20×Ö½Ú£¬ÔÚpython¾ÍÓÃÁË1GB¶àµÄÄÚ´æ¡£
>
> ÎÒ»»³Éc++¾Í±ä³ÉÁË°ÙÕ××óÓÒ¡£
>
> ÓÐʲô°ì·¨ÈÃpythonÓõÄÄÚ´æÉÙÒ»µã°¡£¿
>
> лÁË
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20080110/59283a1d/attachment.htm 

ʲ÷á̎Àí£¿²åÈ룿¸ü¸Ä£¿„h³ý£¿²éԃ£¿ÄãÒªÕfÇå³þ̎Àíʲ÷á¡£¸ÐÓXÄãµÄ̎Àí·½·¨ÓІ–î}¡£ÎÒͬ˜Ó̎ÀíÉÏǧÈf¶¼Ö»ÐèÒªŽ×Ê®M¾Í¿ÉÒÔÁË¡£

On Jan 10, 2008 10:11 AM, С³¿ <lichengiggs在gmail.com> wrote:

> ÏÖÔÚÎÒÓÃMySQLdb´¦Àí°ÙÍòÌõÊý¾Ý£¬Ã¿ÌõÊý¾ÝÔÚÊý¾Ý¿âÖÐÊÇ20×Ö½Ú£¬ÔÚpython¾ÍÓÃÁË1GB¶àµÄÄÚ´æ¡£
>
> ÎÒ»»³Éc++¾Í±ä³ÉÁË°ÙÕ××óÓÒ¡£
>
> ÓÐʲô°ì·¨ÈÃpythonÓõÄÄÚ´æÉÙÒ»µã°¡£¿
>
> лÁË
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20080110/d143ec55/attachment.html 

从数据库select百万条记录a，b。用字典做类似d[a] = d[a]+b的操作
a是16字节的字符串，b是int。

内存占用过G了，麻烦大家，谢谢

在08-1-10，zuggie <zuggie.zhu在gmail.com> 写道：
>
> 什麽處理？插入？更改？刪除？查詢？你要說清楚處理什麽。感覺你的處理方法有問題。我同樣處理上千萬都只需要幾十M就可以了。
>
> On Jan 10, 2008 10:11 AM, 小晨 <lichengiggs在gmail.com> wrote:
>
> > 现在我用MySQLdb处理百万条数据，每条数据在数据库中是20字节，在python就用了1GB多的内存。
> >
> > 我换成c++就变成了百兆左右。
> >
> > 有什么办法让python用的内存少一点啊？
> >
> > 谢了
> >
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> >
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20080110/8c58b612/attachment.html 

On Jan 10, 2008 2:08 PM, 小晨 <lichengiggs在gmail.com> wrote:
> 从数据库select百万条记录a，b。用字典做类似d[a] = d[a]+b的操作
> a是16字节的字符串，b是int。
>
> 内存占用过G了，麻烦大家，谢谢
>


非得把所有数据都取出来运算吗？有没有可能用存储过程来处理？
或者一次只取一部分数据出来处理？

-- 
Best Regards,
Leo Jay

为什么一次要做这么大的数据量操作，不能分批操作吗？

-----邮件原件-----
发件人: python-chinese-bounces在lists.python.cn [mailto:python-chinese-bounces在lists.python.cn] 代表 Leo Jay
发送时间: 2008年1月10日 14:22
收件人: python-chinese在lists.python.cn
主题: Re: [python-chinese] MySQLdb内存使用的问题

On Jan 10, 2008 2:08 PM, 小晨 <lichengiggs在gmail.com> wrote:
> 从数据库select百万条记录a，b。用字典做类似d[a] = d[a]+b的操作
> a是16字节的字符串，b是int。
>
> 内存占用过G了，麻烦大家，谢谢
>


非得把所有数据都取出来运算吗？有没有可能用存储过程来处理？
或者一次只取一部分数据出来处理？

-- 
Best Regards,
Leo Jay
_______________________________________________
python-chinese
Post: send python-chinese在lists.python.cn
Subscribe: send subscribe to python-chinese-request在lists.python.cn
Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
Detail Info: http://python.cn/mailman/listinfo/python-chinese

使用的mysql是4.1版本的，没有存储过程。

机器的内存有8GB，内存是够用的。

以后表的内容会到千万甚至过亿，为了以后考虑希望能控制下内存。

各位大哥有什么好的建议呢？谢谢


在08-1-10，Leo Jay <python.leojay在gmail.com> 写道：
>
> On Jan 10, 2008 2:08 PM, 小晨 <lichengiggs在gmail.com> wrote:
> > 从数据库select百万条记录a，b。用字典做类似d[a] = d[a]+b的操作
> > a是16字节的字符串，b是int。
> >
> > 内存占用过G了，麻烦大家，谢谢
> >
>
>
> 非得把所有数据都取出来运算吗？有没有可能用存储过程来处理？
> 或者一次只取一部分数据出来处理？
>
> --
> Best Regards,
> Leo Jay
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20080110/00168792/attachment.htm 

On Jan 10, 2008 9:13 PM, 小晨 <lichengiggs在gmail.com> wrote:
> 使用的mysql是4.1版本的，没有存储过程。
>
> 机器的内存有8GB，内存是够用的。
>
> 以后表的内容会到千万甚至过亿，为了以后考虑希望能控制下内存。
>
> 各位大哥有什么好的建议呢？谢谢
>
>

那就一批一批的做吧。反正mysql有个limit。

其实。。。我心里想说的是，升级到5或是索性转到postgresql吧。没有sp，有的时候问题很大的。


-- 
Best Regards,
Leo Jay