2007年12月05日 星期三 08:25
ÎÒÓÃpythonÁËÒ»²»égàß\ÐеijÌʽ£¬Ö÷Òª¹¦ÄÜÊÇÿ10·ÖçĵþìAÖЫ@µÃµþ£¬È»áá°ÑµþÈëµ½µþìBÖУ¬µþìAéSQL SERVER 2000£¬µþìBéSQL SERVER 2005£¬Ê¹ÓÃpymssqlßB½Ó²Ù×÷µþ졣ÿ´ÎĵþìAµÃµ½µÄµþ´ó¼sÔÚ2000ÐÐ×óÓÒ£¬µ«ÊÇÔÚÈëµ½µþìBr£¬³£³£þ³ö¬F2000ÐÐÙYÁÏ£¬Ö»È벿·Öµþ£¬±ÈÈç1998ÐУ¬ßÓÐ2ÐÐ]ÄÜßM£¬µ«ÊdzÌʽҲ]ÓаlÉúåeÕ`£¬Õ´ó¼ÒÔÚÌÀíß@ӵĵþr¶¼Ôõ÷á²Ù×÷µÄ£¿ -------------- 下一部分 -------------- Ò»¸öHTML¸½¼þ±»ÒƳý... URL: http://python.cn/pipermail/python-chinese/attachments/20071205/5c7e24df/attachment.html
2007年12月05日 星期三 08:29
sqlserver应该可以直接操作,不用python的 On Dec 5, 2007 11:25 AM, zuggie <zuggie.zhu at gmail.com> wrote: > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL SERVER > 2000,數據庫B為SQL SERVER > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > _______________________________________________ > python-chinese > Post: send python-chinese at lists.python.cn > Subscribe: send subscribe to python-chinese-request at lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request at lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese > -- Any complex technology which doesn't come with documentation must be the best available.
2007年12月05日 星期三 08:32
把批量读取、写入做成存储过程,完成后提交事务。 这样应该不会丢失了吧 在 07-12-5,zuggie<zuggie.zhu在gmail.com> 写道: > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL > SERVER 2000,數據庫B為SQL SERVER > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to > python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to > python-chinese-request在lists.python.cn > Detail Info: > http://python.cn/mailman/listinfo/python-chinese > -- -- 苍天已死,黄巾当立。岁在甲子,天下大吉。 开源传万世,因有我参与
2007年12月05日 星期三 08:35
ÄãµÄÒâ˼ÊÇÔÚsqlserverÖн¨Á¢job£¿µþìAÅcµþìBÔÚ²»Í¬µÄ·þÕÆ÷ÉÏ£¬ºÃÏñþ±ÈÝ^Âé©¡£ On Dec 5, 2007 8:29 AM, xxmplus <xxmplus在gmail.com> wrote: > sqlserverÓ¦¸Ã¿ÉÒÔÖ±½Ó²Ù×÷£¬²»ÓÃpythonµÄ > > On Dec 5, 2007 11:25 AM, zuggie <zuggie.zhu在gmail.com> wrote: > > ÎÒÓÃpythonÁËÒ»²»égàß\ÐеijÌʽ£¬Ö÷Òª¹¦ÄÜÊÇÿ10·ÖçĵþìAÖЫ@µÃµþ£¬È»áá°ÑµþÈëµ½µþìBÖУ¬µþìAéSQL SERVER > > 2000£¬µþìBéSQL SERVER > > > 2005£¬Ê¹ÓÃpymssqlßB½Ó²Ù×÷µþ졣ÿ´ÎĵþìAµÃµ½µÄµþ´ó¼sÔÚ2000ÐÐ×óÓÒ£¬µ«ÊÇÔÚÈëµ½µþìBr£¬³£³£þ³ö¬F2000ÐÐÙYÁÏ£¬Ö»È벿·Öµþ£¬±ÈÈç1998ÐУ¬ßÓÐ2ÐÐ]ÄÜßM£¬µ«ÊdzÌʽҲ]ÓаlÉúåeÕ`£¬Õ´ó¼ÒÔÚÌÀíß@ӵĵþr¶¼Ôõ÷á²Ù×÷µÄ£¿ > > _______________________________________________ > > python-chinese > > Post: send python-chinese在lists.python.cn > > Subscribe: send subscribe to python-chinese-request在lists.python.cn > > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > > Detail Info: http://python.cn/mailman/listinfo/python-chinese > > > > > > -- > Any complex technology which doesn't come with documentation must be the > best > available. > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese -------------- 下一部分 -------------- Ò»¸öHTML¸½¼þ±»ÒƳý... URL: http://python.cn/pipermail/python-chinese/attachments/20071205/d90f045e/attachment.html
2007年12月05日 星期三 08:37
àÅ£¬µþµÄ×xÈ¡ÊÇ´æ¦ß^³Ì£¬µ«ÊÇÈëµÄÔ£¬´æ¦ß^³Ì²»ºÏßm£¬ËùÒÔÓóÌʽÔÚÒ»ÐÐÒ»Ðеġ£ On Dec 5, 2007 8:32 AM, Ïþµ¤ËÕ <suxiaodan在gmail.com> wrote: > °ÑÅúÁ¿¶ÁÈ¡¡¢Ð´Èë×ö³É´æ´¢¹ý³Ì£¬Íê³ÉºóÌá½»ÊÂÎñ¡£ > > ÕâÑùÓ¦¸Ã²»»á¶ªÊ§ÁË°É > > ÔÚ 07-12-5£¬zuggie<zuggie.zhu在gmail.com> дµÀ£º > > ÎÒÓÃpythonÁËÒ»²»égàß\ÐеijÌʽ£¬Ö÷Òª¹¦ÄÜÊÇÿ10·ÖçĵþìAÖЫ@µÃµþ£¬È»áá°ÑµþÈëµ½µþìBÖУ¬µþìAéSQL > > SERVER 2000£¬µþìBéSQL SERVER > > > 2005£¬Ê¹ÓÃpymssqlßB½Ó²Ù×÷µþ졣ÿ´ÎĵþìAµÃµ½µÄµþ´ó¼sÔÚ2000ÐÐ×óÓÒ£¬µ«ÊÇÔÚÈëµ½µþìBr£¬³£³£þ³ö¬F2000ÐÐÙYÁÏ£¬Ö»È벿·Öµþ£¬±ÈÈç1998ÐУ¬ßÓÐ2ÐÐ]ÄÜßM£¬µ«ÊdzÌʽҲ]ÓаlÉúåeÕ`£¬Õ´ó¼ÒÔÚÌÀíß@ӵĵþr¶¼Ôõ÷á²Ù×÷µÄ£¿ > > _______________________________________________ > > python-chinese > > Post: send python-chinese在lists.python.cn > > Subscribe: send subscribe to > > python-chinese-request在lists.python.cn > > Unsubscribe: send unsubscribe to > > python-chinese-request在lists.python.cn > > Detail Info: > > http://python.cn/mailman/listinfo/python-chinese > > > > > -- > -- > ²ÔÌìÒÑËÀ£¬»Æ½íµ±Á¢¡£ËêÔÚ¼××Ó£¬ÌìÏ´󼪡£ > ¿ªÔ´´«ÍòÊÀ£¬ÒòÓÐÎÒ²ÎÓë > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese > -------------- 下一部分 -------------- Ò»¸öHTML¸½¼þ±»ÒƳý... URL: http://python.cn/pipermail/python-chinese/attachments/20071205/0c0c6101/attachment.htm
2007年12月05日 星期三 08:48
恩?为什么不合适阿? On Dec 5, 2007 11:37 AM, zuggie <zuggie.zhu at gmail.com> wrote: > 嗯,數據的讀取是存儲過程,但是寫入的話,寫存儲過程不合適,所以用程式在一行一行的寫。 > > > On Dec 5, 2007 8:32 AM, 晓丹苏 <suxiaodan at gmail.com> wrote: > > > 把批量读取、写入做成存储过程,完成后提交事务。 > > > > 这样应该不会丢失了吧 > > > > 在 07-12-5,zuggie< zuggie.zhu at gmail.com> 写道: > > > > > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL > > > SERVER 2000,數據庫B為SQL SERVER > > > > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > > > > > _______________________________________________ > > > python-chinese > > > Post: send python-chinese at lists.python.cn > > > Subscribe: send subscribe to > > > python-chinese-request at lists.python.cn > > > Unsubscribe: send unsubscribe to > > > python-chinese-request at lists.python.cn > > > Detail Info: > > > http://python.cn/mailman/listinfo/python-chinese > > > > > > > > > -- > > -- > > 苍天已死,黄巾当立。岁在甲子,天下大吉。 > > 开源传万世,因有我参与 > > > > > > > > _______________________________________________ > > python-chinese > > Post: send python-chinese at lists.python.cn > > Subscribe: send subscribe to python-chinese-request at lists.python.cn > > Unsubscribe: send unsubscribe to python-chinese-request at lists.python.cn > > Detail Info: http://python.cn/mailman/listinfo/python-chinese > > > _______________________________________________ > python-chinese > Post: send python-chinese at lists.python.cn > Subscribe: send subscribe to python-chinese-request at lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request at lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese > -- Any complex technology which doesn't come with documentation must be the best available.
2007年12月05日 星期三 08:54
写入用存储过程为何不合适? 大概是是机器性能的缘故吧,试一下一个不是办法的办法,写1000行提交一下事务,延迟一会儿再写1000行…… 呵呵 2007/12/5, xxmplus <xxmplus在gmail.com>: > 恩?为什么不合适阿? > > On Dec 5, 2007 11:37 AM, zuggie <zuggie.zhu在gmail.com> wrote: > > 嗯,數據的讀取是存儲過程,但是寫入的話,寫存儲過程不合適,所以用程式在一行一行的寫。 > > > > > > On Dec 5, 2007 8:32 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > > > > > 把批量读取、写入做成存储过程,完成后提交事务。 > > > > > > 这样应该不会丢失了吧 > > > > > > 在 07-12-5,zuggie< zuggie.zhu在gmail.com> 写道: > > > > > > > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL > > > > SERVER 2000,數據庫B為SQL SERVER > > > > > > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > > > > > > > _______________________________________________ > > > > python-chinese > > > > Post: send python-chinese在lists.python.cn > > > > Subscribe: send subscribe to > > > > python-chinese-request在lists.python.cn > > > > Unsubscribe: send unsubscribe to > > > > python-chinese-request在lists.python.cn > > > > Detail Info: > > > > http://python.cn/mailman/listinfo/python-chinese > > > > > > > > > > > > > -- > > > -- > > > 苍天已死,黄巾当立。岁在甲子,天下大吉。 > > > 开源传万世,因有我参与 > > > > > > > > > > > > _______________________________________________ > > > python-chinese > > > Post: send python-chinese在lists.python.cn > > > Subscribe: send subscribe to python-chinese-request在lists.python.cn > > > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > > > Detail Info: http://python.cn/mailman/listinfo/python-chinese > > > > > > _______________________________________________ > > python-chinese > > Post: send python-chinese在lists.python.cn > > Subscribe: send subscribe to python-chinese-request在lists.python.cn > > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > > Detail Info: http://python.cn/mailman/listinfo/python-chinese > > > > > > -- > Any complex technology which doesn't come with documentation must be the best > available. > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese -- -- 苍天已死,黄巾当立。岁在甲子,天下大吉。 开源传万世,因有我参与
2007年12月05日 星期三 09:07
ÔÚsqlserver2005Öн¨Á¢ÁËÒ»link server£¬ÎÒÔòÒ»ÏÂÔÚ2005ÖÐjobµÄ·½·¨ Äãß@ÑeÕfµÄ1000ÐÐÌá½»Ò»´ÎÊÂÕ£¬ß@1000ÐÐÏÈÊäµ½Äĺ£ºÄÚ´æßÊÇÒ»´óµÄsqlÕZ¾äÖУ¿Ã¿ÎªµÄsqlÕZ¾ä¹ÀÓ×Ö·ûÔÚ500×óÓÒ¡£ On Dec 5, 2007 8:54 AM, Ïþµ¤ËÕ <suxiaodan在gmail.com> wrote: > дÈëÓô洢¹ý³ÌΪºÎ²»ºÏÊÊ£¿ > > ´ó¸ÅÊÇÊÇ»úÆ÷ÐÔÄܵÄÔµ¹Ê°É£¬ÊÔÒ»ÏÂÒ»¸ö²»ÊÇ°ì·¨µÄ°ì·¨£¬Ð´1000ÐÐÌá½»Ò»ÏÂÊÂÎñ£¬ÑÓ³ÙÒ»»á¶ùÔÙд1000ÐС¡ > > ºÇºÇ > > 2007/12/5, xxmplus <xxmplus在gmail.com>: > > ¶÷£¿ÎªÊ²Ã´²»ºÏÊÊ°¢£¿ > > > > On Dec 5, 2007 11:37 AM, zuggie <zuggie.zhu在gmail.com> wrote: > > > àÅ£¬µþµÄ×xÈ¡ÊÇ´æ¦ß^³Ì£¬µ«ÊÇÈëµÄÔ£¬´æ¦ß^³Ì²»ºÏßm£¬ËùÒÔÓóÌʽÔÚÒ»ÐÐÒ»Ðеġ£ > > > > > > > > > On Dec 5, 2007 8:32 AM, Ïþµ¤ËÕ <suxiaodan在gmail.com> wrote: > > > > > > > °ÑÅúÁ¿¶ÁÈ¡¡¢Ð´Èë×ö³É´æ´¢¹ý³Ì£¬Íê³ÉºóÌá½»ÊÂÎñ¡£ > > > > > > > > ÕâÑùÓ¦¸Ã²»»á¶ªÊ§ÁË°É > > > > > > > > ÔÚ 07-12-5£¬zuggie< zuggie.zhu在gmail.com> дµÀ£º > > > > > > > > > ÎÒÓÃpythonÁËÒ»²»égàß\ÐеijÌʽ£¬Ö÷Òª¹¦ÄÜÊÇÿ10·ÖçĵþìAÖЫ@µÃµþ£¬È»áá°ÑµþÈëµ½µþìBÖУ¬µþìAéSQL > > > > > SERVER 2000£¬µþìBéSQL SERVER > > > > > > > > > 2005£¬Ê¹ÓÃpymssqlßB½Ó²Ù×÷µþ졣ÿ´ÎĵþìAµÃµ½µÄµþ´ó¼sÔÚ2000ÐÐ×óÓÒ£¬µ«ÊÇÔÚÈëµ½µþìBr£¬³£³£þ³ö¬F2000ÐÐÙYÁÏ£¬Ö»È벿·Öµþ£¬±ÈÈç1998ÐУ¬ßÓÐ2ÐÐ]ÄÜßM£¬µ«ÊdzÌʽҲ]ÓаlÉúåeÕ`£¬Õ´ó¼ÒÔÚÌÀíß@ӵĵþr¶¼Ôõ÷á²Ù×÷µÄ£¿ > > > > > -------------- 下一部分 -------------- Ò»¸öHTML¸½¼þ±»ÒƳý... URL: http://python.cn/pipermail/python-chinese/attachments/20071205/07d056c3/attachment.htm
2007年12月05日 星期三 09:13
先1000行 insert 然后commit~~~ 只是一个测试的办法 在 07-12-5,zuggie<zuggie.zhu在gmail.com> 写道: > 在sqlserver2005中建立了一個link server,我試驗一下在2005中寫job的方法 > 你這裡說的寫1000行提交一次事務,這1000行先準備寫到哪兒:内存還是一個大的sql語句中?每個單獨的sql語句估計字符在500左右。 > > > On Dec 5, 2007 8:54 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > > 写入用存储过程为何不合适? > > > > 大概是是机器性能的缘故吧,试一下一个不是办法的办法,写1000行提交一下事务,延迟一会儿再写1000行…… > > > > 呵呵 > > > > 2007/12/5, xxmplus < xxmplus在gmail.com>: > > > > > > > > > 恩?为什么不合适阿? > > > > > > On Dec 5, 2007 11:37 AM, zuggie <zuggie.zhu在gmail.com> wrote: > > > > 嗯,數據的讀取是存儲過程,但是寫入的話,寫存儲過程不合適,所以用程式在一行一行的寫。 > > > > > > > > > > > > On Dec 5, 2007 8:32 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > > > > > > > > > 把批量读取、写入做成存储过程,完成后提交事务。 > > > > > > > > > > 这样应该不会丢失了吧 > > > > > > > > > > 在 07-12-5,zuggie< zuggie.zhu在gmail.com> 写道: > > > > > > > > > > > > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL > > > > > > SERVER 2000,數據庫B為SQL SERVER > > > > > > > > > > > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > > > > > > > > > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to > python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to > python-chinese-request在lists.python.cn > Detail Info: > http://python.cn/mailman/listinfo/python-chinese > -- -- 苍天已死,黄巾当立。岁在甲子,天下大吉。 开源传万世,因有我参与
2007年12月06日 星期四 16:27
如果你愿意的话,可以使用Kettle,调用一个job. job会每隔10分钟执行一次。 Kettle 是Pentaho 系统中的一个ETL工具。 虽然有点麻烦,但不至于出现什么问题。 On Dec 5, 2007 9:13 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > 先1000行 insert > > 然后commit~~~ > > 只是一个测试的办法 > > 在 07-12-5,zuggie<zuggie.zhu在gmail.com> 写道: > > 在sqlserver2005中建立了一個link server,我試驗一下在2005中寫job的方法 > > 你這裡說的寫1000行提交一次事務,這1000行先準備寫到哪兒:内存還是一個大的sql語句中?每個單獨的sql語句估計字符在500左右。 > > > > > > On Dec 5, 2007 8:54 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > > > 写入用存储过程为何不合适? > > > > > > 大概是是机器性能的缘故吧,试一下一个不是办法的办法,写1000行提交一下事务,延迟一会儿再写1000行…… > > > > > > 呵呵 > > > > > > 2007/12/5, xxmplus < xxmplus在gmail.com>: > > > > > > > > > > > > > 恩?为什么不合适阿? > > > > > > > > On Dec 5, 2007 11:37 AM, zuggie <zuggie.zhu在gmail.com> wrote: > > > > > 嗯,數據的讀取是存儲過程,但是寫入的話,寫存儲過程不合適,所以用程式在一行一行的寫。 > > > > > > > > > > > > > > > On Dec 5, 2007 8:32 AM, 晓丹苏 <suxiaodan在gmail.com> wrote: > > > > > > > > > > > 把批量读取、写入做成存储过程,完成后提交事务。 > > > > > > > > > > > > 这样应该不会丢失了吧 > > > > > > > > > > > > 在 07-12-5,zuggie< zuggie.zhu在gmail.com> 写道: > > > > > > > > > > > > > > > 我用python寫了一個不間斷運行的程式,主要功能是每10分鐘從數據庫A中獲得數據,然後把數據寫入到數據庫B中,數據庫A為SQL > > > > > > > SERVER 2000,數據庫B為SQL SERVER > > > > > > > > > > > > > > > 2005,使用pymssql連接操作數據庫。每次從數據庫A得到的數據大約在2000行左右,但是在寫入到數據庫B時,常常會出現2000行資料,只寫入部分數據,比如1998行,還有2行沒能寫進,但是程式也沒有發生錯誤,請問大家在處理這樣的數據時都怎麽操作的? > > > > > > > > > > > > > _______________________________________________ > > python-chinese > > Post: send python-chinese在lists.python.cn > > Subscribe: send subscribe to > > python-chinese-request在lists.python.cn > > Unsubscribe: send unsubscribe to > > python-chinese-request在lists.python.cn > > Detail Info: > > http://python.cn/mailman/listinfo/python-chinese > > > > > -- > -- > 苍天已死,黄巾当立。岁在甲子,天下大吉。 > 开源传万世,因有我参与 > _______________________________________________ > python-chinese > Post: send python-chinese在lists.python.cn > Subscribe: send subscribe to python-chinese-request在lists.python.cn > Unsubscribe: send unsubscribe to python-chinese-request在lists.python.cn > Detail Info: http://python.cn/mailman/listinfo/python-chinese > -- Samuel Wu -------------- 下一部分 -------------- 一个HTML附件被移除... URL: http://python.cn/pipermail/python-chinese/attachments/20071206/51101da1/attachment-0001.html
Zeuux © 2024
京ICP备05028076号