要写一些相对比较复杂的shell语句处理log
首先对log进行过滤分成多个文件，
然后需要使用不同函数对log进行分析，并储存到数据库中。

不知道在python下怎么处理？
主要是一下几个问题，写下多个cmd，并把cmd产生的数据存储在相应的数据结构中。
并最终输出到数据库中

On 1/5/07, jetlin <jetlin在sohu-rd.com> wrote:
> 要写一些相对比较复杂的shell语句处理log
> 首先对log进行过滤分成多个文件，
> 然后需要使用不同函数对log进行分析，并储存到数据库中。
>
> 不知道在python下怎么处理？
> 主要是一下几个问题，写下多个cmd，并把cmd产生的数据存储在相应的数据结构中。
> 并最终输出到数据库中

先找找前人用来分析LOG的软件吧。首先要分析LOG的格式。我个人觉得不管是Shell还是Python，最关键的语句都是用 regular
express 解决的吧。如果用Shell就是 sed,
sed re_partent1 your.log > filtered_log1
sed re_partent2 your.log > filtered_log2
.
.
.
用Python就是  import re

如果你的需求不是太复杂，我想用shell就应该可以满足你的需求了吧，我用shell做过
日志分析的工作。


On 1/5/07, jetlin <jetlin在sohu-rd.com> wrote:
> 要写一些相对比较复杂的shell语句处理log
> 首先对log进行过滤分成多个文件，
> 然后需要使用不同函数对log进行分析，并储存到数据库中。
>
> 不知道在python下怎么处理？
> 主要是一下几个问题，写下多个cmd，并把cmd产生的数据存储在相应的数据结构中。
> 并最终输出到数据库中

先找找前人用来分析LOG的软件吧。首先要分析LOG的格式。我个人觉得不管是Shell还
是Python，最关键的语句都是用 regular
express 解决的吧。如果用Shell就是 sed,
sed re_partent1 your.log > filtered_log1
sed re_partent2 your.log > filtered_log2
.
.
.
用Python就是  import re
_______________________________________________
python-chinese
Post: send python-chinese在lists.python.cn
Subscribe: send subscribe to python-chinese-request在lists.python.cn
Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
Detail Info: http://python.cn/mailman/listinfo/python-chinese

相对来说是比较复杂的，大部分的每台服务器每日log都超过10G，整个处理速度要超过20分钟
公司大部分脚本都是用perl写的

最近在学习python，一直不知道如何用python来完成以上的工作。


-----邮件原件-----
发件人: python-chinese-bounces在lists.python.cn [mailto:python-chinese-bounces在lists.python.cn] 代表 eyetoheart
发送时间: 2007年1月5日 13:23
收件人: python-chinese在lists.python.cn
主题: [python-chinese] 答复: 在linux下如用使用调用shell进行处理log

如果你的需求不是太复杂，我想用shell就应该可以满足你的需求了吧，我用shell做过
日志分析的工作。


On 1/5/07, jetlin <jetlin在sohu-rd.com> wrote:
> 要写一些相对比较复杂的shell语句处理log
> 首先对log进行过滤分成多个文件，
> 然后需要使用不同函数对log进行分析，并储存到数据库中。
>
> 不知道在python下怎么处理？
> 主要是一下几个问题，写下多个cmd，并把cmd产生的数据存储在相应的数据结构中。
> 并最终输出到数据库中

先找找前人用来分析LOG的软件吧。首先要分析LOG的格式。我个人觉得不管是Shell还
是Python，最关键的语句都是用 regular
express 解决的吧。如果用Shell就是 sed,
sed re_partent1 your.log > filtered_log1
sed re_partent2 your.log > filtered_log2
.
.
.
用Python就是  import re
_______________________________________________
python-chinese
Post: send python-chinese在lists.python.cn
Subscribe: send subscribe to python-chinese-request在lists.python.cn
Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
Detail Info: http://python.cn/mailman/listinfo/python-chinese
_______________________________________________
python-chinese
Post: send python-chinese在lists.python.cn
Subscribe: send subscribe to python-chinese-request在lists.python.cn
Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
Detail Info: http://python.cn/mailman/listinfo/python-chinese

兄弟,用一些正规的email客户端吧,甚至gmail的web都很好,或者手动修改header, 你这样把线索都打断了.
一定要用现在的mail客户端,先把前面的 "答复:"   去掉,这样对所有在mail list的其他人都好.
谢谢.


2007/1/5, jetlin <jetlin在sohu-rd.com>:
>
> 相对来说是比较复杂的，大部分的每台服务器每日log都超过10G，整个处理速度要超过20分钟
> 公司大部分脚本都是用perl写的
>
> 最近在学习python，一直不知道如何用python来完成以上的工作。
>
>
> -----邮件原件-----
> 发件人: python-chinese-bounces在lists.python.cn [mailto:
> python-chinese-bounces在lists.python.cn] 代表 eyetoheart
> 发送时间: 2007年1月5日 13:23
> 收件人: python-chinese在lists.python.cn
> 主题: [python-chinese] 答复: 在linux下如用使用调用shell进行处理log
>
> 如果你的需求不是太复杂，我想用shell就应该可以满足你的需求了吧，我用shell做过
> 日志分析的工作。
>
>
> On 1/5/07, jetlin <jetlin在sohu-rd.com> wrote:
> > 要写一些相对比较复杂的shell语句处理log
> > 首先对log进行过滤分成多个文件，
> > 然后需要使用不同函数对log进行分析，并储存到数据库中。
> >
> > 不知道在python下怎么处理？
> > 主要是一下几个问题，写下多个cmd，并把cmd产生的数据存储在相应的数据结构中。
> > 并最终输出到数据库中
>
> 先找找前人用来分析LOG的软件吧。首先要分析LOG的格式。我个人觉得不管是Shell还
> 是Python，最关键的语句都是用 regular
> express 解决的吧。如果用Shell就是 sed,
> sed re_partent1 your.log > filtered_log1
> sed re_partent2 your.log > filtered_log2
> .
> .
> .
> 用Python就是  import re
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
-------------- 下一部分 --------------
一个HTML附件被移除...
URL: http://python.cn/pipermail/python-chinese/attachments/20070105/e2fee56f/attachment.htm