李落

李落的博客

他的个人主页  他的博客

转:配置Nginx+uwsgi更方便地部署python应用

李落  2010年10月20日 星期三 19:41 | 2368次浏览 | 0条评论

个人觉得php最方便的就是deployment了,只要把php文件丢到支持php的路径里面,然后访问那个路径就能使用了;无论给主机添加多少php应用,只要把目录改好就没你的事了,完全不用关心php-cgi运行得如何,deployment极为方便。

反观python,部属起来真是头痛,常见的部署方法有:

  1. fcgi :用spawn-fcgi或者框架自带的工具对各个project分别生成监听进程,然后和http服务互动
  2. wsgi :利用http服务的mod_wsgi模块来跑各个project

无论哪种都很麻烦,apache的mod_wsgi配置起来很麻烦,内存占用还大,如果要加上nginx作为静态页面的服务器那就更麻烦了;反正我的应用基本上到后来都是是各个project各自为战,且不说管理上的混乱,这样对负载也是不利的,空闲的project和繁忙的project同样需要占用内存,很容易出现站着茅坑不拉屎的现象。

如果有个啥东东能像php-cgi一样监听同一端口,进行统一管理和负载平衡,那真是能省下大量的部署功夫。偶然看到了 uWSGI ,才发现居然一直不知道有那么方便地统一部署工具。

uWSGI,既不用wsgi协议也不用fcgi协议,而是自创了一个uwsgi的协议,据说 该协议大约是fcgi协议的10倍那么快 ,有个比较见下图

uWSGI的主要特点如下,其中一些功能让我感动得泪流满面

  1. 超快的性能
  2. 低内存占用(实测为apache2的mod_wsgi的一半左右)
  3. 多app管理(终于不用冥思苦想下个app用哪个端口比较好了-.-)
  4. 详尽的日志功能(可以用来分析app性能和瓶颈)
  5. 高度可定制(内存大小限制,服务一定次数后重启等)

总而言之uwgi是个部署用的好东东,正如uWSGI作者所吹嘘的:

If you are searching for a simple wsgi-only server, uWSGI is not for you, but if you are building a real (production-ready) app that need to be rock-solid, fast and easy to distribute/optimize for various load-average, you will pathetically and morbidly fall in love (we hope) with uWSGI.

正式开工

uwsgi的文档虽然蛮多也很详细,但是他们网站的排版真是让人无语,粗粗看上去根本不知道文档在哪里。其实是在这里: http://projects.unbit.it/uwsgi/wiki/Doc

0.安装uwsgi

ubuntu有uwsgi的ppa

add-apt-repository ppa:stevecrozz/ppa

apt-get update

apt-get install uwsgi

1. uwsgi 代替 mod_wsgi

nginx 的整体配置说来话长,我也不再罗嗦了,假设已经明白 nginx 的基本配置,那么 uwsgi 就类似这么配置:

location / {

  include uwsgi_params

  uwsgi_pass 127.0.0.1:9090

}

这就是把所有 url 传给 9090 端口的 uwsgi 协议程序来互动。

再到 project 目录建立 myapp.py ,使得 application 调用框架的 wsgi 接口,比如 web.py 就是

......

app = web.application(urls, globals())

application = app.wsgifunc()

再比如 django 就是

.......

from django.core.handlers.wsgi import WSGIHandler

application = WSGIHandler()

然后运行 uwsgi 监听 9090 ,其中 -w 后跟模块名,也就是刚才配置的 myapp

uwsgi -s :9090 -w myapp

运行网站发现已经部署完成了。

2. uwsgi 的参数

以上是单个 project 的最简单化部署, uwsgi 还是有很多令人称赞的功能的,例如

并发 4 个线程

uwsgi -s :9090 -w myapp -p 4

主控制线程 +4 个线程

uwsgi -s :9090 -w myapp -M -p 4

执行超过 30 秒的 client 直接放弃

uwsgi -s :9090 -w myapp -M -p 4 -t 30

限制内存空间 128M

uwsgi -s :9090 -w myapp -M -p 4 -t 30 --limit-as 128

服务超过 10000 req 自动 respawn

uwsgi -s :9090 -w myapp -M -p 4 -t 30 --limit-as 128 -R 10000

后台运行等

uwsgi -s :9090 -w myapp -M -p 4 -t 30 --limit-as 128 -R 10000 -d uwsgi.log

更多用法见文档: http://projects.unbit.it/uwsgi/wiki/Doc

3. uwsgi 配置多个站点

为了让多个站点共享一个 uwsgi 服务,必须把 uwsgi 运行成虚拟站点:去掉 “-w myapp” 加上 ”–vhost”

uwsgi -s :9090 -M -p 4 -t 30 --limit-as 128 -R 10000 -d uwsgi.log --vhost

然后必须配置 virtualenv virtualenv python 的一个很有用的虚拟环境工具,这样安装

apt-get install python-setuptools

easy_install virtualenv

然后设置一个 / 多个 app 基准环境

virtualenv /var/www/myenv

应用环境,在此环境下安装的软件仅在此环境下有效

source /var/www/myenv/bin/activate

pip install django

pip install mako

...

最后配置 nginx ,注意每个站点必须单独占用一个 server ,同一 server 不同 location 定向到不同的应用不知为何总是失败,我猜也算是一个 bug

   server {

        listen        80;

        server_name   app1.mydomain.com;

        location / {

                include uwsgi_params;

                uwsgi_pass 127.0.0.1:9090;

                uwsgi_param UWSGI_PYHOME /var/www/myenv;

                uwsgi_param UWSGI_SCRIPT myapp1;

                uwsgi_param UWSGI_CHDIR /var/www/myappdir1;

        }

    }

    server {

        listen        80;

        server_name   app2.mydomain.com;

        location / {

                include uwsgi_params;

                uwsgi_pass 127.0.0.1:9090;

                uwsgi_param UWSGI_PYHOME /var/www/myenv;

                uwsgi_param UWSGI_SCRIPT myapp2;

                uwsgi_param UWSGI_CHDIR /var/www/myappdir2;

        }

    }

如此这般,重启 nginx 服务,两个站点就可以共用一个 uwsgi 服务了。

4. 实战应用

最初的设置完毕以后,再添加的应用,只需要在 nginx 里面进行少量修改,无需重启 uwsgi ,就能立刻部署完毕。 uwsgi 自带了基于 django 的监控 uwsgi 运行状态的工具,就拿它来部署好了:

server {

     listen 80;

    root    /var/www/django1.23;

    index   index.html index.htm;

    server_name uwsgiadmin.django.obmem.info;

    access_log   /var/log/nginx/django.access.log;

    location /media/ {

        root /var/www/django1.23/adminmedia;

        rewrite ^/media/(.*)$ /$1 break;

    }

    location / {

        include uwsgi_params;

        uwsgi_pass 127.0.0.1:9090;

        uwsgi_param UWSGI_PYHOME /var/www/django1.23/vtenv;

        uwsgi_param UWSGI_CHDIR /var/www/django1.23/uwsgiadmin;

        uwsgi_param UWSGI_SCRIPT uwsgiadmin_wsgi;

    }

}

于是 uwsgi 的监控信息可以在 http://uwsgiadmin.django.obmem.info   看到用户名密码都是 admin

再比如 LBForum 论坛程序的部署:根据 安装说明 安装完毕,再按 部署说明 修改完配置文件,然后只需修改 nginx 配置文件:

server {

    listen 80;

    root    /var/www/django1.23;

    index   index.html index.htm;

    server_name lbforum.django.obmem.info;

    access_log   /var/log/nginx/django.access.log;

    location / {

        include uwsgi_params;

        uwsgi_pass 127.0.0.1:9090;

        uwsgi_param UWSGI_PYHOME /var/www/django1.23/vtenv;

        uwsgi_param UWSGI_CHDIR /var/www/django1.23/LBForum/sites/default;

        uwsgi_param UWSGI_SCRIPT lbforum_wsgi;

    }

}

于是   http://lbforum.django.obmem.info   就是论坛程序了。

后记

虽然写出来寥寥几行,配置的时候我可吃尽了 uwsgi 的苦头,有些想当然的用法完全不能成立, –no-site 参数一加上去其他都好使 LBForum 怎么都部署不了,一开始多站点公用 uwsgi 怎么都成功不了等等。

python 世界很有趣,一直会发现好玩的东东,但是 python 世界也很折腾人,大部分东东都是 dev 版本,文档缺失,各种兼容问题 …… 大约是因为在 python 中,有个 idea 到实现出来实在是太过高效的关系吧,唉,被折腾死了。

 原地址链接: http://obmem.info/?p=703

评论

我的评论:

发表评论

请 登录 后发表评论。还没有在Zeuux哲思注册吗?现在 注册 !

暂时没有评论

Zeuux © 2024

京ICP备05028076号