黑马程序员技术交流社区

标题: 【广州python】Django数据库连接的问题 [打印本页]

---

作者: 唐伯虎（0）    时间: 2018-10-18 11:15
标题: 【广州python】Django数据库连接的问题



多线程运行项目。有N个工作线程从DB中获取jobs，并把结果写回DB。

项目运行一段时间后，发现数据库连接耗尽了，幸好内存大，然后一直往上调，最后连接数都上8000多。耗尽连接数的时候，postgresql 会出现类似这样的错误：

FATAL: remaining connection slots are reserved for non-replication superuser connections

大概是这么两个知识点：
1.如果是Web项目，在请求结束的时候，Django会去关闭掉连接。是的，没有连接池。
2.因为我们是非Web项目，所以不存在请求结束事件，所以一直没的关闭连接。但本来这个应该也不会造成问题的，因为没关闭就一直用呗，但不知道哪里出了问题，会出现连接泄漏，所以连接数据会一直增长。

最后的解决方案是找时机主动关闭数据库连接，具体到我们项目，就是每次工作线程完成一个任务后，就把它相关的连接关掉，因为我们用的是ThreadPoolExecutor，所以Django很容易做到这一点。
代码如下：
from django.db import connections
def on_done(future):
    connections.close_all()
def main():
    with ThreadPoolExecutor() as executor:
        while True:
            future = executor.submit(do, get_a_job())
            future.add_done_callback(on_done)

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2