登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 业界 ›Django模型查询与性能调优：告别N+1问题

Django模型查询与性能调优：告别N+1问题

柴古香 昨天 13:27
一、查询基础

QuerySet 详解

Django 中通过模型类的 Manager 构建 QuerySet 来检索数据库对象，其核心特性包括：

  • 代表数据库中对象的集合
  • 可通过过滤器缩小查询范围
  • 具有惰性执行特性（仅在需要结果时才执行 SQL）
常用过滤器

  • all()：返回所有对象
  • filter(**kwargs)：返回满足条件的对象
  • exclude(** kwargs)：返回不满足条件的对象
  • get(**kwargs)：返回单个匹配对象（无匹配或多匹配会抛异常）
  • 切片
  1. # 切片操作示例：返回前5个对象（LIMIT 5）
  2. Book.objects.all()[:5]
复制代码
一对多关联查询

假设一个作者可以写多本书，但每本书只能属于一个作者。
  1. from django.db import models
  3. class Author(models.Model):
  4.     first_name = models.CharField(max_length=100)
  5.     last_name = models.CharField(max_length=100)
  7.     def __str__(self):
  8.         return f"{self.first_name} {self.last_name}"
  10. class Book(models.Model):
  11.     title = models.CharField(max_length=100)
  12.     publication_date = models.DateField()
  13.     # 外键关联Author，级联删除，反向查询名为books
  14.     author = models.ForeignKey(
  15.         Author,
  16.         on_delete=models.CASCADE,
  17.         related_name='books'
  18.     )
  20.     def __str__(self):
  21.         return self.title
复制代码
正向查询（通过外键属性访问）
  1. b = Book.objects.get(id=2)
  2. b.author  # 获取关联的Blog对象，查询数据库
  3. b.author = some_body  # 设置关联对象
  4. b.save()  # 保存更改
复制代码
使用 select_related() 预加载关联对象，避免额外查询
  1. b = Book.objects.select_related().get(id=2)
  2. print(b.author)  # 已预加载到缓存，使用缓存，不查询数据库
复制代码
反向查询（通过关联管理器）
  1. # 未定义related_name， 默认Manager名称为：<模型名称小写>_set
  2. a = Author.objects.get(id=1)
  3. a.book_set.all()  # 返回所有关联的Book
  5. # 定义了related_name='books'
  6. a.books.all()  # 更直观的访问方式
复制代码
关联对象操作方法如下。所有 “反向” 操作对数据库都是立刻生效，保存到数据库。

  • add(obj1, obj2)：添加关联对象
  • create(**kwargs)：创建并关联新对象
  • remove(obj1, obj2)：移除关联对象
  • clear()：清空所有关联
  • set(objs)：替换关联集合
  1. a = Author.objects.get(id=1)
  2. a.books.set([b1, b2]) #  b1 和 b2 都是 Book 实例
复制代码
多对多关联查询

假设一个作者可以写多本书，一本书也可以有多个作者。
  1. from django.db import models
  3. class Author(models.Model):
  4.     name = models.CharField(max_length=100)
  5.     email = models.EmailField()
  7.     def __str__(self):
  8.         return self.name
  10. class Book(models.Model):
  11.     title = models.CharField(max_length=200)
  12.     publication_date = models.DateField()
  13.     # 多对多关联Author
  14.     authors = models.ManyToManyField(Author, related_name='books')
  16.     def __str__(self):
  17.         return self.title
复制代码
正向与反向查询示例
  1. # 正向查询
  2. b = Book.objects.get(id=3)
  3. b.authors.all() # 获取所有关联的Author
  4. b.authors.count()
  5. b.authors.filter(name__contains="张三")
  7. # 反向查询
  8. a = Author.objects.get(id=5)
  9. a.book_set.all()  # 获取所有关联的Book
复制代码
多对多关联中，add()、set() 和 remove() 可直接使用主键
  1. a = Author.objects.get(id=5)
  2. a.book_set.set([b1, b2])
  3. # 等价于
  4. a.book_set.set([b1.pk, b2.pk])
复制代码
二、N+1查询问题

问题分析

N+1 查询是常见的性能问题，表现为主查询后执行 N 次额外查询。例如：
  1. books = Book.objects.all()
  2. for book in books:
  3.     print(book.author.first_name)
复制代码
以上代码会产生 1 次查询获取所有 Book，加上 N 次查询获取对应的 Author（N 为 Book 数量），共 N+1 次查询。
检测方法


  • Django Debug Toolbar：直观显示请求中的 SQL 查询
  • 日志记录：配置日志记录 SQL 语句
  • 性能分析工具：如 Django Silk 分析查询性能
解决方案

方法 1：使用 select_related
适用于一对多（正向）和一对一关系，通过 SQL JOIN 预加载关联对象

  • 语法：select_related('related_field')，related_field 是模型中定义的 ForeignKey 或 OneToOneField 字段
  1. books = Book.objects.select_related('author').all()
  2. for book in books:
  3.     print(book.author.first_name) # 无额外查询
复制代码
可结合 only() 选择需要的字段
  1. books = Book.objects.select_related('author').only('title', 'author__name')
复制代码
支持多级关联
  1. # 加载书籍、作者及作者家乡信息
  2. books = Book.objects.select_related('author__hometown').all()
  3. for book in books:
  4.     print(book.author.hometown.name)  # 无额外查询
复制代码
方法 2：使用 prefetch_related
适用于多对多和反向关系，通过批量查询后在 Python 中关联。适用场景：

  • 多对多关系（ManyToManyField）
  • 反向一对多关系
  • 反向一对一关系
  1. books = Book.objects.prefetch_related('authors').all()
  2. for book in books:
  3.     print(book.authors.all())  # 无额外查询
复制代码
参考资料：Django 数据库访问优化
三、高级查询优化

values()

返回字典形式的查询集（返回一个 ValuesQuerySet 对象，其中每个元素是一个字典），适合提取特定字段
  1. books = Book.objects.values('title', 'author')
  2. for book in books:
  3.     print(book)
  4.    
  5. # 输出示例
  6. {'title': 'Book1', 'author': 'Author1'}
  7. {'title': 'Book2', 'author': 'Author2'}
复制代码
values_list()

返回元组形式的查询集（返回一个 ValuesListQuerySet 对象，其中每个元素是一个元组），内存占用更低
  1. books = Book.objects.values_list('title', 'author')
  2. for book in books:
  3.     print(book)
  4.    
  5. ### 输出示例
  6. ('Book1', 'Author1')
  7. ('Book2', 'Author2')
复制代码
使用 flat=True 获取单一字段值列表。如果有多个字段时，传入 flat 会报错。
  1. titles = Book.objects.values_list('title', flat=True)
  2. # <QuerySet ['红楼梦', '西游记', ...]>
复制代码
使用 named=True ，结果返回 namedtuple()
  1. books_info = Book.objects.values_list("id", "title", named=True)
  2. # <QuerySet [Row(id=1, title='红楼梦'), ...]>
复制代码
values()和values_list()对比

对比维度values()values_list()返回值类型返回一个包含字典的查询集，字典的键为字段名，值为字段对应的数据返回一个包含元组的查询集，元组中的元素依次对应指定字段的值内存占用相对较高，因为字典需要存储键值对信息通常更节省内存，元组是更轻量的数据结构，无需存储字段名使用场景适合需要通过字段名访问字段值的场景，例如需要明确知道每个值对应的字段时适合仅需要获取字段值的场景，例如只需批量获取某个或某几个字段的具体数据时Q() 对象复杂查询

Q() 对象用于构建复杂查询条件，支持逻辑运算

  • &：逻辑与（AND）
  • |：逻辑或（OR）
  • ~：逻辑非（NOT）
  1. from django.db.models import Q
  3. # 标题含Python或作者为John的书籍
  4. books = Book.objects.filter(
  5.     Q(title__icontains="Python") | Q(author="John")
  6. )
  8. # 复杂组合条件
  9. books = Book.objects.filter(
  10.     (Q(title__icontains="Python") | Q(title__icontains="Django")) &
  11.     ~Q(author="John")
  12. )
复制代码
查看生成的 SQL

调试时可查看 QuerySet 生成的 SQL
  1. queryset = Book.objects.filter(author="John")
  2. print(queryset.query)  # 输出对应的SQL语句
复制代码
四、项目实战

场景

Django+Vue 后台管理系统中，一般需要支持不同的数据权限

  • 仅本人数据权限
  • 本部门及以下数据权限
  • 本部门数据权限
  • 指定部门数据权限
  • 全部数据权限
1.png

数据权限与功能权限（基于RBAC实现）的区别

  • 功能权限：控制 “能做什么”（如新增、删除按钮的显示和执行）
  • 数据权限：控制 “能看到什么数据”（如销售经理只能查看自己团队的数据）
实战

使用Q() 对象构建复杂查询，实现灵活的数据权限计算
2.png

点击查看完整代码
您正在阅读的是《Django从入门到实战》专栏！关注不迷路~

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

使用道具 举报
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
柴古香
昨天 13:27

0

粉丝关注

10

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫