用Django+Redis给高考志愿系统提速：我是如何把查询响应时间降到毫秒级的

用DjangoRedis给高考志愿系统提速我是如何把查询响应时间降到毫秒级的每年高考季志愿填报系统都会面临海量并发查询的挑战。去年我们团队接手了一个省级高考志愿查询平台的性能优化任务当时系统在高峰期平均响应时间超过5秒用户投诉不断。经过三个月的重构我们最终将核心查询接口的响应时间稳定控制在50毫秒以内。这篇文章将分享我们如何用DjangoRedis实现这一蜕变。1. 性能瓶颈分析与基准测试接手系统后的第一件事是建立性能基准。我们使用Locust模拟了1000并发用户的查询场景发现几个关键问题数据库查询占比过高单次志愿查询平均触发15次SQL查询重复计算严重热门院校的录取概率计算被重复执行缓存策略失效设置的1小时固定过期导致缓存雪崩风险通过Django Debug Toolbar的统计一个典型查询的耗时分布如下环节平均耗时(ms)优化空间数据库查询3200可缓存录取概率计算1500可预计算模板渲染300可静态化网络传输200可压缩提示基准测试要包含典型查询场景我们特别关注了按分数筛选院校这个最高频操作2. Redis多级缓存架构设计基于基准测试结果我们设计了三级缓存体系2.1 默认缓存层CACHES { default: { BACKEND: django_redis.cache.RedisCache, LOCATION: redis://:password127.0.0.1:6379/1, OPTIONS: { CLIENT_CLASS: django_redis.client.DefaultClient, SERIALIZER: django_redis.serializers.json.JSONSerializer, COMPRESSOR: django_redis.compressors.zlib.ZlibCompressor, } } }存储完整查询结果设置30分钟TTL并启用压缩使用JSON序列化便于调试2.2 查询缓存层def get_schools_by_score(score): cache_key fschools:score:{score} result cache.get(cache_key) if not result: result School.objects.filter( min_score__ltescore ).select_related(province) cache.set(cache_key, result, timeout5*60) return result缓存原始查询结果短TTL(5分钟)保证数据新鲜度配合select_related减少查询次数2.3 对象缓存层class School(models.Model): classmethod def get_cached(cls, pk): return cache.get_or_set( fschool:{pk}, lambda: cls.objects.get(pkpk), 60*60 )缓存单个模型实例长TTL(1小时)配合信号自动更新减少重复对象创建开销3. 缓存预热与一致性保障3.1 定时预热任务我们编写了自定义管理命令来预热缓存python manage.py warmup_cache \ --top-schools1000 \ --score-range300-700 \ --concurrency10关键参数说明--top-schools: 预热访问量最高的N所学校--score-range: 覆盖常见分数段--concurrency: 并发工作进程数3.2 信号驱动的缓存失效receiver(post_save, senderSchool) def invalidate_school_cache(sender, instance, **kwargs): cache.delete(fschool:{instance.pk}) cache.delete_pattern(fschools:score:*)这个信号处理器确保学校信息更新时立即清除相关缓存使用delete_pattern清理所有关联查询通过transaction.on_commit确保事务安全4. 高并发场景下的防护策略4.1 解决缓存穿透对不存在的学校ID查询我们采用布隆过滤器class SchoolBloomFilter: def __init__(self): self.redis get_redis_connection() self.key school:bloomfilter def add(self, school_id): self.redis.setbit(self.key, school_id, 1) def exists(self, school_id): return bool(self.redis.getbit(self.key, school_id)) # 使用示例 if not bloom_filter.exists(school_id): raise Http4044.2 避免缓存雪崩通过随机化TTL防止集中失效def set_cache_with_jitter(key, value, base_ttl): jitter random.randint(0, 300) # 5分钟随机抖动 cache.set(key, value, base_ttl jitter)4.3 热点数据保护对TOP100院校实施本地缓存from django.core.cache import caches def get_school_details(school_id): local_cache caches[local_mem] redis_cache caches[default] if details : local_cache.get(school_id): return details if details : redis_cache.get(school_id): local_cache.set(school_id, details, 30) return details # ...数据库查询逻辑5. 性能监控与调优我们搭建了完整的监控体系Redis监控指标内存使用率命中率(98%)命令延迟(2ms)自定义中间件记录查询耗时class TimingMiddleware: def __init__(self, get_response): self.get_response get_response def __call__(self, request): start time.time() response self.get_response(request) duration time.time() - start statsd.timing( frequest.{request.path.replace(/,.)}, duration * 1000 ) return response关键查询的百分位表现p50: 32ms p95: 67ms p99: 89ms在最后的压力测试中系统在5000并发用户下保持稳定核心接口响应时间始终低于100ms。这次优化让我们深刻体会到合理的缓存设计比单纯增加服务器更有效。