AI 绘画关键词推荐站的性能优化笔记

import redis
import json
from datetime import timedelta

# 连接 Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def get_cached_results(query):
    # 布隆过滤器防止缓存穿透
    if not r.bf().exists("queries_bloom", query):
        return None
    cache_key = f"search:{query}"
    result = r.get(cache_key)
    if result:
        return json.loads(result)
    return None

def cache_results(query, results, ttl=3600):
    # 先加入布隆过滤器
    r.bf().add("queries_bloom", query)
    # 设置缓存
    r.setex(
        f"search:{query}",
        timedelta(seconds=ttl),
        json.dumps(results)
    )

这里布隆过滤器的作用不是'锦上添花'，而是挡住无效查询带来的缓存穿透。否则查询量一上来，Redis 也会被无意义请求磨掉一层皮。

性能变化

我们用 JMeter 做了 100 并发压测，结果大概是这样：

几个比较实在的结论：

• FAISS 把相似度检索这部分的速度拉高了不少，原先最拖时间的地方终于不再是瓶颈
• 缓存命中率到 78% 以后，QPS 的提升很明显
• 量化后的 BERT 模型确实能省内存，降幅接近 60%

线上容易翻车的地方

OOM 处理

如果关键词库继续长，OOM 基本是早晚的事。我们做了三件事：

1. 模型量化，把 BERT 从 FP32 转成 INT8

   model = quantize_model(model, dtype='int8')
   

2. FAISS 索引分片存储，不把所有东西都压在一台机器上
3. 超大规模向量用 memmap，避免一次性把内存顶满

分布式路由

# 一致性哈希实现示例
from uhashring import HashRing

nodes = ['node1:7000', 'node2:7000', 'node3:7000']
ring = HashRing(nodes, hash_fn='ketama')

# 根据查询路由到对应节点
node = ring.get_node(user_query)

一致性哈希的价值在于，节点变化时不至于把全量缓存和请求路由都打散。对这种推荐类服务来说，这一点很省心。

最后，这套方案把 AI 绘画关键词网站的查询体验拉顺了，日均 50 万次查询也能比较稳定地跑下来。真正起作用的不是某一个'高大上'的组件，而是离线向量化、FAISS 索引、缓存和分布式路由这些东西配合得还算完整。