从零构建高可用系统：端到端架构实战解析与避坑指南

异步消息通信

基于 RocketMQ 实现订单创建异步化：

// 生产者配置
@RestController
public class OrderProducer {
    @Autowired
    private RocketMQTemplate rocketMQTemplate;

    @PostMapping("/order")
    public String createOrder(@RequestBody OrderDTO order) {
        // 幂等处理
        if (orderCache.get(order.getOrderNo()) != null) {
            return "repeat order";
        }
        rocketMQTemplate.convertAndSend("order-topic", order);
        return "success";
    }
}

// 消费者配置
@RocketMQMessageListener(
    topic = "order-topic",
    consumerGroup = "order-group"
)
public class OrderConsumer implements RocketMQListener<OrderDTO> {
    @Override
    public void onMessage(OrderDTO order) {
        // 幂等处理
        if (orderCache.putIfAbsent(order.getOrderNo()) != null) {
            return;
        }
        // 处理订单逻辑
        inventoryService.reduceStock(order);
        paymentService.processPayment(order);
    }
}

分布式事务处理

使用 Seata AT 模式保证数据一致性：

# application.yml 配置
seata:
  enabled: true
  application-id: order-service
  tx-service-group: my_test_tx_group
  service:
    vgroup-mapping:
      my_test_tx_group: default
  config:
    type: nacos
    nacos:
      server-addr: 127.0.0.1:8848
  registry:
    type: nacos
    nacos:
      server-addr: 127.0.0.1:8848

// 业务方法示例
@GlobalTransactional
public void createOrder(OrderDTO order) {
    orderMapper.insert(order);
    inventoryService.reduceStock(order);
    paymentService.processPayment(order);
}

性能优化实践

链路追踪集成

SkyWalking 配置方案：

1. 部署 SkyWalking OAP 服务
2. 应用接入配置：

# agent.config
agent.service_name=order-service
collector.backend_service=127.0.0.1:11800

3. 关键指标监控：
   • 调用链耗时分析
   • 服务依赖拓扑
   • JVM 指标监控

压力测试数据

JMeter 测试结果对比：

优化建议：

1. 消息批量处理提升吞吐量
2. 合理设置线程池参数
3. 启用 RocketMQ 消息过滤

避坑指南

消息堆积处理

预防方案：

1. 监控 Consumer Lag 指标
2. 设置合理的消费线程数
3. 实现动态限流策略

应急处理：

// 紧急消费者示例
public class EmergencyConsumer {
    public void handleBacklog() {
        while(true) {
            List<Message> messages = rocketMQTemplate.receive(100);
            if (messages.isEmpty()) break;
            // 简化处理逻辑
            messages.forEach(msg -> log.info("process backlog: {}", msg));
        }
    }
}

分布式事务 Fallback

补偿机制设计：

1. 定时任务扫描异常事务
2. 人工干预接口
3. 事务状态可视化看板

@Scheduled(cron = "0 0/5 * * * ?")
public void checkTransaction() {
    List<Transaction> timeoutTxns = txnMapper.selectTimeoutTransactions();
    timeoutTxns.forEach(txn -> {
        // 发送告警通知
        alertService.notify(txn);
        // 自动补偿尝试
        if (autoRetryPolicy.shouldRetry(txn)) {
            retryService.retry(txn);
        }
    });
}

日志收集实践

推荐方案：

1. ELK 栈集中管理
2. 关键日志染色
3. traceId 贯穿全链路

logback 配置示例：

<appender name="ELK">
    <destination>127.0.0.1:4560</destination>
    <encoder>
        <providers>
            <pattern>
                <pattern>{ "timestamp": "%date{ISO8601}", "traceId": "%X{traceId}", "level": "%level", "service": "${spring.application.name}", "message": "%message" }</pattern>
            </pattern>
        </providers>
    </encoder>
</appender>

互动思考题

问题：如何在不增加基础设施的情况下提升系统容错能力？

参考答案：

1. 实现客户端负载均衡策略优化
2. 完善熔断降级配置（如 Sentinel 规则）
3. 采用本地缓存 fallback 方案
4. 优化重试机制（指数退避算法）
5. 实施服务接口版本兼容策略

通过以上架构实践，我们的电商订单系统在双十一大促期间成功支撑了 10 万 + TPS 的流量峰值，系统可用性达到 99.99%。建议开发者在实际项目中根据业务特点进行适当调整，逐步构建适合自身业务的高可用架构。