最新文章

2025年7月14日

CommunityOverCode Asia 2025 Messaging 专题预告,Apache RocketMQ 邀您共探相关议题
CommunityOverCode 是 Apache 软件基金会(ASF)的官方全球系列大会,其前身为 ApacheCon。每年的 CommunityOverCode Asia 都吸引着来自全球各个层次的参与者、社区共同探索 "明天的技术"。2025年7月25日至27日, CommunityOverCode Asia 2025 将在北京举办,带来 Apache 项目的最新发展和新兴创新。 本次 CommunityOverCode Asia 2025 的 Messaging 专题,将给大家带来 Apache 社区建设和发展的最新资讯和前沿实践,现在就一起来看看吧! 专题介绍 伴随着云原生 Serverless、物联网、实时数据技术的规模化落地,事件驱动架构、事件流技术得以更广泛的应用,使得消息队列成为越来越重要的基础设施。今天在Apache生态中已经涌现了多个优秀的消息项目,包括:Apache Pulsar、Apache Kafka、Apache RocketMQ、Apache ActiveMQ、Apache Inlong 等等。 在这个主题中,你将了解到不同的消息系统如何基于自身的架构特点做出最优的技术演进方向,包括存算分离、Serverless、消息流一体等;也能学习各大厂商如何结合自身的行业特点、业务场景选择合适的消息技术,获得消息技术的最佳实践。 出品人 翟佳 Apache Pulsar & Apache BookKeeper PMC member,谙流科技的联合创始人兼 CEO。曾是 StreamNative 的联合创始人担任 CTO 和中国区负责人职务。硕士毕业于中国科学院计算技术研究所,之后加入 EMC,从事分布式、文件系统、流存储相关的设计和开发。主要从事开源项目 Apache BookKeeper 和 Apache Pulsar 的设计和开发工作,集中在消息和流存储方向。在分布式、存储、消息等领域有深厚的积累和经验,在相关领域先后获得中美专利 10 余项。 林清山 Apache RocketMQ 联合创始人& PMC member,阿里云消息产品线负责人,阿里云架构组中间件组长。十多年分布式中间件、消息队列研发经验,致力于消息、EDA、事件流处理、云原生等方向的探索和研究。 胡宗棠 中国移动云能力中心,中间件和大数据领域技术专家,移动云中间件/大数据团队负责人。8 年以上消息中间件内核开发和架构设计经历,从无到有参与移动云 RocketMQ、MQTT、Kafka 等多款主流消息中间件系列产品的内核架构和研发,作为技术嘉宾,曾多次参与 Apache Conf Aisa 2022/2023/2024 主论坛/分论坛、ApacheRocketMQ Summit/Meetup、云原生服务大会技术分享,开源项目实践经验丰富担任 Apache RocketMQ、Nacos、openEuler messagemiddleware sig 和 openMessaging 等开源社区的 Maintainer/Committer。信通院 2023 年《云计算开源标准突出贡献专家》,《2024 信通院 OSCAR 尖峰开源人物》,多个开源社区的开源先锋等荣誉。 议程亮点 7 月 25 日 14:00 17:15 演讲议题:Apache RocketMQ Eventbridge|您的 GenAI 为何需要 EDA? 分享时间:7 月 25 日 14:0014:30 议题介绍: 如果您身处 AI 领域,EDA 为 LLM 和 AI Agent 提供的重要帮助不容忽视。本演讲将重点探讨 EDA 为 GenAI 带来的改变: 1. 通过实时 RAG,EDA 让您的 LLM 更加智能。 2. EDA 帮助您更好地使用 LLM。 3. 借助 MCP,EDA 赋能您的 Agent。 4. 为了增强多 Agent 能力,您应该关注 EDA。 此外,本演讲还将展示 Apache RocketMQ Eventbridge 在阿里云上在这些领域的实践和探索。 演讲嘉宾: Lin Shen: Apache RocketMQ PMC Apache RocketMQ PMC成员,阿里云 EventBridge 负责人,专注于 EDA 研究。 演讲议题:Apache Pulsar 在腾讯云上的高可用性最佳实践 分享时间:7 月 25 日 14:3015:00 议题介绍:Apache Pulsar 是一个云原生的分布式消息和流式传输平台。Apache Pulsar 采用存储与计算分离的架构,支持大型集群、多租户、百万级主题、跨区域数据复制、持久化存储、分层存储、高可扩展性等企业级及金融级服务。Apache Pulsar 提供统一的消费模型,同时支持消息队列和流式传输场景。它不仅能为队列场景提供企业级的读写服务质量和强一致性保证,还能为流式传输场景提供高吞吐量和低延迟。 Apache Pulsar 已在企业关键业务中落地,拥有丰富的应用场景。目前,腾讯云也已在生产实践中大规模应用 Apache Pulsar 近 5 年。在生产实践中,腾讯云对 Apache Pulsar 进行了一系列性能优化和稳定性增强,以确保用户在不同场景下系统能够稳定高效地运行。 本次演讲我们将重点讲解腾讯云上 Apache Pulsar 在高可用性方面的最佳实践,包括 Broker 集群和 Bookkeeper 集群的高可用性、Zookeeper 集群的高可用性以及跨集群的高可用性实践,希望能够为开发者提供一些参考。 演讲嘉宾: Mingze Han|tencent 毕业于武汉大学计算机专业。腾讯云高级研发工程师。开源社区爱好者。在美团和腾讯拥有超过 8 年的消息队列相关研发和运营经验。目前主要负责腾讯云 TDMQ for Pulsar 产品的核心部分。同时,我是 Apache Pulsar Contributor 和 RoP Maintenanceer。 演讲议题:使用 Apache Pulsar 构建高可靠订阅和推送服务|挑战与最佳实践 分享时间:7 月 25 日 15:0015:30 议题介绍:分析华为云物联网基于 Apache Pulsar 构建订阅和推送服务的最佳实践。订阅和推送服务看似简单,实则涉及诸多架构决策。本演讲将深入探讨我们如何设计统一的推送服务架构,以确保海量数据分发的高可靠性和稳定性,从而帮助客户高效集成数据流,加速数字化转型。 演讲嘉宾: Zhangjian He|Huawei Cloud IoT Senior Engineer | Huawei Cloud Open Source Team Member Apache BookKeeper&Apache ServiceComb PMC member、Apache Pulsar Committer,华为云工业软件平台云服务产品编码&开源负责人、华为云OSDT成员。 演讲议题:解密 Apache Kafka 的架构创新与多场景最佳实践 分享时间:7 月 25 日 15:4516:15 议题介绍:阿里云 Kafka 基于开源 Kafka 全面升级,融合弹性计算、高性能分布式文件存储和容器服务等云原生基础设施,实现高性能存储计算分离架构。云原生 Kafka 的快速恢复机制大幅降低 RTO,读写隔离机制则充分保障服务质量。低延迟、高吞吐量、极致弹性和便捷的运维能力,使云原生 Kafka 架构足以应对众多业务场景。本次演讲在详细讲解云原生 Kafka 高性能实现原理的同时,还将从车联网、人工智能等领域展现云原生 Kafka 的多场景最佳实践。 演讲嘉宾: Fujian Zhao|Alibaba Senior Software Engineer 2020 年 6 月毕业于东南大学,2020 年 7 月加入阿里巴巴。 演讲议题:Apache Pulsar 在大规模分区环境下的指标收集实践 分享时间:7 月 25 日 16:1516:45 议题介绍:Apache Pulsar 是一个高性能消息队列,支持海量 Topic,允许用户在单个集群内创建数十万甚至数百万个分区。指标是我们在生产环境中识别和诊断问题的关键工具。可观察性的有效性直接影响故障排除的速度。 在分区数量众多的场景下,启用 Topic 级指标可能会在短时间内生成大量指标字符串,从而导致严重的内存波动,并可能导致集群不稳定。 本次演讲将分享我们在此类高分区场景下收集指标的实践经验,并探讨如何在不影响在线内存稳定性的情况下最大限度地收集指标数据,从而实现高效的问题识别和系统监控。 演讲嘉宾: Lin Lin|Huawei, SDE expert, Middleware technology director 华为 SDE 专家,中间件技术总监,曾就职于腾讯、蚂蚁金服 专注于中间件和基础设施领域,拥有超过 10 年的相关经验,致力于打造高品质的基础设施 Apache Pulsar Committer & PMC 成员 演讲议题:Apache Pulsar 在小红书公司线上场景的探索与实践 分享时间:7 月 25 日 16:4517:15 议题介绍:本次分享将比较 Pulsar 与 RocketMQ 的特性,以及 Pulsar 在小红书线上场景中的实现方式(包括特性延迟、多活、压缩等),以及企业获得的实际收益。 演讲嘉宾: 卢世吉|Apache BookKeeper PMC 小红书公司在线MQ负责人,Apache BookKeeper PMC,拥有5年MQ开发经验,致力于打造稳定可靠的基础组件。 Linlin Duan|rednote 消息队列高级研发工程师。 Xiangying Meng | Apache Pulsar PMC 小红书高级研发工程师,拥有 4 年 Apache Pulsar 内核研发与实践落地经验。曾就职于 StreamNative。专注于消息队列领域,持续探索其技术前沿与更多可能性。 7 月 26 日 14:00 17:45 演讲议题:腾讯云上的 Kafka:无缝迁移与灾难恢复 分享时间:7 月 26 日 14:0014:30 议题介绍:本次演讲将介绍如何将自建 Kafka 集群无缝迁移至腾讯云 CKafka 解决方案,无需关注迁移过程中生产消费应用的切换顺序。同时还将详细介绍腾讯云 CKafka 的故障容灾方案。 演讲嘉宾: Shilin Lu|Tencent Cloud Expert Engineer 毕业于天津大学软件工程专业,目前负责腾讯云 Kafka 内核开发与优化工作,拥有 7 年消息中间件开发运维经验。曾在腾讯、字节跳动等公司负责消息中间件研发,具备大规模集群运维经验。同时作为 Apache Kafka 和 RocketMQ 开源项目贡献者,积极参与开源社区建设。 演讲议题:构建云 MQTT 解决方案的经验教训 分享时间:7 月 26 日 14:3015:00 议题介绍:MQTT 已成为物联网 (IoT) 的事实标准,为汽车、制造、电信、石油天然气等行业的众多应用提供支持。 在腾讯云,我们开发了基于共享弹性流日志的稳健云 MQTT 解决方案。在本次演讲中,我们将分享开发过程中的关键见解和经验教训。我们将首先概述整体架构,重点介绍性能优化,并分享最佳实践。接下来,我们将深入探讨如何在共享日志之上实现 MQTT 协议——这种设计可扩展以支持其他消息传递协议。我们还将探讨动态扩展系统以支持数百万连接设备并保持高性能和可靠性的策略。最后,我们将讨论如何将存储和计算分离,并结合专用的 MQTT 负载均衡器,帮助我们降低总体拥有成本 (TCO),并灵活高效地应对流量高峰。 演讲嘉宾: Senze Zhang|Apache RocketMQ Committer Senze Zhang 是一位资深的消息队列系统工程师,在高性能消息解决方案的设计、实现和优化方面拥有丰富的经验,参与部署过 RocketMQ、Kafka、MQTT 等多个业界领先的消息队列平台。 演讲议题:使用 Apache RocketMQ 赋能无服务器消息架构 分享时间:7 月 26 日 15:0015:30 议题介绍:我们最新的研究成果已被 ACM FSE 2025 行业专题收录,Apache RocketMQ 为无服务器消息系统奠定了坚实的基础,解决了传统中间件在可扩展性、成本和元数据方面的挑战。通过解耦存储和计算,Apache RocketMQ 实现了独立的资源扩展,这对于不可预测的云工作负载至关重要。其弹性写入分区消除了单队列吞吐量限制,而轻量级消息队列则以最小的冷启动延迟支持数百万个队列。 我们通过基于 RocketMQ 的 RabbitMQ 实现证明了这一点,该实现在克服 RabbitMQ 扩展限制的同时,保留了完整的协议兼容性。借助 RocketMQ 的架构,我们实现了无限的水平扩展能力,并将元数据管理效率提高了 1000% 以上。该无服务器解决方案已在阿里云上商业化运营。我们的经验表明,RocketMQ 能够将传统消息系统转型为云原生服务,为面向未来的无服务器架构提供了蓝图。 演讲嘉宾: SJuntao Ji|Senior Development Engineer (Alibaba Cloud Computing) 阿里云计算高级中间件研发工程师,负责 RocketMQ 和 RabbitMQ 的功能开发。Apache RocketMQ 开源社区贡献者。在 CCFA 会议或期刊(ASE 23'、FM 24'、FSE 25' 等)发表多篇顶级论文。 演讲议题:基于 Commitlog 和 RocksDB 的 RocketMQ 存储引擎 分享时间:7 月 26 日 15:4516:15 议题介绍:基于 Commitlog 和 RocksDB 的 RocketMQ 存储引擎 延迟消息、事务消息、POP 和索引是 RocketMQ 的核心功能。这些功能涉及内存中的多种状态转换,并且基于文件系统实现。现有实现面临以下问题: 1、基于队列的实现会导致更多的合并操作(例如,POP 消费结果合并、事务消息与 OP 消息合并),从而导致工作流复杂、效率低下且可扩展性差。 2、TimerWheel、TimerLog、Revive 和 Index 文件需要额外的存储空间。 3、内存中过多的中间状态会导致性能问题,例如在 POP 消费过程中,CK、ACK 和 CKMock 等临时对象会对堆内存造成巨大的 GC 压力。 4、大量的磁盘文件和中间状态使分层存储和弹性伸缩变得复杂。 RocksDB 是 Facebook 开发的一款高性能嵌入式键值存储引擎,广泛应用于数据库、日志系统和分布式存储。RocksDB 与 Commitlog 和 RocksDB 统一存储引擎的关键在于将消息数据分离成两部分,在文件系统上 Commitlog 的同时迁移 RocksDB 中的所有索引模型。这种方法具有显著的优势: 1、利用 RocksDB 的快速查找功能减少数据处理中的协调/同步,从而简化复杂性。例如,RocksDB 的键值存储 CRUD 操作可以取代 POP 消费中原有的双队列合并过程。 2、重构存储模型,减少存储数据量,提高存储效率。例如,RocksDB 的索引功能可以完全替代现有的索引功能,无需再保存任何索引文件。 3、使用 RocksDB 作为统一的数据迁移接口,简化了分层存储和弹性伸缩的流程,这比目前的实现方式要早得多。 这种存储架构显著优化了这些核心特性。重构不仅简化了代码库、降低了维护成本,还为 RocketMQ 提供了强大而灵活的解决方案,以应对不断增长的业务需求和复杂的存储环境。 演讲嘉宾: Zhou Li|aliyun 阿里云消息专家,负责阿里巴巴核心消息中间件。 演讲议题:RocketMQ 5.0 中的虚拟队列:增强对 Remoting 协议客户端的向后兼容性 分享时间:7 月 26 日 16:1516:45 议题介绍:Apache RocketMQ 是一个以低延迟、高性能和高可靠性著称的分布式消息与流处理平台。最新发布的 5.0 版本带来了两项重大进步: 1、实现了存储与计算的解耦,进一步提升了系统的可扩展性和云原生适配能力。 2、引入了 POP 消费模式,将负载均衡逻辑从客户端迁移到了 Broker 端。 为适应这些新特性,社区推出了全新的基于 gRPC 协议的客户端。然而,现有通过 Remoting 协议客户端接入 RocketMQ 的用户,若不更新代码和替换客户端 SDK,将无法享受到 5.0 的这些创新能力。为增强对 Remoting 协议客户端的向后兼容性,我们在 RocketMQ 5.0 中提出了虚拟队列方案,并已在腾讯云的实际应用中得到了充分验证。 演讲嘉宾: Shengzhong Liu|Tencent 自 2019 年从东南大学毕业以来,一直在腾讯云担任软件开发工程师,近年来专注于消息队列技术的相关工作。 演讲议题:小米 RocketMQMQTT 最佳实践:提升质量和成本效率之旅 分享时间:7 月 26 日 16:4517:15 议题介绍:本次演讲将介绍小米 MQTT 系统架构的演变,重点介绍其在稳定性、性能和成本优化方面的进步。关键举措包括管理海量主题、确保消息顺序、灾难恢复机制、分层存储解决方案、字典压缩技术、数据集成、容器化等等。 演讲嘉宾: Fan Wang|Xiaomi Message Queue Team Leader, Apache RocketMQ Committer 2018 年加入小米,专注于消息和存储系统,负责小米 MQ、HBase、ElasticSearch 等平台。 点击即可参与报名!

2025年7月8日

朗新科技集团如何用Apache RocketMQ“快、准、狠”破解业务难题?
朗新科技集团:让数字化的世界更美好 朗新科技集团股份有限公司是领先的能源科技企业,长期深耕电力能源领域,通过新一代数字化、人工智能、物联网、电力电子技术等新质生产力,服务城市、产业、生活中的能源场景,推动社会绿色发展。 朗新科技集团初创于 1996 年,总部位于江苏无锡,在国内外设有多个研发中心和分支机构,长期为超过 1.2 万多家政企客户和 4.7 亿多大众生活用户提供技术与运营服务,在电力营销数字化、新能源汽车聚合充电、分布式光伏云以及家庭能源缴费等领域处于全国领先地位。 朗新科技集团持续在相关领域探索创新,推动能源绿色低碳转型,惠及千家万户。作为国家鼓励的重点软件企业,朗新荣获了多项行业权威认证和奖项,连续四年荣登中国新经济企业 500 强榜单,并在多个能源科技细分领域保持领先地位,促进整个行业的繁荣发展。 业务扩张背景下,消息队列面临诸多挑战 朗新科技集团的核心业务之一聚焦于聚合充电场景,专注面向企业(ToB)和政府(ToG)提供充电桩业务。在充电桩系统中,关键事件包括“充电开始”、“充电结束”、“故障告警”等。通过分布式消息队列 RocketMQ 可以实现这些事件消息的异步处理,以增强系统的灵活性和可扩展性。此外,RocketMQ 还承担着传递计费请求、支付状态等消息的重要职责,对于确保整个支付流程顺畅进行至关重要。 然而,随着新能源汽车产业的迅猛发展,新能源汽车保有量激增,充电桩规模以及充电服务需求呈现指数级增长趋势。在此背景下,朗新科技集团积极实施战略扩张,但原先基于阿里云 ECS 自建并维护的开源 RocketMQ 却逐渐暴露出诸多问题,包括运维成本高、系统稳定性不足以及难以应对大规模的数据吞吐量等,这些问题对用户体验造成了显著影响。核心业务痛点如下: 1. 稳定性问题:出现消息丢失现象。ToB 和 ToG 业务对于服务的可用性和数据的可靠性要求极高,消息数据丢失是不可接受的。因为一条充电桩状态消息的丢失,就可能导致用户跑空电却无法充电的问题,对用户体验造成很大影响。 2. 系统架构缺少容灾:充电桩业务对跨可用区、跨地域容灾有迫切需求,随着业务规模增长,以及产业中心的分布式转移规划,明确需要建设跨地域容灾系统。然而,技术团队在多可用区容灾方面的技术储备与经验不够丰富。 3. 运维成本过高:每天业务消息量的波峰波谷明显且差值较大,波谷期资源利用率偏低,容易导致资源浪费,造成成本冗余。此外,临时扩容周期长且需大量人力投入。 共建云消息队列 RocketMQ 版:优势显著,业务难题迎刃而解 稳定可靠&弹性降本 针对业务痛点 1 和 3,朗新决定与阿里云共建云消息队列 RocketMQ 版 5.0 Serverless系列。其作为 RocketMQ 的商业版本,在确保消息收、发的可靠性以及实现数据多副本存储方面,都有卓越的表现。Serverless 系列能够有效应对流量波峰波谷显著的问题,不仅有助于降低资源成本,还减少了实例弹性伸缩和运维的人力投入。带来的核心优势如下: + 提高服务可用性:自建开源 RocketMQ 的 SLA 保障不充分,一旦出现故障,需要运维人员自行处理和恢复等。而云消息队列 RocketMQ 版原生支持多可用区部署,服务可用性最高可达 99.99%。 + 提高数据可靠性:自建开源 RocketMQ 需要运维人员自行管理多副本 HA,运维门槛高。而云消息队列 RocketMQ 版默认支持三副本 HA,提供数据的多级存储,数据可靠性最高可达 10个9。 + 提高资源利用率,降低成本:自建开源 RocketMQ 为了确保能够处理业务峰值流量,需要按照最高需求购买实例规格,容易造成资源浪费。而云消息队列 RocketMQ 版 5.0 Serverless 系列采用动态资源调整策略,根据实时业务负载自动弹性伸缩,按量付费,无需预先估算并配置实例规格。 提高可用性和容错力 针对业务痛点 2,朗新当前自建开源 RocketMQ 采用的是单中心系统架构,当单中心异常时,将影响整个业务系统。为此,朗新计划采用云消息队列 RocketMQ 版建设双活中心,以提升系统的可用性和容错能力。云消息队列 RocketMQ 版提供全球消息备份的容灾能力,能够支持多中心灾备、双活系统架构的系统建设。带来的核心优势如下: + 提高数据可靠性:通过在两地数据中心的消息中间件之间实现全量数据同步备份,提高数据可靠性。 + 增强服务连续性:借助消息服务的两地容灾机制,保证服务高可用性,业务可快速恢复,延续性强。 + 降低开发成本:简化配置和管理,轻松实现两地数据的相互备份,提高效率并节省业务的开发成本。 为何选择云消息队列 RocketMQ 版? 朗新之所以和阿里云共建云消息队列 RocketMQ 版,主要归于以下几个关键因素: + 高可靠性和高可用性:RocketMQ 诞生于阿里巴巴集团,历经多年“双十一”万亿级数据洪峰验证。作为国内领先的云服务提供商之一,阿里云运营着国内规模最大的 RocketMQ 集群,支撑了云上数十万客户的生产应用实践。云消息队列 RocketMQ 版提供 SLA,保障服务的高可用性和数据的高可靠性,为企业核心业务链路保驾护航。 + 支持灾备与双活架构:云消息队列 RocketMQ 版通过成熟的产品化能力和解决方案,助力企业快速构建灾备、双活系统架构。面对数据中心或地域级别的故障时,能够实现业务的快速切换与恢复,从而有效避免业务上的巨大损失,显著增强系统的整体稳定性。 + Serverless 弹性降本:云消息队列 RocketMQ 版 5.0 Serverless 系列采用存储计算分离架构,具备自适应弹性能力,能够高效处理突发流量,并且无需运维,按实际使用量计费。朗新在切换到云消息队列 RocketMQ 版 Serverless 实例后,使用成本相较自建降低了 30%。 展望未来,朗新科技集团将进一步深化与阿里云消息队列团队的合作,依托自身丰富的能源领域技术实践,以及阿里云强大的基础设施、产品能力,携手推进行业数字化进程,促进能源科技行业的发展。

2025年7月8日

C5GAME 游戏饰品交易平台借助 Apache RocketMQ Serverless 保障千万级玩家流畅体验
C5GAME:安全便捷,国内领先的游戏饰品交易平台 C5GAME 游戏饰品交易平台( www.c5game.com )是国内领先的 STEAM 游戏饰品交易的服务平台,专注于 CS:GO 以及 DOTA2 等热门游戏装备 C2C 中介交易。自网站上线以来,C5GAME 凭借其安全便捷的交易和流畅友好的体验,迅速在玩家群体中积攒了良好的口碑,积累了千万级注册用户,实现了累计交易额超过 100 亿元,确立了其在国内游戏饰品交易领域的领先地位。目前 C5GAME 正积极拓展国际市场,致力于打造一个全球化的 STEAM 游戏饰品交易平台,海外用户规模正在迅速扩大。 C5GAME 网站基于 STEAM 官方提供的 API,研发了先进的机器人交易系统,确保玩家在进行游戏饰品买卖与存取时的安全性和便捷性。同时,C5GAME 持续优化用户体验,满足用户日益增长的交易需求,在保障安全的基础上,致力于提供更加智能化、人性化的服务体验。例如,根据用户的实际反馈,C5GAME 自主研发了一套智能检索系统,使平台更加本土化,允许玩家通过简称快速准确地查找所需饰品,极大提升了搜索效率和用户体验。 千万级注册玩家、百亿交易额背后面临的业务挑战 在互联网时代高速发展的浪潮中,游戏行业蓬勃发展,各类游戏如雨后春笋般涌现,并推动了游戏饰品交易行业的爆发式增长。在此背景下,C5GAME 游戏饰品交易平台上的玩家数量和交易量显著增加,同时也带来了一系列挑战: 1. 系统耦合复杂:由于交易系统与多个核心子系统紧密相连,高度耦合的复杂架构增加了系统故障的风险。 2. 活动期稳定性挑战:由于平台频繁推出促销活动,且不定期推出平台用户的补贴活动,这些活动时段会吸引大量用户,导致流量激增,对系统稳定性带来严峻考验。 3. 技术选型难题:选择自建开源中间件可能因资源投入不足而无法满足业务需求,甚至可能带来技术风险。 4. 运维效率提升需求:对于交易核心链路,任何订单异常都需要及时排查处理。因此,构建一个强大且全面的工具体系来支持高效运维尤为重要。 5. 成本控制压力:每天业务消息量的波峰波谷相差较大,为应对高峰期的高并发请求而购买高规格实例,会导致成本过高,在非高峰期时段资源利用率较低,造成大量的资源浪费。 面对上述问题,C5GAME 需要采取有效措施优化系统架构、增强服务稳定性、选择合适的技术方案、加强运维能力以及合理规划资源等,保障业务高效、稳定的同时有效控制成本。 云消息队列 RocketMQ 版:异步解耦、可靠高效、弹性降本 异步通信模型 通过云消息队列 RocketMQ 版的异步消息通信模式,各子系统之间无需建立强耦合的直接连接,调用方只需将请求转换为消息发送至 RocketMQ,一旦消息发送成功,即可视为该异步链路调用完成,剩下的工作 RocketMQ 会负责将事件可靠通知到下游的调用系统,确保任务执行完成。 以下是异步通信模式的主要优势: + 简化系统架构:调用方和被调用方通过 RocketMQ 通信,系统是星型拓扑结构,易于维护和管理。 + 上下游弱耦合:上下游系统之间弱耦合,由 RocketMQ 负责消息缓冲和异步恢复。上下游系统能够独立进行升级和变更,不会互相影响。 + 流量削峰填谷:RocketMQ 具备强大的流量缓冲和整形能力,能够在业务流量高峰期间保护下游系统不被击垮。 异步消息通信模式降低了系统间的依赖度和架构的复杂度,同时提升了整体的稳定性、可靠性和可扩展性。 基于定时消息的事件驱动 在游戏饰品交易中,订单流转过程中经常会存在多个超时状态的任务。这些任务需要得到可靠和及时的处理,强烈依赖于底层系统的分布式调度机制。尤其是在月底的大型促销活动中,大量的预售订单需要定时支付尾款等场景,会产生大量的定时任务。 基于云消息队列 RocketMQ 版的定时消息功能,以其事件驱动的方式,确保了在大促高峰期,处理海量堆积任务时的高性能、高可靠。 RocketMQ 5.0 Serverless 对于自建开源 RocketMQ 集群,为保证业务稳定性,往往需要按照业务请求的峰值去配置集群资源,包括 CPU、内存、存储、网络等。在实际生产中,由于业务消息量的波峰波谷明显,集群资源有大部分时间处于低利用率状态,造成闲置浪费。 云消息队列 RocketMQ 版 5.0 系列 Serverless 实例可以很好地解决这个问题,它能够通过资源快速伸缩实现资源使用量与实际业务负载贴近,并支持按照实际使用量计费,有效降低企业的运维压力和使用成本。 C5GAME 借助 RocketMQ Serverless保障千万级玩家流畅体验 C5GAME 通过采用云消息队列 RocketMQ 版 Serverless 系列,有效解决了现有架构中存在的性能瓶颈,极大增强了交易系统的灵活性和稳定性,有效实现了流量的削峰填谷,显著提升了整体运维效率,确保了千万级玩家能够享受到流畅的游戏交易体验。同时,还帮助 C5GAME 节省了资源和运维成本,使开发团队能够更专注于业务创新,为广大游戏玩家提供更丰富的功能和更友好的体验。 1. 订单系统异步化:通过云消息队列 RocketMQ 版实现订单系统异步化,有效实现流量削峰填谷,增强了系统在活动期间的稳定性。 2. 超时订单处理:使用云消息队列 RocketMQ 版的定时消息功能,应对订单支付超时等复杂场景的处理,简化业务逻辑的复杂度。 3. 运维体系构建:基于云消息队列 RocketMQ 版丰富的 Metrics、Trace 等可观测工具,构建了一整套运维体系,极大提升了日常问题排查和巡检的效率。 4. 资源弹性降本:云消息队列 RocketMQ 版 5.0 serverless 系列提供动态资源调整策略,根据实时业务负载自动弹性伸缩,按量付费,无需预先估算并配置实例规格。C5GAME 在切换到云消息队列 RocketMQ 版 5.0 Serverless 实例后,使用成本相较自建降低了 60%。 展望未来,随着 C5GAME 不断推出创新功能和营销活动,云消息队列 RocketMQ 版将继续助力 C5GAME 为广大游戏玩家提供更流畅、更优质的服务体验。
查看全部文章
ABOUT US
Apache RocketMQ事件驱动架构全景图
微服务
Higress
Dubbo
Sentinel
Seata
Spring Cloud
Nacos
物联网
家电
汽车
穿戴设备
充电桩
工业设备
手机
事件驱动架构平台
RabbitMQ
Kafka
EventBridge
MQTT
RocketMQ
MNS
Apache RocketMQ as Core
计算
模型服务
函数计算
容器
存储
对象存储
数据库
NoSQL
分析
Flink
Spark
Elastic Search
事件
云服务器
对象存储
云监控
SaaS事件
通知
语音
短信
邮箱
移动推送

产品特点

为什么学习Apache RocketMQ

云原生
生于云,长于云,无限弹性扩缩,K8S 友好
高吞吐
万亿级吞吐保证,同时满足微服务于大数据场景
流处理
提供轻量、高扩展、高性能和丰富功能的流计算引擎
金融级
金融级的稳定性,广泛用于交易核心链路
架构极简
零外部依赖,Shared-nothing 架构
生态友好
无缝对接微服务、实时计算、数据湖等周边生态
浙ICP备12022327号-1120