关键词:
Kafka系统
数据分类与下发
消息系统集成
正则表达式
摘要:
近年来,随着大数据时代的到来,企业面临的数据量和业务复杂度都在迅速增长^([1]),这对数据处理速度、安全性、可靠性和可扩展性等方面都提出了更高的要求^([2])。为了有效应对这些挑战,对于消息系统与业务系统的集成及数据下发的研究与精进变得尤为重要。提出了一种基于Kafka的企业级业务消息系统集成设计方案,通过对Kafka消息系统与业务系统集成及Kafka消息数据分类识别下发方式两部分的设计,来实现高效的信息流动与协作,实现各方业务系统与Kafka消息系统解耦、数据生产方控制和主导数据的消费、降低业务方技术学习成本、降低多方系统之间的沟通成本、高效分类并下发数据等效果,同时降低了可能存在的数据安全风险,解决了多方技术学习成本高、数据分类受topic数量限制、数据生产方和消费方对接消息系统复杂度高等问题,从而使数据生产方与消费方等多方的便利性与利益最大化。