K+全球软件行业研发创新峰会北京站 - K+全球软件研发行业创新峰会-官方网站

2023上海站

云原生下B站万亿规模管道化架构的演进

分论坛：技术创新

专题：云原生应用开发

郑志升

大数据实时体系负责人，加入B站前曾任职于阿里巴巴。主导涵盖“数据埋点-实时传输接入-实时计算-开发应用-数据湖”全链路的中台建设，目前重点关注实时（含增量）的传输与计算，批流一体、数据湖等方向。

内容简介：

伴随着B站多元化的高速发展，企业内部对数据的需求也变得越发强烈，而随着云原生时代的到来，数据集成作为大数据领域的建设基石，也有着更进一步的模式演进和架构升级，一方面要能覆盖采集复杂繁多的数据源，另一方面还要做到在万亿规模的数据体量下保障数据传输质量，容量伸缩、配额、多租户隔离等管道化的配套设施。本次演讲主要分享B站从数据的上报，边缘采集，实时传输，到流式分发的全链路一体化架构演进。核心内容要点包括边缘传输的架构实现，基于Flink流批一体的实时分发架构，以及云原生下管道化架构的关键配套设施与基础能力建设。

演讲提纲：

1. 传输体系面临的挑战 2. 边缘化传输架构的落地 3. 基于Flink实时分发架构的挑战 4. 云原生下管道化架构的基建能力

听众收益：

1. 了解大数据的整条传输分发链路 2. 了解数据的采集体系是如何在复杂需求的机制下构建的 3. 了解Flink流批一体的架构如何解决数据集成领域的各种问题 4. 了解云时代下数据管道化是如何结合云基础设施进一步来提升架构能力