K+全球软件行业研发创新峰会北京站 - K+全球软件研发行业创新峰会-官方网站

2023上海站

贝壳大数据质量保证实战

分论坛：效能创新

专题：质量工程实践

前贝壳找房资深测试开发工程师。
毕业后曾任职于搜狗、百度等一线互联网公司核心搜索部门，2015年加入贝壳找房，在服务端自动化、性能测试、大数据测试方向有一定积累，曾主导贝壳找房早期性能测试技术落地，业务上进行数据质量治理和人工智能产品效果评测方向探索。

内容简介：

在对数据敏感的产业互联网中，数据产出不及时和数据准确性问题时有发生，如何提升数据质量和数据服务质量，保证经营指标及时精准传达，智能服务底层数据高满意度交付，是我们要解决的核心问题。我们将问题拆解为数据生产和报表查询两个方向，分别进行质量建设： 1. 数据生产端：涉及各环节责任方众多，需要在算力提升、服务稳定性、变更管控、隐患排查等能力上建设流程和能力，拉齐全角色进行系统性治理 2. 报表查询端：由于问题最终表现是数据异常，建设分层diff、UI和智能化巡检、内测等手段，提升召回率我们使用了以下质量手段：

1. 搭建标准化事前验证能力，借鉴测试流水线思想，利用HQL解析、静态检查等能力，搭建隔离测试环境，建立HQL测试和上线流程，保证HQL可执行 2. 使用数据剖析技术和数据对比技术，抽取和固化数据验证规则，提升准确性问题召回率，降低测试成本 3. 利用diff测试、UI自动化、线上巡检、内测、智测等多种手段保证数据应用服务质量

演讲提纲：

1. 贝壳大数据的使用场景

2. 贝壳大数据的发展特点 3. 批处理生产质量建设 1). 及时性搭建标准化事前验证能力，借鉴测试流水线思想，利用HQL解析、静态检查等能力，搭建隔离测试环境，建立HQL测试和上线流程，保证HQL可执行 2). 准确性使用数据剖析技术和数据对比技术，抽取和固化数据验证规则，提升准确性问题召回率，降低测试成本 4. 数据应用质量建设利用diff测试、UI自动化、线上巡检、内测、智能化等多种手段保证数据应用服务质量

听众受益：

1、了解大数据在房产交易中的应用场景和发展特点 2、数据生产端质量建设和演进思路

3、平台报表查询服务质量保证方法和思路。