京东物流面向一线业务的敏捷BI实践

大数据智能说 2024-05-18 03:41:30

导读 随着京东物流一线业务人员取数用数需求的不断增长,传统的线下Excel 为主导的数据分析共享模式在不断扩张的物流数据需求面前捉襟见肘。由此,京东搭建了以自助分析为核心的敏捷 BI 平台,提供面向异构数据源的一致性、数据分析水平参差、高并发查询时效性的完整解决方案。

今天的介绍会围绕下面三点展开:

1. 京东物流一线业务数据应用现状

2. UData:以自助分析为核心的敏捷 BI 解决方案

3. 应用场景及案例

分享嘉宾|刘凤 京东物流 高级产品经理

编辑整理|苏屿

内容校对|李瑶

出品社区|DataFun

01

京东物流一线业务数据应用现状

京东物流一线业务数据处理主要依靠线下 Excel 方式,各部门间相同报表需求的烟囱式开发存在重复性工作,数据一致性和时效性也无法保证。

1. 中国式报表的特点及挑战

中国式报表在企业数据分析场景下普遍存在,报表受众多样、样式复杂、计算嵌套、数据结构各异,在数据治理、研发资源、大数据技术等层面造成了诸多挑战:

治理难度大:需要从数据源、数据指标体系两方面入手,且业务多层级联动拉齐数据认知;研发资源消耗大:面向分析场景需求个性化程度高,研发侧排期资源有限;大数据技术挑战大:大数据量、实时在线交互分析、系统执行复杂度不确定、响应时间和用户体验难以保证。

2. 建设平台工具解决实际业务问题

UData 数据平台通过将业务数据监控分析、工作流程及所需数据来源集成到一个平台上,实现了业务可主导的自助数据开发与数据共享。同时,充分考虑到业务数据分析能力的差异,采用线上化 Excel 来降低迁移成本。

3. 新老流程对比

基于 UData 的敏捷数据分析,业务不需要再去多个业务系统进行数据下载和处理,通过 UData 平台找到所需数据源,直接进行报表配置,即可进行分析,并且可以生成看板链接,通过分享或邮件推送进行数据共享。

02

UData:以自助分析为核心的敏捷 BI 解决方案

1. UData 自助式敏捷 BI——产品架构

UData 基于 HSAP(Hybrid Serving &Analytical processing)理念,是包括数据集成、数据管理、数据服务、数据分析在内的一体化数据应用平台。面向数据应用场景业务分析人员及研发人员,提供一站式解决方案,提升整体组织效率,快速高效盘活数据资产。

数据接入:平台支持各类异构数据源的接入,包括但不限于 Hive、MySQL、Oracle 等。联邦查询:业务人员在平台内可实现跨数据源的查询,解决数据来源多样性所带来的应用难题。数据管理:提供对表、指标、标签、字典、维度、数据源等的统一管理。数据地图:提供业务视角的数据查询、血缘分析能力。权限管理:包括用户权限、用户组权限、行级权限、看板权限等。数据分析:面向业务人员的低代码可视化自助查询分析、在线高效协同。数据服务:面向技术人员提供低代码接口开发和平台监控,实现效率提升。

2. UData 自助式敏捷 BI——产品特性

低门槛:无论是点选式的数据集配置方式,还是在线 Excel 的编辑风格,都为一线业务人员即使没有代码能力也能上手平台提供了支持。轻量级:平台可以直接在浏览器中操作,无需安装任何软件,随开随用。快集成:可以与工作台、邮箱、办公系统等进行深度、快速地集成共享。

数据集成:支持多元异构的不同类型数据资源的统一接入。数据模型配置:业务人员直接选择数据,并通过部署、过滤、合并等操作即可快速完成数据模型的建设。数据加速:查询引擎升级,支持联邦查询的提速,从而使性能得到了大幅提升。

3. UData 自助式敏捷 BI——遇到问题

在平台搭建与用户运营推广过程中,我们也面临三大核心挑战,这些问题在数据分析工具的产品设计中也具有普遍性:

首先,对于中国特色的复杂报表处理,查询性能的提升成为一大难题。其次,为满足用户在线编辑与分享的需求,我们必须解决数据展示不一致及系统异常等问题,同时确保系统运行的稳定性。最后,平台设计若缺乏合理性,将导致用户学习成本增加,进而影响用户体验。因此,如何优化平台性能、提升用户体验,并降低用户的学习成本,是我们在持续创新与发展过程中必须解决的课题。

(1)UData 自助式敏捷 BI——性能专项

性能诊断:在数据接入、数据集配置以及数据报表看板配置等不同阶段,平台都提供了性能诊断功能。如果发现数据在接入时不符合性能需求,可以设定相应规则,仅允许符合性能标准的数据进入系统使用。在数据集和数据看板的配置过程中,我们也提供了性能诊断功能,为用户提供合理的配置建议并限制其分享范围,以优化数据集和数据看板的查询使用性能。物化数据:通过分析用户查询数据的频率和用户数量等因素,针对热门数据源,执行物化操作,并对历史开发中存在的不合理数据表进行相应的数据治理,例如拆分大表等以确保数据资产的质量及用户使用体验。缓存策略:采取主动与被动缓存结合的方法。对于低频更新的离线指标看板,我们采用主动缓存,确保数据在用户首次查看时被缓存。其他用户访问时,我们从缓存中读取,保障性能。此外,提供个性化配置策略,允许业务人员根据数据输出时间进行配置,包括缓存时间和时效。这有助于减少性能资源损耗。

(2)UData 自助式敏捷 BI——稳定性专项

稳定性专项的衡量指标为可用性和故障率,可用性越高,故障率越低,系统的稳定性就越好,针对各种可用性或故障问题提供不同执行策略来保证指标的达成。

首先,对于数据问题,我们通过自动化数据接入和数据同步更新,提高数据获取速度和准确性;其次,解决前后端不一致问题,成立专项小组并优化共享方式,如邮件、看板分享等,并与办公协同软件打通;最后,通过产品对接和设计,提升应用性。同时采取措施降低故障率并完善监控。

(3)UData 自助式敏捷 BI——易用性专项

通过新版整体框架的升级,解决了旧版系统的多方面问题,例如操作不连贯、设计繁杂以及展示方式单调等。

首先,在整体框架方面,旧版采用功能型设计,导致用户难以明确需求。新版则根据用户习惯和流程重新编排菜单,减少对用户的干扰;其次,在数据准备模块流程方面,将配置步骤从 11 步简化为 6 步,大幅提高用户效率;此外,在配置页面方面,采用开发算法降低系统复杂度,放大常用操作区域,提升操作流畅度;最后,在数据准备和数据分析模块中,增加列表管理功能,提升系统和谐度,更符合用户习惯。

03

应用场景及案例

1. 业务报表线上化、数据更新自动化

在 UData 平台,看板制作完成后,每次打开看板均可实时刷新数据,避免了重复操作的时间浪费。

在 618 大促等重要节点,需要整点播报数据,而在旧的工作流程中,这一天可能需要刷新和制作数据十几次,每次刷新耗时半小时。UData 平台报表效率提升 80%;在各省区日常运营监控场景下,其提效比例高达 96%。

2. 独立报表提升查询分析效率

针对仓库客单积压场景的独立报表分析平台解决方案。基于集团用户制作完成的看板,不同省区用户需要进行更深入的分析。因此,一线用户可以利用独立报表功能,根据自身需求进行个性化看板的配置,无需再经历从数据查询到数据配置的一系列流程,查询分析效率得到了显著提升。

3. 数据服务场景

在研发层面的应用上,若业务需求涉及大型项目,研发团队需开发众多接口。通过 UData 平台,他们可以利用低代码配置方式,避免全部采用接口开发,从而在研发效率上实现显著提升。此外,数据资产的转换效率也能提高五倍以上,开发成本降低 80% 以上。

4. 人人都是数据分析师

在推进平台运营宣传过程中,我们注意到一线业务人员在数据处理方面的能力各异,同时业务需求分散且多样。为提升业务人员的能力并满足其数据需求,我们与各业务部门协同开展了“人人都是数据分析师”的专项培训。

首先,我们与各业务部门达成一致,制定了适应不同业务线的培训计划,主要以专题培训形式开展,涵盖各类数据需求模块、客户投诉模块、时效分析模块等。我们邀请集团层面相应模块的负责人参与,引导用户构建高质量、可复用的数据集。

数据集建设完成后,我们通过用户组形式将其共享给省区、片区等不同层级的用户。在使用平台工具时,这些用户可以直接应用已创建的数据集,无需从零开始搭建,降低了学习成本。

此外,我们还设立了复盘和激励机制,以提升业务人员的学习积极性。目前,已成功于物流的运力、拣运和终端等业务部门开展培训。

5. BI 到 AI 能力进阶

在实现从 BI 到 AI 能力跃进的过程中,如何更高程度地发挥数据资产的价值,是我们亟待解决的问题。我们希望更多的用户能够便捷地获取到所需的数据,从而充分利用数据资产。结合数据资产管理平台、大模型的技术及内部协同工具的经验,旨在为用户提供更丰富的数据获取途径。

用户可通过小助手机器人问答式交互方式获取数据。系统可根据个性化配置进行预警推送,主动推送数据至用户,使用户可以随时关注业务数据正常或异常情况。从而实现数据资产的变现,提升业务效率。

以上就是本次分享的内容,谢谢大家。

0 阅读:5

大数据智能说

简介:感谢大家的关注