查询提速！河北幸福消耗金融基于 Apache Doris 构建及时数仓武艺

作者｜河北幸福消耗金融 信息科技部

操持 | 李冬梅

随着河北幸福消耗金融的客户数目和放贷金额持续上升，怎样依托大数据、数据分析等武艺来提供更好决定支持、提高事情听从和用户体验，成为了如今亟需处理的成绩。基于此，公司决定搭建数据中台，从基于 TDH 的离线数仓再到基于 Apache Doris 的及时数仓，终极一致了数据出口，提升了数据质量，并完成查询速率近 400 倍的提升。本文将具体为各位分享河北幸福消耗金融数据中台搭建履历和使用实践，渴望为其他企业带来一些多益的参考。

河北幸福消耗金融股份仅限公司由张家口银行倡导设立，是 2017 年 6 月正式开业的举国第 22 家、河北省首家消耗金融公司，主要面向一局部客户发放最高额不凌驾 20 万元的普惠、小额、信誉消耗存款。现在公司办事地区掩盖举国 32 个省级单位，相继获评为国度封建武艺部认定的举国高新武艺企业、河北省科技型中小企业和石家庄市科技“小巨人”企业。

随着客户数目和放贷金额持续上升，怎样依托大数据、数据分析等武艺，为各业务线职员提供更好的决定支持，怎样提高事情听从、为客户提供更佳的使用体验，成为了如今亟需处理的成绩。具体需求如下：

• 高管看板类：搭建高管驾驶舱协助高层快速了解公司如今的全体策划情况，驾驶舱集周全业务线数据，包含及时业务目标和离线业务目标，在该场景下我们渴望查询后果可以在 毫秒内前往，便于办理层举行高效决定。
• 及时变量类：为给风控决定提供及时支持，需在 500ms 内前往全产物线查询后果，并可基于哀求、授信、关联人、逾期以及还款等基本信息，盘算产物级、客户级和欠条级高维度衍生变量 。
• 决定分析类：为给各业务部分提供业务分析和决定支持，需在秒级前往年、季、月多维度的主题报表，特别是风险部分，必要从放款开头回溯全生命周期的运营情况；而计财部分，则必要经过以往策划数据体现，猜测将来的红利，数据量大且逻辑繁复。
• 风险建模类：提供全量、明细级的数据，用于风险建模的变量跑批，满意对客户评分评级，到场审批、授信等中心业务的要求，以支持业务目标的观察、投入产出分析、变量挑选以及决定订定等业务需求。
• 羁系合规类：为确保业务切合干系执法法例、行业标准等标准，必要依据羁系合规的要求举行合规子体系的定期上报，上报的数据分为目标汇总项数据和明细数据。

为了满意不同业务线对数据分析的需求，公司开头搭建数据中台并对举行优化。最初，公司基于商业化产物 TDH 搭建了离线数仓，以满意基本数据分析需求。但是，随着数据时效性的提高和及时分析需求增长，公司急迫必要搭建一款及时数据货仓。因此引入了 Apache Doris 并在此基本上搭建了及时数仓，终极创建了一个高效、安定的数据中台。本文将具体为各位分享河北幸福消耗金融数据中台搭建履历和使用实践，渴望为其他企业带来一些多益的参考。

基于 TDH 的离线数仓

因早前主要处理的是离线分析需求，优先基于 TDH 集群建立离线数仓。经过 Sqoop、DataX 将高明数据收罗到离线数仓，颠末标准化数据洗濯，完成数仓的平常跑批。离线数仓架构图如下所示：

随着数据积累和业务职员对数据时效的要求越来越高，基于 TDH 离线平台的一些成绩渐渐显现出来：

• 数据收罗同步时效慢：离线数仓抽数东西依托于 Sqoop、DataX 等组件，而受限于调治周期，此类东西收罗的数据一定有滞后性。
• 资源分歧大：离线数仓逐日跑批时间跨度大，寻常从清早到中午 5 点支配，这将招致跑批和即席查询之间产生资源分歧，影响业务职员的使用体验。
• 查询分析慢：在使用离线平台举行自界说统计分析和数据探究时，查询分析呼应速率慢、时效性难以保证，严峻影响事情听从。
• T+1 延长高：各业务线对及时数据处理的需求在渐渐增多，T+1 的数据以前无法顺应数据快速获取和产生业务代价的诉求。
• 报表定制周期长：报表定制化开发有固有的迭代周期，难以满意业务职员对数据的机动多样的分析探究。
• 烟囱效应：定期上报数据时，数据中台必要从多个业务体系中拉取数据。当业务体系产生变动后，会触及上述干系的报送子体系，构成烟囱效应。

武艺选型

为了处理上述成绩，我们急迫必要一款 MPP 引擎来构建及时数仓。关于新引擎我们有几个基本的要求：起首，必要简便易上手，以便团队快速把握和使用；其次，必要具有强壮的数据导入才能，以便快速高效地导入海量数据；同时，必要兼容离线数仓干系东西，以便与现有的数据处理东西和武艺体系无缝衔接；别的，搭建和切换本钱也必要低，以便快速摆设使用和举行扩缩容；最初，它必要具有较好的并发才能和精良的查询功能，以便支持高并发、繁复查询等业务场景的需求。

在以上选型要求驱动下，我们对现在比力盛行的 ClickHouse 与 Doris 举行了体系的调研，此中 Apache Doris 更切合我们的选型的要求，具体缘故如下：

• 摆设本钱低：Doris 接纳分布式武艺架构，摆设只需两个历程，不依托其他体系，在线集群扩缩容，主动抄本修复，摆设及使用本钱较低。
• 快速上手使用：Doris 接纳主流的分区分桶计划思绪，索引布局与 MySQL 的思绪相似，干系职员在使用 Doris 时无需学习多量的新知识。比拟之下，ClickHouse 在建库建表必要分散指定典范，使用流程比拟力较繁琐，上手难度也比力高。
• 东西兼容：业务职员通常使用 TDH 的客户端东西 WaterDrop 举行离线数仓查询，Doris 经过标准协议链接可完善兼容 WaterDrop，而 ClickHouse 无法兼容。
• 数据生态圈丰厚：Doris 数据生态圈丰厚，与 Flink、Kafka 等组件团结度较高，同时支持联邦查询，提供了丰厚的数据导入和接入办法，可以满意多场景下的数据处理需求。
• 高并发才能：我们对 Doris 举行了功能压力测试，在高并发和大数据量的情况下，Doris 体现出较好的功能和安定性，可以满意不同业务场景的需求。
• 社区活泼度高：Doris 社区十分活泼，有多量的开发者和用户到场此中，提供了丰厚的武艺支持息争决方案。同时 Doris 社区提供了全盘的文档和材料，便利用户学习和使用 Doris。别的，SelectDB 为社区提供了一支全职专业的武艺团队为社区用户提供办事与支持，任何成绩均可取得快速呼应。

基于 Doris 的及时数据货仓

在离线数仓的基本上，使用 Doris 团结 CDH 集群、Airflow 集群搭建了及时数仓，及时数仓的数据泉源主要为离线数仓和 MySQL，使用 Flink CDC 团结 PyFlink（使用 Python 调用 Flink 的 API，简称 PyFlink）将 MySQL 中的数据及时地收罗到中心盘算引擎 Doris 中（后文将具体先容），表层为 Airflow 分布式调治体系，可以将及时职责举行常规化的调治运维。我们对 Doris 引擎举行了基本数仓分层，数据颠末各层处理后一致为各场景提供数据办事。

基于 Doris 提供的丰厚的导入办法，我们可以快速将离线数仓中的及时数据洗濯整合接入到 Doris 集群中，完成数据的快速迁徙。现在我们以前将基于 TDH 的查询分析和数据探究办事全部转移到 Doris 引擎上，借助 Doris 引擎快速盘算的才能和精良的查询功能，可以更高效地举行数据处理和分析，业务处理速率和听从取得明显提升。

以某 SQL 为例，该 SQL 主要使用在信贷审批场景。我们比力了原有架构和新架构从十万、万万，亿级别的三个大表中的查询前往速率。后果体现，在已往 TDH 架构中实行查询必要 11 分 30 秒才可前往后果，而在基于 Doris 的新架构中仅必要 1.7 秒即可前往后果，速率提升近 400 倍！

数据范围：

原有离线数仓：必要 11 分 30 秒才可前往后果

基于 Doris 的新数仓：优化查询后仅必要 1.7 秒即可前往后果，偶尔乃至可以 1 秒内前往。

使用实践

及时数据归集

公司的业务体系通常是依照产物举行库区分，各个产物表布局坚持一律。而及时数仓中心功效就是依托 Doris 丰厚的导入才能，将疏散的库对应的相反的逻辑表归集到 Doris 下的同一个逻辑表上，搜集后的数据也能在羁系主题层面举行全体调停，制止烟囱效应的产生。搜集的及时数据进入数仓后，会主动触发衍生变量的主动盘算，更新衍生变量的值。而衍生变量的汇总值在一个单独的表中，当举行查询时，可以完成毫秒级别的查询呼应。

在举行及时数仓归集时，起首必要确定 FlinkCDC、Flink 、Flink on Yarn、Apache Doris 等中心组件的版本号，接着基于 PyFlink 举行产物化主动接入及时数仓的建立。具体利用如下：

• 在数据层面，将业务体系数据库依照水安然垂直举行切分，以提升读写功能并增长高可用性。
• 在数仓层面，我们对业务表的数据举行了维度搜集，以便举行更好的一致汇总分析。
• 在数据接入方面，我们必要高效地接入现有业务体系的存量数据，并持续安定地接入增量数据。

别的，我们还提供了标准化的接入方案和接口，以满意不同业务场景的需求。

使用步调：

1、接入设置表：设置归集的业务库表的干系信息

2、调治体系摆设：经过调治体系摆设及时归集的职责

3、职责常规运维：我们对职责上线、启动、中止和特别规复处理等功效举行了高度封装，并与分布式调治体系 Airflow 举行了深度集成和交融。使用职员不必体贴底层细节，可以轻松地将 MySQL 表一键迁徙到 Doris，完成存量和增量数据的主动化迁徙。经相反，社区现在已公布了 Doris-Flink-Connector 1.4.0 版本，该版本集成了 Flink CDC，可以完成了从 MySQL 等干系型数据库到 Apache Doris 的一键整库同步。

数据质量监控

离线数仓存在种种数据质量成绩，这些成绩通常在数据跑批时才会暴显露来，招致数据修复时间窗口急剧被紧缩。为了处理这个成绩，我们使用 Doris 创建了数据质量监控体系，同时将离线数仓的数据质量监控模子迁徙到 Doris 。基于该体系可以及时监控业务目标和数据质量，并在发觉成绩时及时举行人工干涉或报警，提高离线数仓跑批的安定性和听从。别的当及时数仓获取归集后的数据后，可经过数据质量监控体系的校验端正第一时间对数据质量举行及时反省，确保数据归集的准确性。

现在我们以前将 30% 的数据监控目标和 35 个业务目标迁徙到 Doris 及时集群上，每月可告捷规避成绩 3 次以上，好效提升了离线数仓跑批的数据质量。后续我们将持续将更多的数据监控目标和业务目标迁徙到 Doris 集群中，以进一步提高数据处理的听从和质量。

数据联邦查询

各业务条线的中心数据存储在不同典范的数据库中，如 MySQL、Hive、ES 等。Apache Doris 1.2 版本提供的 Multi Catalog 功效可以一致数据查询出口、完成联邦查询，为数据分析提供了极大的便宜。同时，借助 Doris 的历久化才能，可以经过外表的办法快速同步其他数据源数据，便利快捷。别的，经过 Apache Doris 聚合查询、向量化引擎等武艺的加持，我们真正完成了高效的数据一致流派，提高了数据分析的听从。

优化履历

负载均衡

随着 Doris 接入的业务量不休增长，FE 的负载也在不休增长。为了完成 Doris 的高可用性，我们增长了 FE 节点数，在多个 FE 节点上摆设负载均衡层。我们选择基于 Nginx TCP 反向署理的办法来构建 FE 的负载均衡，好效地完成了 FE 人物之间的负载均衡。具体设置办法如下：

查询优化

如今审批体系的业务数据历久化在干系型数据库 MySQL 中，累计总进件量将近 2.8 亿。为了应对日益变大的的数据成绩，业务体系的数据库接纳了分表和数据归档的计划思绪。但是在业务上，我们仍必要对全量数据举行业务查询，并且时效要求在 3 秒内前往后果。以下是查询需求的笼统分类：

• 以“哀求编号”，“客户编号”，“身份证号”，“中心客户号”中的一个或多个作为查询条件举行查询
• 以“哀求日期”或“更新日期”中的一个条件，团结“姓名”、“哀求典范”、“进件渠道”、“白名单渠道”、“决定阶段”、”审批典范”、”审批后果”等构成复核条件做查询
• 以“哀求日期”或“更新日期”中的随意一个为条件，对近一周的审批明细数据举行查询查询

为了满意以上查询场景的需求，我们将审批进件数据团结 Doris 引擎的分区分桶武艺、布隆过滤器和位图索引举行公道的计划，终极全体完成了满意业务上 3 秒内的查询听从需求。

优化战略：

分区：apply_time

分桶：ID、database_name、table_name

布隆索引：id_number, bhb_customer_id, customer_name, customer_id, serial_no

位图索引：apply_source,white_channel,approval_result,approval_status,product_type,decision_stage

基于上述查询的压测目标后果如下：

运维办理

经过 Doris 提供的 Prometheus 和 Grafana 可以快速获取 Doris 集群的全体康健情况以及各个人物的多方相貌标值。同时我们还将监控平台与公司一致告警平台举行二次交融，告警平台可以经过 API 获取 Prometheus 的基本目标值与阈值举行比力，从而触发不同级别的报警大概到达办事主动重启。别的，我们在 FE 和 BE 办事级别上完成职责的主动运维，确保在办事特别时可以主动拉起，确保中心折务的可用性。

总结收益

Doris 以前在公司内里取得了广泛的使用，现在已搭建数十台集群范围，为公司带来了以下收益：

• 数据处理时效提升：数据处理的时效从 T+1 到及时，处理了离线数据延长的成绩。
• 秒级查询呼应：借助 Doris 分区分桶、物化视图、布隆索引等功效举行查询优化，即席查询的速率从原先的 20 分钟支配低落到分钟乃至秒级呼应，相较之前有近 400 倍的速率提升。
• 一致查询出口：依托于 Doris 强壮的导入才能和 Multi Catalog 功效告捷将各业务库的数据整合汇总到 Doris 中，由 Doris 一致提供数据查询及分析办事，极大的提升了查询分析呼应听从。
• 提升数据质量：基于 Doris 创建了数据质量监控体系，现在我们以前将 30% 的数据监控目标和 35 个业务目标迁徙到 Doris 及时集群上，好效提升了离线数仓跑批的数据质量。

综上所述，Doris 在公司内里的广泛使用，为我们带来了多方面的收益，助力企业提升数据分析听从、低落数据办理本钱、完成一致、及时、高效的数据中台建立，为业务向好提高注入了新的动力。

将来我们将持续扩展 Doris 的使用范围，在及时、功能、时效要求更高的业务范畴发力，其次我们还将实验使用 Doris 更多的功效及新特性，一方面深化 Doris 在公司的使用，另一方面我们会将真实的使用体验反应到社区，协助 Doris 进一步迭代优化。

活动保举：

2023年9月3-5日，「QCon举世软件开发大会·北京站」 将在北京?富力万丽旅店举行。此次大会以「动身·AIGC软件工程厘革」为主题，操持了大前端交融提效、大模子使用落地、面向 AI 的存储、AIGC 海潮下的研发效能提升、LLMOps、异构算力、微办事架构办理、业务宁静武艺、构建将来软件的编程言语、FinOps 等近30个出色专题。扣问购票可接洽票务司理 18514549229（微信同手机号）。