项目档案 / 03交通大数据分析稳定运行 6 年
城市智慧交通车流大数据分析平台
TRAFFIC DATA PLATFORM
三位一体数据架构支撑 3000 万+ 车流记录的实时分析,稳定运行 6 年。
担任角色 / Java 高级开发工程师 / 后端核心开发
- 稳定运行
- 车流记录
- 查询耗时优化
- QPS 提升(约)
- 预测精度提升
- 核心业务类
A
项目背景
Background
面向卡口设备接入、车流实时统计、区域态势分析与大屏可视化的综合大数据平台,已稳定运行 6 年,累计支撑 3000 万+ 车流记录分析,年新增 500 万行,核心模块 carFlow 含 90+ 业务类。
- 累计超过 3000 万条车流记录
- 年新增 500 万行
- 核心模块 carFlow 含 90+ 业务类
- 500+ Java 文件的架构维护
B
核心挑战
Challenge
- 01
大屏统计查询在 ES / MySQL 架构下耗时达 10 秒级,无法满足秒级刷新需求。
- 02
海量车流数据的采集、清洗与聚合链路复杂,早期车流预测存在明显误差。
- 03
长周期运行系统的日志追踪与问题排查成本高。
C
架构方案
Architecture
系统组成
- 卡口设备接入
- Quartz 任务集群
- MySQL 业务存储
- ES 全文检索
- ClickHouse 聚合分析
- 可视化大屏
关键链路
- Artemis SDK → 自动拉取 → 数据清洗
- 三位一体存储 → Redis 多级缓存
- ClickHouse 聚合 → 秒级大屏刷新
D
实现与职责
Implementation
主导从 ES / MySQL 分析查询向 ClickHouse 列式 OLAP 架构演进,将大屏统计查询耗时从 10 秒级降低到毫秒级,实现秒级数据刷新。
设计“MySQL 业务存储 + ES 全文检索 + ClickHouse 聚合分析”的三位一体架构,结合 QueryHelp、自定义 SQL 与 Redis 多级缓存使 QPS 提升约 40%。
利用 Quartz 构建定时任务集群,完成海康 Artemis SDK 设备数据自动拉取与清洗,并通过 OSHI + WebSocket 打造自动部署和实时监控模块。
重构数据清洗规则与聚合维度,修复早期车流预测误差问题,结合 ClickHouse 聚合算子使预测精度提升 25%。
负责 500+ Java 文件的架构维护,使用 MapStruct 替代反射转换,结合 AOP + @Log 打通全链路日志追踪,显著缩短线上问题排查时间。
E
关键成果
Impact
- 稳定运行
- 6 年
- 车流记录
- 3000万+
- 查询耗时优化
- 10s→ms
- QPS 提升(约)
- +40%
- 预测精度提升
- +25%
- 核心业务类
- 90+
F
技术栈
Technology
- Spring Boot
- Spring Data JPA
- ClickHouse
- Elasticsearch
- MySQL
- Redis
- Quartz
- WebSocket
- MapStruct
- 海康 Artemis SDK