项目档案 / 04文旅大数据平台
智慧文旅大数据分析与运营管理平台
TOURISM ANALYTICS PLATFORM
以 Elasticsearch 为查询调度中心,将复杂检索从秒级压缩到毫秒级。
担任角色 / 后端核心开发
- 搜索响应提升
- s→ms
- 复杂检索耗时
- Quartz 数据任务
- 异地冗余备份
A
项目背景
Background
面向文旅业务的进阶版分析与运营平台,聚焦高频写入、复杂检索、实时聚合与舆情监测等场景,重点推动检索性能和报表能力升级。
- 20+ Quartz 持久化数据任务
- 180 天长周期异地冗余备份
- 客流、票务、舆情多维实时聚合
B
核心挑战
Challenge
- 01
高频写入与复杂检索并存,MySQL 单一存储无法同时满足两类负载。
- 02
客流画像、票务分布等多维实时报表依赖传统 GROUP BY,性能不足。
- 03
投诉、社交媒体、新闻资讯等异构内容需要高效全文检索与舆情监测。
C
架构方案
Architecture
系统组成
- 业务写入层
- MySQL 主存储
- 同步链路
- Elasticsearch 查询调度中心
- Aggregations 实时报表
- WebSocket 预警推送
关键链路
- MySQL ↔ ES 双写同步 → 最终一致
- 倒排索引 + 关键词加权 → 全文检索
- 聚合分析 → 实时报表 → 预警推送
D
实现与职责
Implementation
围绕“高频写入、复杂检索”场景引入 Elasticsearch 作为查询调度中心,设计 MySQL 与 ES 的双写及同步链路,确保数据最终一致性并将复杂检索从秒级降到毫秒级。
利用 ES Aggregations API 替代传统 MySQL GROUP BY,支撑客流画像、票务分布、景区热力值等多维实时聚合与即时报表生成。
重构搜索与舆情模块,基于分词器、倒排索引和关键词加权实现投诉、社交媒体动态、新闻资讯的高效全文检索,整体响应速度提升 10 倍以上。
基于 Quartz 持久化调度 20+ 数据任务,并通过 WebSocket 实时推送预警结果,实现客流过载等监控信息的低延迟反馈。
主导 180 天长周期异地冗余备份方案与 ES 分片、副本优化,确保单节点故障场景下业务平滑切换。
E
关键成果
Impact
- 搜索响应提升
- 10x+
- 复杂检索耗时
- s→ms
- Quartz 数据任务
- 20+
- 异地冗余备份
- 180 天
F
技术栈
Technology
- Spring Boot
- Elasticsearch
- Redis
- MySQL
- Quartz
- Canal / MQ
- WebSocket