开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第1天，点击查看活动详情
1. 证券业务介绍
证券是多种经济权益凭证的统称，因此，广义上的证券市场指的是所有证券发行和交易的场所，狭义上，也是最活跃的证券市场指的是资本证券市场、货币证券市场和商品证券市场。证券市场是股票、债券、商品期货、股票期货、期权、利率期货等证券产品发行和交易的场所。
行情项目相关业务的开发和实施需要我们提前了解一些证券方面的业务知识，比如说开盘价、收盘价、成交额、涨跌等。证券业务知识可参见资料：“第1章\4.资料\证券业务”
《证券基础知识.pdf》
《证券业务介绍.pptx》
2. 实时行情项目介绍
2.1. 背景
对证券市场每日的业务交易，业务部门需实时监控证券市场的各种技术数据指标，由监察部提供访问入口，来实现对证券市场交易数据的统计分析。股票证券实时行情系统在此背景下产生。此股票证券实时行情系统是对股市行情交易数据进行实时采集、实时数据分析、多维分析，即席查询，做到实时大屏监控和展示。此系统属于监察预警体系，整体包括预警规则管理，实时预警，历史预警（定时、轮巡），监察历史数据分析等。
此项目是在重构并优化证券数据模型，优化历史数据分析过程和技术，大幅提升历史数据分析性能；为数据仓库前端应用提供数据服务，并简化下游系统对大数据平台多种数据存储方式、计算资源的访问方式，以统一的方式管控下游系统访问请求。可满足监察业务发展数据建模需求同时，保证核心数据模型有效性。
2.2. 目标
大数据体系的建设应当在容量、性能、安全、开放性、可扩展、低成本等多维度体现出整体的优越性，形成体系化、高标准数据服务能力，为业务体系提供多层次数据服务，包括基于时效的实时数据服务、准实时数据服务、历史数据服务，以及基于数据特征的结构化数据服务、半结构化数据服务和非结构化数据服务。
建成后的大数据支撑体系应当能针对海量、多态数据提供高效、低成本服务，构建面向未来的预测分析体系，满足业务专员、数据科学家通过统计分析、机器学习、数据挖掘、分布式处理等先进数据处理技术对海量数据进行仓内、仓外复杂分析；满足统计类、监察类、风险类、以及新业务形态的深度应用，最终达到交易与分析体系数据的融合，持续缩短业务数据的响应时间。
通过实时流处理解决方案，将行情数据，通过预设模型进行加工处理。对实时变化数据进行高效的预设数据模型处理，利用信息整合、分析等大数据技术，对行情数据进行分析、挖掘潜在价值。
可以为后续监察系统、数据信息服务系统提供实时数据支持，增加数据服务内容，提高生产效率和质量，进而提高客户的满意度。
建设可扩展的预警支撑技术体系，支撑当前规模预警业务，特别是通过硬件资源扩展，在保证性能指标前提下，满足未来5-10年的业务增长要求；
3. UI产品原型
3.1. 监控大屏
3.2. 行情列表
3.3. 详情页面
1.分时行情
2.K线行情
4. 业务功能
4.1. 业务模块
1、数据采集
2、离线数据处理
3、实时数据处理
4、实时预警监控
5、离线预警
6、应用大屏展示
4.2. 业务文档
需求文档请参见资料“第1章\4.资料\需求文档”
Web项目：《大数据平台需求规格说明书-今日指数（前端应用）.docx》
流处理项目：《今日指数数据模型.xlsx》
数据采集：《数据源接口规格说明书.docx》
4.3. 性能指标
大数据平台作为底层的基础数据平台，集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量（网络、磁盘IO）、响应速率、计算能力、高并发性、高可用、维护性方便等，以满足多业务场景下，不同应用需求的建设任务，比如多维分析、实时计算、即席查询和数据统计分析等应用功能。
本项目大数据平台在建设过程中，将满足如下性能指标：
l 批处理部分指标：
Ø 支持批处理集群批量总写入速度2GB/秒，批量读取速度300MB/秒；
Ø 平台支持并发执行300个查询和200个加载任务；
Ø 应用查询时间对于数据库的简单数据读取将不超过1~2秒，三个月统计计算查询时间将不超过15秒，复杂查询时间将不超过1分钟；
Ø 复杂批处理任务，ETL的处理时间将不超过2个小时；
l 实时流处理指标：
Ø 平台支持接收峰值为每秒100万条+的流数据；
Ø 平台能够在峰值条件下，完成2秒内的实时预警，2秒内完成针对当日数据的查询;
Ø 平台每日实时处理模块能够累积处理144亿笔（按4小时交易日保持峰值流速计）订单流数据；
Ø 平台支持至少50个并发访问/查询当日数据。
l 应用响应指标：
Ø 数仓应用项目离线报表30秒内完成数据响应查询；
Ø 实时大屏数据展示5秒内完成数据响应查询；
Ø 应用平台支持并发执行500个用户查询请求；
| 类型 | 业务场景 | 业务场景特征 | 并发度 | 耗时 |
|---|---|---|---|---|
| 简单 | 秒级行情亿级数据查询 | 功能点查询 | 500 | 1s |
| 中等 | 业务指标数据加工 | 亿级数据关联查询 | 50 | 10s |
| 预警规则关联查询 | ||||
| 复杂 | 大表关联大表 | 复杂历史数据查询 | 20 | 30s |
| 实时报表 | 实时大屏报表生成 | 当日实时报表 | 50 | 2s |
| 历史报表 | 历史报表生成 | 跨年历史报表生成 | 20 | 30s |
| 实时行情 | 指标数据实时展示 | 页面实时查询 | 50 | 1s |
4.4. 数据存储规模
秒级行情(Hbase)：存储5日内秒级行情，数据量为2.88亿条
分时行情(Druid)：存储半年内分时行情数据，数据量为8.64亿条；
历史数据(Hive数仓)：以沪深市场2万只证券，存储时间按1年统计：
秒级行情： 210亿条以上
分时行情： 20亿条以上
K线： 1500万条以上
日数据采集总量统计 ：
20000（只）* 3600（秒）*4（小时）= 2.88（亿）≈ 85（GB）
