《HBase在车联网中的应用与实践》由会员分享，可在线阅读，更多相关《HBase在车联网中的应用与实践（23页珍藏版）》请在金锄头文库上搜索。
1、,HBase在车联网中的应用与实践,技术创新，变革未来,目录 / Contents,01,选型与应用,02,稳定性建设,03,平台建设,04,未来规划,2,业务特性-数据流,硬件层采集数据 网络层过滤数据 解析层解析数据 缓冲层暂存数据,加工层处理数据 存储层存储数据 分析层分析数据 应用层展示数据,自研设备,硬件层,其它设备,网关,网络层,SLB,防火墙,808协议,String协议,MQTT协议,RocketMQ,Kafka,解析层缓冲层,数据计算中心,ETL引擎,加工层,数据库入库机,HBase,存储层,HDFS,RDS,DRDS,Hive,数据挖掘,指标分析,决策支持,统计报表,机器学
2、习,分析层,里程,轨迹,油耗,事件,更多,应用层,01,选型与应用,1,存储选型,2,HBase接入-SDK,基本功能&ORM 日志上报 双活切换,3,里程计算设计,实时计算,小时计算,天计算,RocketMQ,HDFS,Kafka,HBase,storm实时计算,ETL实时采集,Spark小时 计算/天计算,ETL实时采集,3,Rowkey设计,满足查询条件,防止热数据,性能以及成本,Rowkey设计,Reverse(imei)+00000+string(date),里程表每天的写入量：50亿+，读取量100亿+,4,列设计,满足需求,提高性能,节约成本,所以我们最终是以业务读取数据的需求分
3、组，将相同 需求的数据放在同一个列或者列蔟里面，以json的形 式存放，减少元数据。,5,集群设计,正确初始化 有瓶颈再谈优化 用数据验证结果 性价比衡量,业务关联,调整读写缓存内存分配比例 调整读写队列 关掉wal log,协 议 解 析 端,Flume,Kafka集群,ETL消费,HBase集群,平台系统,数据量大 配置低 写入性能要求高，查询较少,报文系统,7,数据分层,温数据（近线查询）,冷数据（离线查询）,热数据（在线查询）,数据实时同步,公有云,热数据,HBase,私有云,冷数据,HDFS,温数据HBase,Hive,Spark Hive MR,SDK,02,稳定性建设,1,遇到的
4、问题,HBase Request有时候突 然很低，大量请求都超时,HBase总是会定时的出现请 求超时，几分钟后，又自动 恢复有自动恢复,长时间的RIT，无法提供服 务,2,基础监控,Metrics监控,组监控,3,表监控,集群吞吐监控 表吞吐监控 连接监控,4,填过的坑,限流,协处 理器,导数 据,FixedIntervalRate Limiter AverageIntervalR ateLimiter,count Sum Avg .,Sqoop Mapreduce .,5,攻防演练,故障库,环境隔离,文档总结,定期演练,6,双活,数据实时同步,Sdk自动切换,双活的实现,配置中心管理,Kafka,HBase,Kafka,HBase,master,slave,03,平台建设,1,概览,数据查询 数据修改 表管理 监控 报表 报警 限流 双活切换,04,未来规划,1,未来规划,HBase2.0 phoenix的深度配合使用 HBase的统一写入 形成HBase的存储体系,谢谢聆听,
