《ethnk大数据解决方案》由会员分享，可在线阅读，更多相关《ethnk大数据解决方案（30页珍藏版）》请在金锄头文库上搜索。
1、大数据平台及解决方案,目录,ETHINK产品,1,大数据领域分类树,ETHINK的目标是在分析和加速计算领域做到国内 第1 或 第2的位置,快速整合和管理各类大数据，对信息进行高级分析。 可视化所有数据，对数据进行统计、挖掘、关联分析。 为构建报表、仪表板、图文报告、可视化分析、钻取分析、数据挖掘等应用提供了整套基于html5的设计开发环境,ETHINK大数据平台,应用栈,云BI平台访问,云BI平台访问,目录,解决方案,2,方案一：交互式SQL统计与数据挖掘,关系表,关系表,关系表,交互界面,SQL接口 JDBC/ODBC,ETHINK 并行算法库,ETHINK 内存分析库 （Index,fi
2、lters）,Hadoop HDFS,sqoop,cache,Checkpoint,数据挖掘,内存分析引擎适合提供高速在线分析服务，如按数据维度进行统计、聚合，根据历史数据进行拟合和预测以及计算数据之间的相关性和模式等,方案二：实时在线处理,关系 数据库,警告,已有应用 服务器,应用,Ethink 查询分析引擎,HBase,实时入库,事件,记录,影像,HTTP/REST,接口,接口,接口,搜索、统计、分析、图推理,简单查询扫描,交易记录、实时事件、电话清单等724不间断数据,数据来源多、高并发以及生成速度快，并且要在数据流动的过程中进行分析和计算。,方案三：实时流处理,ETHINK流引擎,在线
3、模型训练,时间窗口统计,Stream Driver 流驱动器,转换、清洗,实时查询,Stream Applications,Stream QL 统计,Stream ML 机器学习,实时查询,异常阀值对比报警,传感器网络,传感器日志,传感器日志,消息队列,Map/Reduce,Hadoop HDFS,传感器日志,/2013101/ /20130102/,流式计算系统是针对其处理的数据是从前端或者其他数据源持续不断地输入的，应用的处理逻辑由这些源源不断的数据流驱动，持续对输入的数据进行计算。,方案四：离线分析与挖掘,支持SQL统计，在数据量达到100TB规模时，是数据仓库的唯一解决方案,Trans
4、warp Manager 安装、部署、管理、监控和告警,HiveQL-SQL翻译器,JDBC,CLI,ODBC,R 统计语言,Web,并行化R,Ethink Manager 安装、部署、管理、监控和告警,MAPREDUCE2,YARN 资源管理框架,HDFS2-分布式文件系统,Erasure Code-纠错编码,C/C+,Java,ROB,Text,Image,Binary File,Logs,Sqoop ETL工具,Flume 日志采集,多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用. 使用搜索引擎时，搜索同样的关键词时却让不同的用户看到不同的广告；在电子商务网站购物时，每次
5、浏览同样的商品时，让用户得到不同的商品推荐。,目录,行业应用,3,农业审计,企业审计,社保审计,固定资产审计,保险审计,外资运用,税收 审计,海关审计,财政审计,金融审计,银行,证券,专项审计,经济责任审计,税收、海关、财政、金融、银行、证券、经济责任、保险、企业、社保、固定资产、农业、外资运用、专项审计13大行业数据源,Hadoop大数据集群，大数据分布式内存计算,大数据环境下知识学习引擎、推理引擎，数据挖掘与机器学习,跨行业、跨区域的审计大数据数字化综合分析中心，指挥中心,国家金审工程需求,数字化审计分析平台,审计数据中心平台,电信行业应用,数据存储处理云化 使用GP对海量结构数据进行计算
6、 使用hadoop对非结构化数据整合、计算、查询 数据管理标准化 数据管理标准化 模型标准化 运营管理标准化 应用智能化 自助取数 智能分析 数据服务标准化 提供ESB总线,。,电信行业应用,HDFS（互联网大数据，数据文件）,Node1(date),node2,node3,node4,node5,node6,node7,node8,MASTER（NAMELODE）,hive,zookpeer,大数据接口,Wap上网详单,用户资料,终端注册数据,信息库,上网详单,mapredurce,用户特征,分析汇总,大数据装载、汇总、查询任务实现、执行与管理,客户特征体系（GP）,查询结果,锁管理,六大可
7、视功能,HBASE,存放汇总后的数据,自下而上的数据支持与应用，分为：接口层、HADOOP分布式文件层、应用层,。,地方交通部门,设备724小时不间断捕获图像和视频数据，每月数据量达TB级. 集中管理交通数据。 优化海量数据利用 改善交通. 提升交通案件侦破能力 增强交通警察对机动车辆的监管能力.,交通部门大数据,实时视频监控大数据应用,依托大数据云端平台，开展基于大数据的无重叠视域跟踪技术研究，具体包括： 1）目标检测；2）运动目标跟踪；3）目标信息生成及存储；4）目标关联；5）合成视频回放，并构建相应的视频网络实验平台，利用大数据技术，实现移动目标在大范围区域中的实时检测与接力跟踪，进一步
8、提高视频监控系统的实时性、准确性和可靠性。,中国科学技术大学仿真与智能控制实验室，本实验室在视频处理具有多年的研究经验，已经构建了5版视频监控平台，且开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文，获得视频相关发明专利2项，申请7项。已获得项目有： 1 国家自然科学基金项目（61075073） 2 高等学校博士学科点专项科研基金资助课题（20093402110014） 3 国家自然科学基金项目（61005091） 4 与38所合作项目：基于视频的行人车辆检测和跟踪 其中与38所合作完成的“基于视频的行人车辆检测和跟踪”项目，已经服务于“智慧黄
9、山”工程。,金融行业大数据应用,加强风险管控、精细化管理、业务创新等业务转型。 大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。利率市场化必然会对银行业提出精细化管理的新要求。其次，大数据支持服务创新，能够更好地 实现“以客户为中心“ 理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。 小额信贷，余额宝,医疗卫生行业,健康档案是个人全生命周期的医疗健康数据的管理。 例如，对于慢性病患者，以往病程的变化，治疗的过程都对医生诊断和处置有着重要的辅助作用。过敏史，不良反应这些数据对避免出现医疗差错和事故也
10、有着积极的作用。,房地产大数据,贷款,税收,评估数据,担保,建筑物数据,解决房地产行业风险控制、为调控政策、房地产税制定提供依据 为购房者、卖房者、租房者提供准确的市场信息 反映房地产供求关系，企业可根据需求“定制”房产开发，实现房地产企业精准营销,价格,租金,买家,卖家,经纪人,房地产公司,银行,政府,房屋价值指数,数据资产管理,消费行为模型,房地产大数据,房地产大数据的价值 开发商 房地产大数据分析，可以帮助开发商完成投资区域规划、土地竞拍定价、房屋销售定价、客户精准营销的目的。 个人购房 改变现有房地产销售营销模式和提升产品服务质量。 房地产管理局 实现房地产价格、土地的审计和管控。,针
11、对开发商 大数据分析挖掘实现全国房地产投资区域规划。 全国各地房地产价格、涨势、潜力差异巨大，无法从主观经验信息上对全国各地的房地产现状进行全面了解。 大数据分析挖掘助力开发商竞拍土地 大数据将会使房企拿地变得更加精准，更加具有可分析性，更加有针对性。 通过大数据挖掘建模，分析历史土地竞拍价格、土地周边配套环境及人群特点，分析土地升值空间，甚至预测竞争对手出价范围，建立决策树，达到合理标定竞拍价格范围的目的。 实现住房科学定价 通过搜集房地产微博数据、开盘用户对房屋关注数据、房屋周边配套价值数据、房屋自身成本、房屋设计等各个维度数据，实现数值化的建模。 大数据分析挖掘精确锁定客户，实现精准营销
12、 产品销售会直接面临着用户群，一方面分析房屋自身设计、周边配套、周边现有人群特点，对用户进行全面描绘，形成潜在购买用户的画像。结合线下营销策略，针对不同人群，推荐不同区域的楼盘房型，实现差异化的营销。,针对个人用户 指导用户合理购房，理性投资 互联网运营思路，将会对房地产行业进行重新布局。 通过互联网缩短客户与房地产商之间的距离，房地产企业可以深入了解客户需求，改进投资区域规划，提高团队设计水平，以客户需求为核心，实现产品和服务水平的提升。 产品服务上，分析房屋数据参数和房屋价格，结合用户当前购买能力及生活现状，推荐合适楼盘及户型给用户。管理最终购买产品客户信息，做好回访，挖掘客户自身营销潜力
13、，结合分销政策，拓展口碑传播渠道及市场营销渠道。 房地产管理局、土地规划局等政府部门 大数据挖掘分析可以帮助实现房屋价格管控、土地价格合理评估、土地建设全局规划。一方面，根据现有房屋销售数据、房屋自身属性，建立房地产价格预测模型，以数据为基础，控制开发商对房屋的定价。另一方面，根据城市人口流动数据，房地产销售数据，预测各个地块发展潜力，挖掘具有商业价值地块，辅助政府部门进行城市规划。,目录,产业化目标,4,产业化目标,1）大数据分析产品产业：打造大数据商业智能基础设施平台，并在大数据的分析工具、大数据加速计算、大数据数据挖掘、大数据开发平台等领域开展技术攻关、成果转化、产品沉淀，推进国产大数据分析产品的产业化。 2）云BI产业：基于云计算实现大数据商业智能的服务模式，在国内新兴的SAAS BI市场，推动国内形成新的产业。 3）行业大数据分析产业：基于ethink大数据技术产品，提供行业方案。依托核心技术和产品，基于视频技术提供智慧城市方案。提供电信行业、审计行业、烟草行业、金融行业、房地产等行业数据分析方案，并促进行业大数据互联网运维。,科研成果凝练与转化,技术与市场精准对接,市场对技术的快速应用,产业化,科大先研院及全球领先技术,吸纳,围绕ethink大数据核心技术平台，推广行业大数据产业应用,产业化模式,
