《高频大数据解决方案(powerpoint 29页)》由会员分享，可在线阅读，更多相关《高频大数据解决方案(powerpoint 29页)（31页珍藏版）》请在金锄头文库上搜索。
1、VoltDB 高频大数据解决方案高频大数据解决方案电信信领域域计费和权限管理，用户数据个性化个性化营销广告优化，观众分组能源与能源与传感器感器领域域智能电网/电表，资产跟踪与管理，实时交通与地理位置证券市券市场风控管理，市场数据管理基础设施基础设施数据管道，批次-实时，流媒体的ETL系统中的高频数据2Smart Meter高度切合领域更快: 读/写 负载 延时/吞吐量TPS每秒事物每秒事物处处理量理量Avg. Latency (ms)0500001000001500002000002500003000003500000123456789VoltDB 3.0 Key/ValueVarious r
2、ead/write workload3 Node, K=1 (high available) Cluster10% read/90% write50% read/50% write90% read/10% write电信呼叫数据记录管理网站数据分析、欺诈侦测在线游戏小额交易支付电子广告兑换服务基于位置的无线服务金融贸易监控低频率运行高频率运行数据来源资金市场写/索引所有交易，存储逐笔交易资料显示整合交易者的风险呼叫初始请求实时授权认可欺诈侦测分析入站 HTTP 请求访问者登陆、分析、警告流量图形分析在线游戏等级分数定义的间隔执行玩家 “最好成绩”排行榜状态查找实时广告交易系统匹配形式因素，下单
3、规范，竞价/询价报告广告效能无线设备位置感应器位置更新，服务品质，事物处理事物处理上的数据分析VoltDB 应用案例VoltDB应用/方案的高吻合目标行业行业电信和网络金融服务广告科技能源和应用资本市场电子商务 / 零售业在线游戏以上绝不是仅有的行业！其它行业种类战略性大数据项目早期使用者感应器驱动的环境关键技术特性ACID全事务支持灵活的扩展性错误恢复可持久化到硬盘内嵌OLAP 导出连接器基于网络的异步集群复制6关键特性: 线性扩展7增加一个新结点到VoltDB集群可以有限提升集群的最大吞吐量，也可以增加整个集群的内存容量集群的大小对应用来说是透明的关键特性: 线性扩展（续）右边表格源自于独
4、立的测试机构Percona，标示出线性扩展到每秒150万次的运算和最高推断值达到30个服务器。这个表也表明VoltDB线性扩展具备K-Safety关键特性: 内置异常恢复/HA功能9分区就是复制的单位事务复制操作（不是更改记录）使用Active/Active 同步复制方式应用只有在所有复制节点都提交（或者回滚）后才会收到成功（或者失败）的响应关键特性: 基于网络的数据库集群复制10VoltDB包括一个网络复制Agent这个Agent将事物异步从主集群（可读可写）复制到备集群（只读）异步的方式最大限度容忍网络可能出现的问题整合：高性能导出并行导出接近最大线速基于事先建立的连接HadoopCSVJ
5、DBC (PostgreSQL, MySQL, Oracle)NetezzaVerticaVoltDB 建立了一个基于事务的，可持久化的导出框架在VoltDB完成高质量、实时分析、实时响应，并把结果数据通过VoltDB Export导出到OLAPVoltDB管理和监控Nagios 脚本Logs to Log4jJMXVoltDB 企业管理器每一个节点都有一个内置网络服务器特殊的系统程序VoltDB的一个典型架构ERPCRMHROrdersCartRecom-mendationUser Mgt.ClickStreamInvPersonal-izationData warehouseHadoopT
6、raditional OLTPVelocity OLTPloginssensorsimpressionsordersauthorizationsclickstradesInteractiveReal-time AnalyticsHistorical AnalyticsExploratory AnalyticsAnalytic results enrich decision making使用方案中会包含VoltDB的目标客户理想的销售机会Ideal Prospect Characteristics初期采用者高速率-增长中的交易处理率寻求竞争差异事务处理 需要做出决策创建新的apps 数据吞吐量用
7、尽水平分区Sharding 目前使用手工操作其次寻求削减成本- 准备使用云端ACID 不能做到最终一致性就无法生存次要销售机会对风险抱保守的态度使用传统数据库可以解决问题很少使用到高速决策非结构化数据、文件数据库复杂的查询和分析 特别巨大的数据 J2EE, HibernateWindows/Unix/COBOL architecture bias 吸引用户使用VoltDB的原因（条件）公司的战略同大数据相关新的应用部署，而不是在现有应用上转换数据库额外的数据来源于在线数据为了获取性能、分区等使用费自然的技术手段面临来自于创新的竞争压力Oracle 不能满足性能的需求、授权或者对于降低硬件成本的
8、需求公司需要围绕特定技术寻求发展实时数据分析基于内存的数据库Datameer -从桌面到服务器可视化大数据分析平台Datameer 可视化大数据分析平台Datameer开放式结构Datameer可视化操作、分析与展示界面28.io 海量数据的综合信息查询分析平台海量数据的综合信息查询分析平台现代公司的信息量往往大爆炸 种类 容量 速率企业数据被储存在孤立的数据企业数据被储存在孤立的数据 仓库仓库中中28io 海量数据的综合信息查询分析平台解决方案可视化了的查询的查询及处理图层结构化数据/半结构化数据/非结构化数据 JSONiq 查询语言言: 非关非关联数据数据库的的结构化构化查询语言言自自动并
9、行运算并行运算REST API实时NoSQL(MongoDB, CouchDB, .)SQL through JDBCFile Stores(S3, GlusterFS, )JSON, XMLRelationalText,Pdf,HTM.Other data stores.其它数据格式商业应用Web Services(Salesforce, Zendesk, )JSON, XML连接与查询分析28.ioUnified InformationAccess PlatformContent sources storing documents, emails, books, articles, web
10、 pages, etc.Relational DatabaseFilesystemThird-Party Content Feeds (XML, HTML, ZIP, etc.)NoSQL DatabaseQuery across disparate content repositoriesEditors,Content CuratorsSearch, reuse, repurpose contentWeb Sites, Portals, Web AppsMobile AppsDynamically render and deliver content in multiple formatsC
11、ustom Content FeedsSeparate Task- Specific Repository (e.g., MongoDB)Optionally import content into a task-specific repositoryContent destinationsCurated content,Master indices,Markup/structure for repurposing,Migrated content from retired sources查询语言 JSONiqHadoop 同28.io 架构对比S3ETLHDFSMap Reduce结果S32
12、8.io结果Hadoop28.io运行45分钟35 秒几个小时数据科学家费时2小时开发 Map reduce Code商业用户费时20分钟建立JSONiq 查询让让Web数据成为你的数据库数据成为你的数据库ConnotateConnotate 智能化的Web数据抽取工具 Web Agent（数据抽取的工具）可自动自主的运行。根据您的要求输出结构化数据集（通常是CSV格式或则是XML格式） VoltDB ProprietaryConnotate使网络数据变成了您的数据库在Connotate的帮助下，您可以在网络上获得您需要的结构化有用的数据评价：给用户带来前所未有的商业价值28大数据厂商联盟分销
13、推荐产品大数据厂商联盟分销推荐产品29集群优化性能优化性能优化快速部署安全管理平台优化NOSQL分析平台层数据抽取集成层Hasoop优化层1、了解面对逆境，远比如何接受顺境重要得多2022/4/6 0:20:3300:20:3312:20:33 AM。4月-224月-22Wednesday, April 6, 20222、一般的伟人总是让身边的人感到渺小Wednesday, April 6, 202212:20:33 AM4/6/2022 12:20:33 AM00:20Apr-22。00:20:3300:20:3300:204/6/2022 12:20:33 AM3、00:20Apr-220
14、6-Apr-224、昨天是张退票的支票06-Apr-2212:20:33 AM00:2000:20:3300:20:3300:20Wednesday, April 6, 20225、积极人格的完善是本，财富的确立是末06-4月-22。4月-224月-2200:20:3300:20:33April 6, 20226、昨晚多几分钟的准备4/6/2022 12:20:33 AM06 四月 202212:20:33 上午00:20:334月-227、每一发奋努力的背，必有加倍的赏赐12:20:33 上午四月 2212:20 上午4月-2200:20April 6, 20228、业余生活要有意义，不要越
15、轨。2022/4/6 0:20:3300:20:3306 April 20229、要及时把握梦想，因为梦想一死4/6/2022 12:20:33 AM。12:20:33 上午12:20 上午00:20:334月-2210、一个人的梦想也许不值钱，但一个人的努力很值钱。4/6/2022 12:20:33 AM00:20:3306-4月-2211、在真实的生命里，每桩伟业都由信心开始，并由信心跨出第一步。4/6/2022 12:20 AM4/6/2022 12:20 AM4月-224月-22谢谢大家谢谢大家1、每一个成功者都有一个开始。勇于开始，才能找到成功的路2022/4/6 0:20:3400
16、:202、成功源于不懈的努力，人生最大的敌人是自己怯懦。00:20:3400:20:3400:204/6/2022 12:20:34 AM3、每天只看目标，别老想障碍Wednesday, April 6, 2022。4月-2200:20:3400:20Monday, July 19, 202106-Apr-224、宁愿辛苦一阵子，不要辛苦一辈子12:20:34 上午。00:20:3400:20:3400:20Wednesday, April 6, 20225、积极向上的心态，是成功者的最基本要素00:20:34。4月-224月-2200:20:3400:20:34April 6, 20226、生活总会给你另一个机会，4月-2212:20:34 AM12:20:34 上午00:20:344月-227、人生就像骑单车，想保持平衡就得往前走21:19:484月-2200:20April 6, 20228、业余生活要有意义，不要越轨。2022/4/6 0:20:3400:20:3406 April 20229、我们必须在失败中寻找胜利Wednesday, April 6, 20224月-221
