《基于大并发通信及大数据的O2O系统》由会员分享，可在线阅读，更多相关《基于大并发通信及大数据的O2O系统（21页珍藏版）》请在金锄头文库上搜索。
1、打造基于大并发通信技术及大数据技术的 O2O 系统QCon BJ 2015叶新江 /Anson YeCTO 个推浙江每日互动网络科技有限公司个推是谁 为企业和开发者提供消息推送技术服务 提供 Android和 iOS推送 SDK 支持 WEB及服务器端推送 API接入 使 APP快速集成云推送功能，免去开发成本 有效提高产品活跃度与用户体验最专业的推送技术服务商个推 1.0 基础推送 技术指标领先于竞品，最大程度覆盖 用户个推 2.0 智能推送 合适的内容推给合适人，有效降低用户打扰个 推 3.0 电子围栏 合适地点合适时间触发，精准捕捉用户场景系统演进小规模IM 产品大并发的通信系统大分布系
2、统 +大数据处理系统拿来主义 2010:OpenfirePHPMySQL架构重新设计 2011信令系统集群系统服务系统Base on 开源基础部件架构演进 2014多地协同机器学习流式处理需要知道的理想和现实性能延迟可用扩展吞吐一致大并发通信系统相关经验1、内部服务调用方式2、 JVM及线程调优3、 TCP 阑尾4、健壮保障5、前瞻 和 成本考虑6、分布式事务大并发通信系统 -调用方式异步是首选非侵入式是首选我们：通信框架 +Java动态代理大并发通信系统 -JVM及线程调优GC 方式选择： CMS(Concurrent Mark-Sweep Collector)设置 合适的回收出发条件： 默
3、认 92%Linux下的性能调优：- 使用 MAT- 使用 top p H 来看哪个占用 CPU- 使用 jstack,jmap 等定位问题大并发通信系统 -TCP阑尾80%问题由 20%的 TW引起大并发通信系统 -TCP阑尾Recycle:1.来自同一台机器的 TCP连接携带时间戳；2.之前同一台 peer机器 (仅仅识别 IP地址，因为连接被快速释放了，没了端口信息 )的某个 TCP数据在 MSL秒（ TCP_PAWS_MSIL）之内到过本机；3.新连接的时间戳小于 peer机器上次 TCP到来时的时间戳，且差值大于重放窗口戳（ TCP_PAWS_WINDOW） 。因此： 大 并发量系统
4、中不适宜使用Reuse:1.初始序列号比 TW老连接的末序列号大2.如果使能了时间戳，那么新到来的连接的时间戳比老连接的时间戳大大并发通信系统 -健壮 保障流控分级与降级 断 续处理异常隔离维稳大并发通信系统 -分布式事务问题 ： 把钱从 A 转 100 到 B,分布式情况下如何做？方法 1： XA A.C.I.D方法 2： B.A.S.E (见下页）大并发通信系统 -分布式事务A 和 B 的数据在不同机器上 Ma, Mb. A 转账 100 给 B需要考虑几点：1、使用什么方式来分割交易事务（解耦）2、资源要求3、幂等性方法 2： B.A.S.E大并发通信系统 -分布式事务A 和 B 的数据
5、在不同机器上 Ma, Mb. A 转账 100 给 B1. 需要设置业务交易记录表 T, 需要一套和 T 相同存储的队列 Q2. 首先记录交易到 T, 同时放入队列 Q, 两个动作一个事务3. A 设置一个已处理交易记录表 TA4. Peek Q, 如果有给 A 的交易请求开始事务查看 TA 中是否有处理过此交易if 没有处理过 then更新 A 记录把处理痕迹写入 TAend if结束事务if 上面的事务成功 thendequeue Qendif5. B 也按上处理方法 2： B.A.S.E大并发通信系统 -分布式事务时间 紧迫或者对性能要求不 高 ： 分布式事务时间 需求不是很 紧 、 性
6、能 要求很 高 ： 消息 队列 方案对于 原使用分布式事务，且系统已趋于稳定 ，性能 要求高的 系统 ：用 消息 队列方案进行 重构方法 2： B.A.S.E大并发通信系统 -前瞻和成本栗子 1：集群框架栗子 2：数据分区我们理解推送下的 O2O5WWhen合适的时间Where合适的地点Which合适的场景What合适的内容Who合适的人+ +push to我到了中午 12点，来到了银泰城附近，因为我喜欢吃粤菜，所以我希望收到有关粤菜馆的一些优惠信息或者位置信息基于推送的 O2O依赖于场景推荐 高效画像O2O无场景、不推送实现Hadoop/Spark/DSearchStreaming数据系统 (用户画像 )大并发通信推送系统Flume/Kafka数据传输系统客户自己的系统LBS位置处理系统位置信息聚合位置汇报： 10w/s数据采集： 3T/Day谈一点非技术内容BEST 老师和学生的故事Believe themEncourage themShare with themTrust them个 推 最专业的推送技术服务商“无场景，不推送 ”http:/微信关注个推个推官网注册InfoQ infoqchina
