《大数据-架构产品和一体化方案-v2》由会员分享，可在线阅读，更多相关《大数据-架构产品和一体化方案-v2（55页珍藏版）》请在金锄头文库上搜索。
1、从非结构化数据到大数据(Big Data)整体解决方案 刘凯斌 您所面对的是 RDBMS ? 丰富的数据来源: Web2.0, 电子零售, 传感 器读数, 智能终端 多样的数据结构: 非/半结构化, 条形码, GPS, 图片, 医疗记录 Internet, 企业内网, 传感 器网络, GB/TB/PB级 海量的数据总数: 微博, B2B,B2C, 工业实时 监控, 全球定位 急速的数据生成 : 基于云计算、大数据支撑信息化战略 大数据 大服务 云计算 拥抱互联网 拥抱电子商务 拥抱云计算 为我所用 以客户为中 心的大服务 基于云计算，构建大数据服务，支撑零售行业从“卖产品”向“卖服务”转型 客
2、户 大大数据数据 建立一种以客户为中心，洞悉大数据上的大服务协同，依托大数据实现受理流程和协同工作的全过程洞悉 客户需求、捕捉价值、提升客户体验的一种全面的大服务体系 渠 道 协 同 业 务 联 动 服 务 延 伸 客户多渠道间灵活转移 客户服务体验一致 客户智能化自助式、互助、互动式服务能力提升 客户接入手段多样、泛在、灵活、普适 融合：服务流程和协调处理在各部门间通畅 标准：业务处理标准化，对政务处理流程的各部门集中统一 管理，推动业务服务标准化 贯穿：贯穿整个业务处理流程，实现业务处理过程标准化， 各级服务部门的信息服务体验一致 挖掘：依托大数据细化客户特征，个性化服务支撑 创新：创新服
3、务模式，全流程客户感知提升 建设多级可控的服务体系，拉通各部门间的服务流程、共享 服务信息和能力、标准化处理过程 业务部门处理协同 标 准 化 运 营 管 理 支 撑 基于大数据平台的大服务思考 Customer Behavior Analysis Next Best Action 时间 商业价值 Big Data: 新机会挑战 通过 Big Data 提升业务价值 High Variety High Volume High Value High Velocity Big Data 现状 深度分析 高度灵活 高度扩展 实时 未来 挑战 Big Data 平台 架构师的企业 计划方法 信息架构功
4、能模型 Master Data Reference Data Metadata Transaction Data Analytical Data Unstructured Data Big Data Data Realms Information Sharing import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import org.apache.pig.EvalFunc; import org.apache.pig.PigException; import org.apache
5、.pig.backend.executionengine.ExecException; import org.apache.pig.data.BagFactory; import org.apache.pig.data.DataBag; import org.apache.pig.data.DataType; import org.apache.pig.data.Tuple; import org.apache.pig.data.TupleFactory; import org.apache.pig.impl.logicalLayer.FrontendException; import org
6、.apache.pig.impl.logicalLayer.schema.Schema; /* * * author nbayliss */ public class W_FINDER extends EvalFunc private class V0Line String state = null; String attributes; String prev = “; String next = “; public V0Line(String atts) attributes = atts; public String getAttributes() return attributes;
7、public void setState(String state) this.state = state; public String getQuantity() return this.attributes4; public String setState(V0Line linePrev, V0Line lineNext) String q = this.getQuantity(); if (linePrev = null) prev = “; else prev = linePrev.getQuantity(); if (lineNext = null) next = “; else n
8、ext = lineNext.getQuantity(); if (!q.isEmpty() return state; if (gt(q, prev) return state; if (lt(q, prev) return state; if (!q.isEmpty() return state; if (q.isEmpty() | eq(q, prev) state = “F“; return state; return state; private boolean eq(String a, String b) if (a.isEmpty() | b.isEmpty() return f
9、alse; return a.equals(b); private boolean gt(String a, String b) if (a.isEmpty() | b.isEmpty() return false; return Double.parseDouble(a) Double.parseDouble(b); private boolean lt(String a, String b) if (a.isEmpty() | b.isEmpty() return false; return Double.parseDouble(a) lineFifo = new ArrayList();
10、 boolean finished = false; DataBag output = bagFactory.newDefaultBag(); if (input = null) return null; if (input.size() = 0) return null; Object o = input.get(0); if (o = null) return null; /Object o = input.get(0); if (!(o instanceof DataBag) int errCode = 2114; String msg = “Expected input to be D
11、ataBag, but“ + “ got “ + o.getClass().getName(); throw new ExecException(msg, errCode, PigException.BUG); DataBag bag = (DataBag) o; Iterator valueIt = bag.iterator(); while (!finished) if (valueIt.hasNext() Tuple nextTuple = valueIt.next(); line = nextTuple.get(0).toString(); String ordk = nextTupl
12、e.get(1).toString(); String part = nextTuple.get(2).toString(); String supp = nextTuple.get(3).toString(); String q = nextTuple.get(4).toString(); String ship = nextTuple.get(5).toString(); pbkey = nextTuple.get(6).toString(); thisLine = new V0Line(new Stringline, ordk, part, supp, q, ship, pbkey);
13、if (lineFifo.isEmpty() thisLine.setState(“S“); /*else if (!lineFifo.get(0).getGroup().equals(thisLine.getGroup() thisLine.setState(“S“); */ lineFifo.add(0, thisLine); if (!valueIt.hasNext() noMoreValues = true; thisLine.setState(“E“); else thisLine = null; String evalState = null; if (lineFifo.size(
14、) = 3) processLine = lineFifo.get(1); if (processLine.getState() = null) prevLine = lineFifo.get(0); nextLine = lineFifo.get(2); processLine.setState(prevLine, nextLine); evalLine = lineFifo.remove(2); evalState = evalLine.getState(); else if (noMoreValues) evalLine = lineFifo.remove(lineFifo.size()
15、 - 1); evalState = evalLine.getState(); if (evalState != null) matchList += evalState; if (matchList.length() 5) matchList = matchList.substring(1); if (matchList.equals(“SBTBE“) | matchList.equals(“TBTBE“) | matchList.equals(“SBTBT“) | matchList.equals(“TBTBT“) /String atts = evalLine.getAttributes(); c+; if (lineFifo.isEmpty() finished = true; Tuple outputTuple = TupleFactory.getInstance().newTuple(3); outputTuple.set(0, line); outputTuple.set(1, pbkey); outputTuple.set(2, new Long(c); return outputTuple; Override public Schema outputSchema(Sc
