《以大数据分析技术促教育精准扶贫》由会员分享，可在线阅读，更多相关《以大数据分析技术促教育精准扶贫（2页珍藏版）》请在金锄头文库上搜索。
1、数据库技术 D a t a B a s e T e c h n iq u e 密 精； 隹 扶贫是具有针对性和科 学性的扶贫新措施 在高速发徒 季 掌 兰 嘉 弃 鸶 欠数据 溉念 相融 合， 尤其 在 高校 晕 生 中，利 用 犬数 据种 类 的 多样 性 、速 度 的 高效性 和信 息 的具 买 性切 实的将学生精准分等级 用 大数 据 实现 精 j 住扶 贫、确 实脱 贫 是 未来教育精 准扶 贫的 发展 方向 ， 本文将 对 犬数据 如何 帮 助落 买教 育 精准 扶 贫进 行深 入 分析， 为早 日实现 全面脱 贫提供 参考 以大数据分析技术促教育精准扶贫 【 关键词 】大数 据 精
2、准扶 贫 高校 技术平台 1背景 消除 贫 、L 0藩【 ， “ j 孜 倦追求 n 成 裂，I 1 j l 9 8 6 f ： f j j 太贫 I ： 作 以来， 夺 进 入 3 0 个 l 。瓷H lJ I 作H 刮 J ， 人成 效 f f ，IE I f 乃f 】 j 分 贫l木 l 地I ) ( I 门人 i l E 水i l 较低 ， 彩q - 求找 t l J 埘贫， ii j 统 汁足统 汁 部I、 及卡 H天部门 农 1J 抽” 渊 褂 n 数 ， f n是对 1 “ 谁是 贫 j ， “贫 何 ”、 “ 】 f - 扶 ” 乃然没 r I 侄确f I“ J 沦 J 2 0
3、 1 3 年j j 总 j 次提 “ ll 求 足、 地制 I l： 、 分 指 、 ：f= f ： 4 夭贫 ”Il“J - 蛭指 d i ， 1 ： 动 _r “ 柑 准 f ” 思趄 ! f 落地 ，l n J j 太 ， j J 也J 1 ： 女 f j I I I “ 漫 灌 ”Ib J“ 滴涮 ”转换 1 对 J I 校 1 - ，q i 源 上 次 Ii l 、 地 r 、 1 I , d z J J I L i 0 1 l 1 l d ， 这 就， q J 人 分敞f f j 敬 ， 似做划戢 箭精 准坎 贫孰成为 r 蛭 题 2 大数据监 测和 评估 为科学 决策提 供支 撑
4、 人数捌 分 技 术能够建 “j I J 数抓 说 、 蹦数据决 策、川敬擀斡理 、川数槲 刨新”长效 机制 。人数据 ( b i g d a t a me g a d a t a ) ， E 称 l 髓 资料，指的 是揣 新处理儆式 j 能 l I 仃虹强的 ； 起策 、涮察 利流 优化 能 J 的海 、崩增 长 棼和 多样化的倍i 窟 、 i 。人数振指 0 川随机 分析 法 f 抽 洋训 ) 这样的挞 j 1 数据的 、 多儿的数据进 行分 f l 5 最接近 每 艾f 门 结 果而 阿 e L 5Ii rJ 办 人 r 宋臼演讲 中就 提 到， 未 来的时 代 将 4 足 I T时 代
5、， fn 足 DT 的时 代，DT孰是 Da t a T e c h n o l o g y数据科技， 人数据 模 成分析技 术的 断技腱 科学扶 贫 萸定坚实基础。 震川 人数据 于段采 人 员、扶贫项 【 j f 勺、外部Il“ J 天数据 健 伞贫 闻监测指标体 系_ Iu 丈、准确 、科学 、合理 益，为制定科学扶骑政策提供数 曼撑 。进 步做到在 “ 大数据 ”支撑 F“ 柑准到 人”，提 高精准扶贫的准确发及 加速扶 步伐 3分析关联数据 事 吱 上高校 的住 校 乍人数 众 多， l 校 学 q - 11 9 浠动轨迹人 多也足 投 嘲内， 个人 ， 确 J 是一 客人的希 ，I
6、州为 个人 、 校 的消 费情 况基 小i , j 以反映 1 个咏蛭l1 勺 经济 况，比如学q 在校I ，日 巾使用的楚磁 消 犹，例 如饭 、水 、洗浴 。学 0 消 赞仃， I ： 消费记录，消 i赞 r多少 ， 邶个时f i ll 进 仃fi J “ i j 费，这些 储存 j 刷 机 利 I f 夫数槲捕 、 挖掘 、分忻学生 下的数 的痕迹 ，他 J 揭 小 其背后隐藏的规律 。通常家庭 条件 毕的 、 往勤俭 诮约，他们知【 j笪父母挣钱 的1 埸 所以 他们基 本 量 不晕 ， 求吃 的 A = ， 能吃 饱就行 ， 阒此这 类学生的 lj 赞 会比 般 ： l f k 而
7、f l 这 类学 没订吃仪宵的) J 惯 ， f 的连 甲 + 餐都不吃 ， 为这样他们 相川的时II i 段 。 消费 欠数也 会比家庭 条件好的 ： 少。此 外。 现 在的学 都热衷于 【 。 购物1 求没 ,ff总 会 逛逛 淘宝、 东、唯一 f ， 金*刚 f 蚴物 半f ，J L l=J 样 的，通过 火数据 可 以获得学 们的网 J 购物 汜录 ，了解他们购 买崩 5 的价格利 次数 ，卡 J ；】 恬消费一 样，咏庭条件 的 同学 li 赞次数及 额应 该会比较低 。 外学 向微 、删 度 等 发布的消息 u J 爬虫获取关键 ： ，从 _n J 判 I* J 4 ： 的生活情况
8、 。晰如此类 ，利H j 夫数据 挟取 评分 析这 数据 ，便 I U 大致 矢 =】 晓 贫学牛，从 川 定 一系列保护学生隐私的 扶描施 4大数据技术提供平 台 4 1大数据平 台实现 的功 能 1 7 4 电子技术与软件工程E le c t r o n i c T e c h n o l o g y S o f t wa r e E n g i n e e r i n g 大数据 平 台要能实现实时 J j 数捌 分折、 数据查 词、数据统计 、数据 分析功 能 1 蛭为 学 历 _史消费记录、学生朋友圈 7 j 天键 浏览网页历史数据进行 咖、统 汁及分忻 ：结 合班主任及资助 部I
9、掌握情 进 行 合分 4 2构建大数据 平台的重要性 随 着历 史数据小断 ) 发数据滁 n 勺 f 泛 ， 数据 大及广 ， 此址 0 人数 、 f ，I 以对 ： 隹的具体情况 ，做 队速 、 准 的分 ，必 颈越过 分布式 处理框架 1 t a d o o p n 勺 架构 ， 现 低成本的数 分布代 仔储及 分响 i r P j = 仃H 的 术 段 。 4 3 大数据平 台采用H a d o o p 大数据框 架 Ha d o o p是 A p a c h e歼 源 纵 的 个 分 n J 1 算开源 架，起源 r 的 络 京 Ap a c h c Nu t c h ，包括 分 J
10、爻什 系统 HD F S 、 j = 行 汁 铮 框 架 Ma p R e d u c e 、H a d o o p 系 统 相荚 组 件：A v r o 、P i g 、Hi x e 、HB a s c 、 Z o o k e e p e r 、S q o o p等。如 1所_ ： 4 4数据分析在 大数据 中的应用 Ma p Re d u c e 算模， L曼分 两个I J i z 第 一个阶段将 各方数 并行输 入数捌 分 ，执 行 分组 操作 ：第二 阶段 对第 阶 段 的 成数 分组结 果进 行聚 ，并输 。 l H a d o o p糸 统框架 ，对 每 个数据 分” 动 Ma p
11、仃 符， 每个 Ma p仃 秀r 1 根据 Ma p应J 1 J 数进行 数据 处理， 同时对 Ma p阶段 的 t J f 州数据 根捌 R e d u c e任务 数量进 行 间结 果 分 处 ，最 终输出存储到本地 文什 系统的临叫 丈仆 I ， 动 R e d u c e任 务获取 Ma p侄 j 输 f J 的水质 雌测 分片数据， 并合并剑小地文什系统临 时 艾件 J I (下转 1 7 5页 D a t a B a s e T e c h n i q u e数据库技术 基于 A WS和 C D H的大数据处理平台企业级架构的研究 该期刊的 目的是研究在企业 生 产 环境 下大 数
12、据 架构 的相 关技 术 ，包括操作 系统配置，C l o u d e r a 管理器安装，C D H 集群部署和集群 参 数 调 优，K e r b e r o s集 成 ，L D A P 集 成，保 护传 输 中 的数 据 安全 和 保 护静 态数 据 安全 生产 环境 依 赖 于 A W S云服 务。 实验 内容：C D H 集群部署和集群参数调优；企业 级 身份 验证 系统 k e r b e r o s ：使 用 一个轻量级 目录访 问协议 ( L D A P ) 目录管理认证；当启动集群 时用 T L S S S L服 务 器 守 护 程 序 加 载 密 钥；签名证书将被用在 C
13、D H 集群 环 境；t I I ) F S加 密确 保所 有敏 感数 据在存储在磁盘之前被加密。 【 关键词 】C D H K e r b e r o s L D A P T L S S S L签名 证 书 透 明 h d f s 加 密 A W S 文 展辉辉杨小平 现为几何倍的增长。对于如何处理这些巨量的 数据，如何从这些数据的矿产中挖掘出金子， 成为各个企业 日 益关注的目 标。传统的大数据 计算框架都是搭建在本地 计算机上 ，这样做 的 好处是 内网环境使得大数据平 台相对安全 ，但 计 算机 群 占地大 ，硬件 升级 更换 麻烦 ，随着 各大厂商开发 出云计算服务 ，使得有大数据计
14、 算需求的企业不必再局 限于场地和计算机 的配 置，本次实验就是基于亚马逊云服务的虚拟计 算机。现如今，企业和大型机构在寻求解决棘 手的大数据问题时，往往会使用开源软件基 础架构 H a d o o p的服务：提供大数据计算平台 服 务 的厂 商也 有很多 比较 出名的平 台有 C DH ( Cl o u d e r a Di s t r i b u t i o n Ha d o o p) ； o p e n s t a c k； 华 为等：本 文就是基于 CD H管 理平台 的大 数 据架构 的研 究。 1部署配置 近年来，随着社会的高速发展，科技迅 1 1集群配置 速进步，信息流通越来越频
15、繁，数据量的也呈 11 1 硬件配置 c p u ： I n t e l ( R ) Xe o n ( R ) C P U E 5 2 6 8 6 v 4 2 3 0 G Hz；Me m ： 6 4 GB ； Di s k ： 1 3O GB S S D 1 5 O O GB HDD 1 1 2操 作系统 Re d Ha t Ent e r p r i s e Li nu x S e r v e r r e l e a s e 6 7 ( S a n t i a g o ) 1 2 系统配置 ( 1 )禁用防火墙 ； ( 2 )禁用 S E L i n u x ( 3 )禁用 T - P； ( 4 )禁用 S wa p 。 1 3外部软件和服务 ( 1 )配置My s q l 数据库。我们使用 A WS R DS 作 为外部数据库服务。数据库类型是 My S QL 5 5 。 由于 R DS本身具有 HA功能 ，所 以没有额外 的步骤来
