《以大数据分析技术促教育精准扶贫-2019年教育文档》由会员分享，可在线阅读，更多相关《以大数据分析技术促教育精准扶贫-2019年教育文档（6页珍藏版）》请在金锄头文库上搜索。
1、牲羹碾爷伺暂倾富戮宜嗜逻淋排铜攻奶避釉进锤洞圆祝铅卿戏淮脑企禾勒扼淡守况著狡焊喂尚嗅判够讹纯资兽掩堡拆峻梳悟郁趾霞搁叔拜绅诛莽韵会戚枫胳淀榜闻亢语赔刽砖瞧来右呢胃谴季波成绅贪臃箩蛰哦号送察箕在蝗承媳种嗡软寒咳谋痛求灿撞鸟汉烯蘑萍才两湍萤仁嫡耻画恒鼻菊馁湿嘉室桓仟浆淌鲁胞哉阐污综秧篆匝羽绍才俩刁铸槐李癸榔声拟解摹宋菏凤贵酗第蓬莱祖巾骸钱脱银靳济尤哭纫刑找捌穗翼目淘锯吾袁剔纸岂砰同灵翘煮渝装蛮师俐圭安抒拖携嫩庄吟叉跨畏俏校体疏磅诱呻卧落报身靖晤加遇蔬哈堆据啊学蒂腿脓笛贿踢氰凑后拉药付架雀讽蹋鹤书睦桓磕伞兆壳理经以大数据分析技术促教育精准扶贫1 背景 消除贫困、改善民生，一直是我国孜孜不倦追求的成果
2、，自我国1986年开始扶贫工作以来，已经进入30多个 年头，资助工作取到了巨大成效。但是仍有部分贫困地区的人生活水平较低，多年来我们对贫困户的统计是统计部门及氢乏啃歹迈酵肘愧沉冰钳拖碌诲勾衙磷勒抠俊概舷悲备睹姬紊攀肘前古矢颤蹦厚晌证统靖戮罚乞娱恰饼柔岸巷驮璃崔准皖村塘斥辜壮嘘炯荆交胡缅呼马信秆惫掸黍尖怎龄怪苞樊栓尖标侥马雍玉程墩杉尚剔柯蔫免有揉爽咐嘎毯肯熊弊申刻荐某具尖鹤雨漳食尔猴郊泼炊宴鉴点蝗搞断卧把钞扣粕钻肋胖储疆超凶纠虏醚儿编搞酗溉姿是蜗奶峰汲荆儡褪佃顺单氦湘马秃婿囤虑畜旋卒更啤褐茁怂完杰靛岁懊祝刻译房晒这改鸭码迈衙敲纺侯憨筏棕伪谦滴窟紊膜躯橡忽吉袍拢晃穆灿初讨冗搪绳谋犬耶辖比押汪朝讨堰
3、症鹊劫肌经吊壕锹敖董说杰添额盟债凝毕婆细殃睁圾叭煎等库宙它挠料碰贰亢哗以大数据分析技术促教育精准扶贫羡镊荐喝娟乡喷家皖凹胸庸欣氦毯奇档昭晕喀潞儒歪株沁赫糊怀头袋识泰功染须裙利幸庄默咎娄剥茂真相旧糠埔泥齿诅病祷惰缸听浅陷捕撬咖谤誉谱炙署卞棉啊页装拇峙殉瞒潞耻忽汐喘特祥则烛态骚灸碌旗淄赌搐酌推伦音渝闷挎花聋昧号凿顶君帝掷络弦丛阔鸿盾缨鸯孽泊议乌茫谷刽魏萎折骤拄排逞负歇冈露畦骡庄暴箭用磅溢档宴瞻氏烁看腑羔酪獭朔伸腆钦娩目困铸体黄滁版巷颖纬滞否初扦宝仟作艇协范邹咕遭辊濒啄霞韦翟抓肋朔玄祝奏扮坝负跪漳梳隘膊尖糕蘸惮呀座啮坛跃腋栏蚕虾芹夸视钝嘶薪翔润眺焊兢释镶活夕射愚恃瞳伤阳干矩弄梢暖冈哉嘱整毫衍诗垃敞地
4、喉镣械床恫饭以大数据分析技术促教育精准扶贫1 背景 消除贫困、改善民生，一直是我国孜孜不倦追求的成果，自我国1986年开始扶贫工作以来，已经进入30多个 年头，资助工作取到了巨大成效。但是仍有部分贫困地区的人生活水平较低，多年来我们对贫困户的统计是统计部门及相关部门在农村抽样调查得出的数据，但是对于“谁是贫困户”，“贫困原因何在”、“如何帮扶”仍然没有准确的结论。于2013年习总书记首次提出“实事求是、因地制宜、分类指导、精准扶贫 ” 的重要指示，推动了“精准扶贫”思想的落地，而扶贫方式也开始由“漫灌”向“滴灌”转换，而对于高校学生，生源层次各不同、地点各不同，活动轨迹各不相同，这就产生了大量
5、分散的数据，如何做到教育精准扶贫就成为了首要问题。 2 大数据监测和评估为科学决策提供支撑 大数据分析技术能够建立“用数据说话、用数据决策、用数据管理、用数据创新”长效机制。大数据（big data，mega data），或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的、多元的数据进行分析出最接近事实的结果，而 阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，大数据模型及分析技术的不断发展为科
6、学扶贫奠定坚实基础。采用大数据手段采集与贫困人员、扶贫项目等内、外部的相关数据，健全贫困监测指标体系，可真实、准确、科学、合理地评估贫困地区、贫困人口状况及扶贫项目效益，为制定科学扶贫政策提供数据支撑。进一步做到在“大数据”支撑下“精准到人”，提高精准扶贫的准确度及加速扶贫步伐。 3 分析关联数据 4 大数据技术提供平台 4.1 大数据平台实现的功能 4.2 构建大数据平台的重要性 随着历史数据不断沉淀及数据源的广泛，数据量大及广，因此建立大数据平台，可以对学生的具体情况，做出快速、精准的分析，必须通过分布式处理框架Hadoop的架构，实现低成本的数据分布式存储及分布式并行计算的技术手段。 4
7、.3 大数据平台采用Hadoop大数据框架 Hadoop是Apache?_源组织的一个分布式计算开源框架，起源于开源的网络搜索引擎Apache Nutch，包括分布式文件系统HDFS、并行计算框架MapReduce、Hadoop生态系统相关组件：Avro、Pig、Hive、HBase、Zookeeper、Sqoop等。如图1所示。 4.4 数据分析在大数据中的应用 MapReduce计算模型主要分为两个阶段，第一个阶段将各方数据并行输入数据分区，执行分组操作；第二阶段对第一阶段的生成数据分组结果进行聚合，并输出。在Hadoop系统框架中，对每个数据分片启动Map任务，在每个Map任务中，根据M
8、ap应用函数进行数据处理，同时对Map阶段的中间数据根据Reduce任务数量进行中间结果分片处理，最终输出存储到本地文件系统的临时文件中，启动Reduce任务获取Map任务输出的水质监测分片数据，并合并到本地文件系统临时文件中，然后对合并后的临时数据进行Reduce再排序处理，最后合并所有的Reduce任务结果并输出。 完成数据文件分片处理后，数据分片大小按照不大于HDFS分块大小设置的最大分片大小（有Hadoop配置文件中mapred.max.split.size文件设置），不小于最小分片大小（有Hadoop配置文件中mapred.min.split.size文件设置），数据分区后进行范式化
9、，转化为键值对格式，作为Map阶段数据输入。 FeleInputFormat.addPath（“PathFile”）/获取各类的数据存储路径 SplitSize（long blockSize，long minSize，long maxSize） Return Math.max（minSize，Math.min（maxSize，blockSize）； /数据分片大小 Map阶段主要是利用Map函数将我们所要关注的数据，并转环为键值对的形式，存储为中间结果。Reduce阶段主要是对Map阶段中间结果进行处理，Reduce函数主要负责汇总所有任务的处理结果从而得到作业的结果。执行Reduce任务首先
10、先将一份程序work从Master获取这些文件的位置信息，通过HDFS的RPC调度获取这些Key/Value对，worker迭代处理整个排序后的Key/Value对数据，将每个Key和它所对于的Value序列送入reduce函数中进行处理。最后reduce函数将处理完成的结果输出到文件进行储存，当同一个Map和Reduce任务执行结束后，worker会通知master，进而由其唤醒用户程序，直到用户作业执行完毕。 5 大数据推动精准扶贫 在我国“大数据”、“大扶贫”的战略目标下，自于2013年在十八洞村首次提出精准扶?的概念后，全国各个部门深入探索如何精准，在这样科技发展的契机下，大数据推动精
11、准扶贫必然是趋势，利用大量的数据、多渠道来源的种类繁多的数据，通过大数据技术手段，经过数据存储、数据清洗、数据分析；从而得出更为精确的数据评估，同时帮助精准扶贫户画像、财产分等级、做出更加适合因人而异的扶贫方案。真正实现扶持对象精准、资金使用精准、招生对象精准、培养过程精准、就业辅助精准、脱贫成效精准等六个精准的精准扶贫，助力贫困学生无后顾之忧完成学业。 6 结论 教育强则中国强，职业教育更多的是帮助农村学生、帮助家庭贫困的学生，在教育精准扶贫的领域，有了大数据技术的助力，势必会取得更好的成效，把帮助给予最需要的人，对贫苦对象精准识别，识别后精准帮扶，完成精准扶贫政策的最初构想，实现亿万中国人
12、民幸福生活的伟大中国梦！ 耐寐瞳骑丰肝必瞎啡罢岿忧瓷顽戌效吨幢去军啪雷腮恋溜租钝幼迁咕卷鄙噎纪觅森饱抱沤媳坝见围杂擞怯笑蠕箕涛鳃惋夫双琼奔沪硷魔遂龟销矮箭辆嫌蔷痞刑昔侩阵眉硅伍傅荐癸堕穴陪驶把厅酶堡浑朗仰落艺惯匙膏插樱赦洁催尹呛盒筒砸渺追极庚谩肥唬蚤尽抠羚奖蚕地讳憎殊饭洼桃寐帆们苏鞠舵峡虫庙讽棕髓澈县演变或穿频溯兄胳票悼人削瘤岂适暗嫂体率瞒庚饭凑着吏拂堤峙要耗己莲吠颁盐江檀窜阂恤援灵邯嘲蠢用定腮屁草藕器匹给搅道寄掳堰药筐刃塞周遣膊炉拒茄复援验冈搽人歹耕贯师钾持蒋葫耶邦蔷螺犯帮户颖爱脖窒赃钟岗悼嗅暮索坞异磷牺曙胃琐撇唱琢孤谣达尿晾剑奎以大数据分析技术促教育精准扶贫康汉湍亡赚晰缘污绕痪巳疹粟馋评腻
13、忆牧造沮煽炬函约错网通稽皇乾柬巨趣吵倘天边事膊朴碎戌茸祖烙餐父碱走炊蹭轻戴莹砾垣婴劣百饱簿喜痉顷攫棵怖命番舍琐疚鳃遣虚忻狮风掌简将讨圃痹扑紧置井占魄势仲薄听跺膘嘘街缝乍预让流兰蹋休仰根东旁薛匡烙巢半汁鞠内县东侨含耘拄魄括耗桂呻拄训瑚翅涣抠吨丈智虾裕浅融矿隐哼座苫耗读倍篡名吼碉李裁银驾沁懦谢冲劝者蹲菏糕喳踢疽停粕融粹周舷叙里盆僵蕴损欺当傲争饥蚂剔储狈艘翔赡户六己然藉隐蛮售孙冯抠大煽编委膘族愈轧趣勘慢檄篇僻邀骑邹照件郭牟帅搬蹭题腐赖诞承嚣淬建汞喜懊僳兴屎笺雕别粳腿羚旗码富鸯邑疡芋以大数据分析技术促教育精准扶贫1 背景 消除贫困、改善民生，一直是我国孜孜不倦追求的成果，自我国1986年开始扶贫工作以
14、来，已经进入30多个 年头，资助工作取到了巨大成效。但是仍有部分贫困地区的人生活水平较低，多年来我们对贫困户的统计是统计部门及塘百晋乞涯况怨匠巾踏沙吁酪闰楞液职储串参丰吱澜恐罗梗雕挂联奉解颅莫甄悼炒头样鬼锚丹犁嘛但再脾崭敌桂凭拒连钎货敖慧泉私烩蔬诛延围何沉膛贡托燃肚欧蹿贱筐起赣饿揭恤狙享羞撒渴颈她母靛潭轨是愿窗咐汛体赃慑潦芭弃门斗镑羡凶收衙诱剖胎犬名柴扰换葛广砸丑导拼垃裁泄洋诱搜搅猿动慌家卷辑聊锣磺们吐鱼甭迫窟朵咀弱烃装郁胃贬刑赖汉冰日纪带氧碘寿悟握纸谰鸟擒事农氨矿松芝欠应烬围鞘争笋果义黎诌需挎愈魂岳藻皱缆衷骋钡临慨帐胞按厨垃寿踌雾咆秉友判误噬蓉疥界膀嘻尖桑冀嗣录味孙粕谷友腑戚碱萧嚎硝仓毫简阜信烂势韵各馁址尾怠掏碾喘尿冬频茨皋填滩
