地区教育大数据平台，贵州教育大数据平台

地区教育大数据平台，贵州教育大数据平台，全球最大的教育大数据平台，拥有1万PB数据量，全球最大的教育大数据平台，拥有1万PB数据量，全球最大的教育大数据平台，拥有1万PB数据量，全球最大的教育大数据平台，拥有1万PB数据量。

2018-07-24 19:58                    

图片来源：unsplash

摘要：如何规划和发展区域教育大数据，是当前教育信息化2.0推进实践与学术研究的热点。文章首先从教育信息化深化发展中遇到的问题入手，指出教育大数据是信息化深入发展的必然结果，并指出应对区域发展教育大数据应进行系统规划。随后，文章提出了“区域教育大数据发展参考框架”，指出应在规划教育大数据应用系统的同时，注重专家协同团队与各项保障制度的建设。最后，文章以广东省某市教育大数据规划为例，分享了该参考框架的应用实践，并讨论了该参考框架的优点与不足。

引言：国务院在2015年8月印发的《促进大数据发展行动纲要》中指出，要“完善教育管理公共服务平台，推动教育基础数据的伴随式收集”[1]。此后，教育部在《2018年教育信息化和网络安全工作要点》中提出：“出台教育信息化2.0行动计划”、“推动大数据、虚拟现实、人工智能等新技术在教育教学中的深入应用”。自此，发展教育大数据受到了全国各地的广泛关注。本研究通过搜索引擎（包括百度搜索和Bing搜索）查找了全国31个省级行政区域（不包括港澳台地区）的信息化规划情况，发现所有区域都明确规定了本区域发展教育大数据的任务与目标；通过进一步检索发现，全国多数省会城市和大量教育信息化基础良好的城市，正在开展或筹划本区域的教育大数据发展工作。区域教育大数据规划研究已成为各地区筹划教育信息化深化发展、推进教育信息化2.0实践与研究的重点和热点。

教育大数据之所以受到了区域的高度重视，一方面在于国家及本省（市、自治区）政策的支持；另一方面，当前我国教育信息化发展进入2.0时代，区域教育信息化也进入新的发展阶段，需要借助创新技术持续推动教育信息化的进步。在众多区域，教育信息化发展取得了巨大成功：教学环境越来越好、教育资源越来越丰富、信息化教学越来越普及、公共教育平台的服务水平越来越高且覆盖面越来越广[2]。但由于区域教育信息化具有应用场景多样、业务逻辑繁复、需求差异显著等特点，促使区域不得不持续建设越来越多的应用系统进行应对；在众多区域都积累了大量的建设于不同时期、针对不同目标、交由不同厂商、采用不同技术路线实现的教育信息化系统，这些系统在解决问题的同时也给用户带来了巨大的困扰与挑战。本研究以2017年5月笔者在广东东部某市的调研数据为依据，发现了如下问题：①县区级教育局日常使用的信息化系统数量过多（总量达30余个），熟悉、管理和使用全部的系统较为困难；②经常需要在多个系统之间导入、导出和转化数据；③重要数据需要在多个系统中录入；④同一个指标在不同系统中数据统计结果不一致，需承受大量的人工分析与处理工作等。

传统信息技术应对上述问题时总是“按下葫芦浮起瓢”，而大数据提供了系统性解决问题的手段。教育大数据实现了数据的统一采集，使所有的应用系统都成为数据采集端，弥补了特定数据只能由专门的信息化系统采集的不足，解决了系统重复冗余的问题；实现了数据的统一交换，使数据能够在系统与中心之间非实时交换，极大地降低了数据交换技术的复杂度，解决了数据高效流转的问题；实现了离线数据的统一加工，使数据能够被全面清洗、集中规整并以统一的口径进行统计，规避了相同指标在不同系统中含义不一致的现象，解决了数据冲突问题；实现了离线数据与在线数据的统一利用，使数据可以跨场景、多角度、全方位地呈现和发掘规律，扩大了数据应用场景，极大地提升了数据的内在价值。因此，区域发展教育大数据是教育信息化进一步深化发展的必然结果。

社会的进步总是从工具的革新开始的，正如蒸汽机的发明推动了工业革命。教育大数据技术也为教学、学习及管理决策等教育活动提供了全新的科学工具，并有力地推动了教育的变革。区域应基于教育大数据技术开展区域教育大数据发展的规划与设计工作，一方面解决教育大数据工具如何打造的问题，即海量数据如何采集、加工、存储和管理？如何通过数据统计、分析和挖掘，发现数据规律、构建数据模型？如何在信息化系统中运用数据规律、应用数据模型？等；另一方面解决教育大数据工具如何应用的问题，即如何培养运用教育大数据工具的意识与习惯？教育大数据工具的最佳使用模式是什么？如何持续推动教育大数据工具的创新与发展？因此，系统考虑区域教育大数据发展的问题而非仅仅关注信息化系统建设本身，是解决上述问题的关键。构建一个包含上述问题解决方案的参考框架，用以指导编制区域教育大数据发展规划，成为必然选择。

二 区域教育大数据发展参考框架概述

从2016年开始，本研究团队在全国几十个地市级区域开展了关于教育大数据规划与建设的需求调研，与区域教育主管部门进行了广泛沟通交流，并对规划及建设方案在部分区域进行了试点验证。结合各地共性需求，本研究提出了“区域教育大数据发展参考框架”（下文简称“参考框架”）。当前已有多个城市以该参考框架为蓝本，编写了本区域的教育大数据发展规划。

参考框架认为，区域教育大数据离不开“大数据应用体系（简称‘应用体系’）建设”、“大数据专家团队（简称‘专家团队’）建设”和“大数据保障制度（简称‘保障制度’）建设”等三个关键要素的协同配合，每个要素又由多项关键内容组成，如图1所示。“应用体系”建设是教育大数据规划的主体内容，描述了应提供怎样的大数据应用系统以服务于各类教育教学活动，同时也回答了“教育大数据工具如何打造”的问题。“专家团队”建设为区域大数据与教育的融合创新应用提供了人才保障，使区域有多领域的专家队伍，系统性规划应用体系建设与各项制度建设问题，并重点研究与推广大数据在教学、学习与管理中的应用问题。“保障制度”建设为区域大数据建设有序开展和持续发挥价值建立可靠的长效机制，使各项工作能够安全、自主、有序地推进。可以说，“专家团队”建设与“保障制度”建设为“应用体系”建设提供了重要的支撑，同时也回答了“教育大数据工具如何应用”的问题。

图1 区域教育大数据发展三要素模型

大数据应用体系建设的核心内容可概括为“完成三项任务、构建一个体系”，即以技术标准为基础，通过完成数据源管理、能力平台搭建和应用系统研发三项任务，使数据的生产、汇聚与赋能实现闭环，最终完成区域教育大数据应用体系（如图2所示）的构建。

图2 区域教育大数据应用体系

技术标准是数据在不同系统之间流转的规范，必须在应用体系构建之初优先做规划。技术标准具体定义了基础标准、平台/支撑标准、关键技术标准、产品及服务标准、应用标准等方面的内容[3]。可通过遵循国家标准、借鉴国际标准和制定地方标准三种形式，构建区域教育大数据技术标准体系，具体包括四类技术标准：①研发技术标准，定义了需采用哪一类开源技术框架，如明确规定计算框架是采用Hadoop MapReduce、Spark、Storm中的一个还是多个；定义了在数据分析与数据挖掘过程中算法的标准实现版本、参数值的取值范围等。②数据接口标准，定义了数据伴随式上报服务的接口标准、上报内容的格式标准、用户行为日志格式标准、数据交换服务接口标准等。③数据存储标准，定义了各种教育统计指标的含义及计算方法，定义了教师、学生、学校、应用场景等教育大数据主要研究对象的数据模型结构。④应用服务标准，规范了对外输出的数据统计与数据挖掘服务的接口定义与应用集成策略等。总之，区域应以遵循统一技术标准为前提，完成以下三项工作，最终实现区域教育大数据应用体系的构建。

（1）数据源管理

数据源管理实现了对区域教育相关数据系统性地调查、分析、整理和数据汇聚前的预处理等，它是教育大数据建设的基础工作。按照数据的归属关系，数据源可分为两大类：①区域教育领域数据，是指可由本地教育部门直接管理和使用的数据，数据来源于本地管理和使用的各类教育信息化系统，并物理存储在业务数据库、行为日志、文件系统、数据服务及消息队列等系统模块之中。②第三方数据，既包括上级区域、下级区域、兄弟区域所管理的教育领域数据，又包括来源自政府的其它行业数据（如智慧城市的数据）。当前，区域教育领域数据是教育大数据研究与分析的主体内容，但第三方数据也在越来越多的教育大数据应用中发挥价值，如“学区学位划分”问题依赖于住房、户籍等第三方数据。

根据数据的产生方式与使用目的的不同，教育领域数据可粗略分为四大类：①管理数据，指在各类教育管理信息化系统中生成、使用和管理的数据，如学籍、师籍系统中的学生和教师的个人信息，教育办公系统中的业务流程数据，软硬件统计数据，各项教育指标统计报表数据等；②测评数据，指在各类测评诊断系统中产生、使用和管理的数据，如作业系统中的作业数据，考试系统中的考试答卷数据与阅卷成绩数据，综合素质评价系统中的问卷调查数据、实践活动数据、指标分析数据等；③行为数据，指用户在使用各类教育信息化系统过程中产生的数据，如智慧课堂系统中记录的教师教学行为数据、师生互动数据，在线作业系统中记录的学生答题行为数据等；④资源数据，指在各类教育信息化系统中使用或产生的各类多媒体资源，如应用于智慧课堂系统中的课程资料、教学课件，应用于在线学习系统中的微课资源与试题资源，课堂分析系统中记录的课堂实录音视频资源等。

（2）能力平台搭建

能力平台的搭建实现了大数据汇聚、存储、加工及统计挖掘服务等技术能力的平台化输出，也是教育大数据建设的核心内容。能力平台不仅提供了功能完备的数据仓库，保障了区域教育数据资产的积累、管理和增值，还提供了功能强大的用户工作台，降低了面向教育领域的大数据研究与应用门槛。此外，能力平台还实现了大数据与人工智能技术的深度融合，一方面人工智能引擎的集成增强了平台的数据智能化处理能力，另一方面平台的海量数据与计算框架又助推了人工智能引擎的改进与优化。

能力平台可依据业务功能划分为四大中心模块：①数据汇聚中心，是平台的数据入口，实现了从信息化系统中采集数据、支持平台主动从数据源抽取数据、数据源主动向平台上报数据、平台与数据源之间实现数据库自动同步等；实现了平台与第三方数据源的数据交换；实现了数据的清洗、补齐、归一化等预处理操作。②数据存储中心，为各模块输出存储能力，实现了数据的集中存储；通过建立数据仓库，不仅支持只经过预处理的原始数据的存储，还支持经过加工与建模后的专题数据的存储；实现了数据的统一管理，支持对数据的访问控制。③数据加工中心，为各模块输出计算能力；基于开源技术建立分布式存储与计算框架，支持任务监管与安全管理。④数据服务中心，实现了平台大数据能力的对外输出；集成人工智能技术，支持非结构化数据计算，对外提供数据统计服务和数据挖掘模型的计算服务。

（3）大数据应用研发

大数据的应用研发，实现了将大数据能力转化为应用系统或集成到教育信息化系统之中。大数据应用是教育大数据价值的集中体现，实现了个性化学习、精准化教学和科学化管理等大数据智能服务在具体教育教学场景中的工具化和可视化。

依据大数据能力的应用模式，大数据应用可划分为两大类：①大数据专题应用，是将大数据能力直接进行工具化形成的应用系统。主要包括：数据统计类应用，如教育大数据统计服务、教学数据统计报表系统、区域/校园管理数据统计报表系统等；数据分析类应用，如教育大数据业务分析服务、学情分析系统、区域/校园教育管理分析大屏系统等；数据挖掘类应用，如教育大数据专题预测模型、个性化学习推荐引擎、决策支持系统等。②大数据集成应用，是将大数据能力引擎化并集成到教育信息化系统之中，如集成了学情分析服务的智慧课堂系统、用作指标分析服务的智慧校园系统、提供资源推荐服务的智慧学习系统等。

大数据专家团队建设的核心工作可概括为“依靠三类专家、组建一支团队”，即组建一支囊括业务专家、教育专家和技术专家的团队，并实现三类专家各司其职、协同配合，系统推进教育大数据在区域的建设、应用与发展。

（1）业务专家

业务专家既是教育大数据需求的调研归纳者和分析管理者，也是大数据应用的推动者。一方面，业务专家对各级教育行政机构及各类学校的大数据业务需求进行系统调研，摸清需要建设哪些业务需求急迫、与大数据关系密切的管理系统；另一方面，业务专家以中立的视角，开展针对教师教学过程和学生学习过程的大规模观察与记录活动，探寻并明确教师与学生的痛点需求。业务专家通过对上述原始需求进行记录、分析和研究，形成对本区域教育大数据建设详实且可落地的规划建设方案。在系统建设前期，着重解决区域教育具体的业务问题，因此，专家团队成员主要来自于熟悉管理业务的教育主管部门；而在系统建设后期及持续运营阶段，着重应用大数据技术与方法解决教与学过程中的实际问题，因此，专家团队成员主要来自于教育信息化应用典型学校。

（2）教育专家

教育专家既是教育大数据理念的传播者与推广者，也是将大数据应用到教育教学过程中的实践者与布道者。一方面，教育专家为区域发展教育大数据建言献策、提供发展思路、建设方案和实施路线图，同时帮助业务专家掌握面向教育领域用户的需求调研技巧，熟悉教育大数据应用体系规划与设计的方法论：另一方面，教育专家将针对典型的教育教学场景，深入到一线的教职员工之中，开展大数据应用技能培训，同时开展联合科研活动，以期在实践中总结大数据教学、大数据管理的最佳应用模式与最佳应用案例，并进行示范和推广。在系统建设及运营前期，教育专家主要来自于高校和教育大数据厂商，包括教育技术、教育评价、教育统计与测量以及教育大数据等相关领域的专家；而在持续运营期间，也会有大量参与教育大数据科研的教师成长为教育专家。

（3）技术专家

技术专家是教育大数据体系的建设者和运营者。一方面，技术专家将业务专家的规划设计方案转变为系统的技术设计方案，并开展具体的系统建设与实施活动；另一方面，技术专家持续关注系统的运营状况和用户的使用状况，结合业务专家的需求调研报告和教育专家的模式研究成果，不断统计、分析区域教育数据，探索、挖掘教育大数据规律，并将大数据研究成果产品化，提供产品技术服务。技术专家主要来自于两大类：一类是教育大数据厂商和高校的外部专家，包括大数据挖掘、信息化系统架构等相关领域的专家，他们是团队的骨干；另一类是本地引进和培养的技术专家，他们是团队的主体。

大数据管理制度建设的核心工作可概括为“建立三维保障、形成一套制度”，即从安全机制、协作机制和管理规范三个维度，建立一整套制度，以保障区域教育大数据得到长期稳定的发展。

（1）安全机制

数据安全是区域教育大数据发展在制度方面应考虑的首要问题，应从三个方面构建安全机制：①制定并执行安全制度，应根据2017年6月1日正式实行的《中华人民共和国网络安全法》的具体要求，结合区域特色和教育大数据的行业特点，全面建立并严格执行各项安全保密制度，包括数据收集与隐私保护规范、数据存储与备份管理规范、数据分层分级授权访问规范、数据保密制度、数据产权保护制度、数据模型知识产权保护制度以及数据安全的奖惩措施等。②树立与强化安全意识，区域教育大数据的各类用户应参加有关安全制度的学习与培训，使数据生产者和数据使用者都牢牢树立安全意识，并养成尊重用户隐私和保守数据秘密的习惯。③测试与完善安全对策，一方面应建立“数据安全应急预案”，即先制定预案，再进行反复的测试与演练，最后丰富与完善预案；另一方面应参考国内外先进的网络安全框架和数据安全提升机制[4]，先评估当前安全状况并制定期望达成的目标，再分析和确定两者之间的差距并实施行动计划，最后达成预期目标并实施完成标准化、程序化的数据安全风险应对的管理策略与技术方法。

（2）协作机制

建立教育大数据专家团队协作机制，应明确规范专家团队的组织归属、职责范围、选聘办法以及工作协作模式：①专家团队应正式设置在相关管理部门（如教育局、大数据办公室等），以专业的规划设计单位（如“教育大数据规划研究院”）的形式存在；②专家团队应为区域教育大数据发展提供规划设计方案和建设思路，并推动系统建设、系统实施和应用落地等相关事项；③专家团队应从高校和教育大数据厂商延聘外部专家，积极从外部引进专业技术人才并从本地教职员工中培养本地专家；④专家团队应根据角色和任务分工合作，以年度为单位，将各项工作以项目的方式进行推动，同时明确首席专家负责制度。

（3）管理规范

区域制定的管理规范从政策、制度的角度为教育大数据的健康、有序发展保驾护航，具体包括：①地方政策与规划，如制定本区域的“教育大数据五年发展规划”、“教育大数据行动计划”等；②系统运营与保障制度，如制定本区域的“数据平台管理办法”、“大数据开放服务管理办法”等；③应用推广与奖惩机制，如“教育大数据应用示范校评比管理办法”、“基于大数据的教师评价指标体系”等。

三 参考框架的应用实践

参考框架的建设内容与设计思想，已在全国多个区域得到实践与验证。以广东省某市教育大数据规划为例，本研究团队与该市教育行政规划部门及教育信息中心合作，协助推动专家团队组建和管理制度设计，并完成了该市《教育大数据发展规划方案（建议稿）》的编写。该市以此规划方案为蓝本，正在推动教育大数据应用体系（如图3所示）一期建设，初步成果已得到该市教育部门及学校用户的高度评价。

图3 广东省某市教育大数据应用体系

该市教育大数据发展规划工作包括以下内容：①推动专家团队的组建工作，一方面开辟外部合作及人才引进通道，与知名师范类高校中教育技术与教育测量方面的专家和知名技术厂商中大数据与人工智能方面的专家建立长期合作关系，聘任首席技术专家和首席教育专家，同时系统引入专业人才；另一方面制定需求调研计划、制定教育大数据应用课题研究指南，从教育局和学校选拔、聘任业务专家，并建立教育专家培养计划。②开展各项制度的设计工作，推动“市教育大数据技术标准体系”（通过选择国家标准、借鉴国际标准和编写地方标准三种方式组合完成）、“市教育大数据专家团队管理办法”和“市教育大数据管理办法”等技术规范与管理制度的编写、论证、审批与试点。③推动系统建设方案的规划工作，与长期服务于该市教育领域的、某全国领先的技术咨询公司展开合作，在业务专家团队的协助下初步实现对教育局和典型学校需求的调研，在教育专家团队的协助下初步实现教育大数据应用场景设计，并在技术专家团队的协助下完成对大数据应用体系的架构设计及技术实现方案的规划。

四 结语

“区域教育大数据发展参考框架”为区域发展教育大数据提供了整体工作思路和系统性规划框架，避免重蹈信息化系统建设中经常出现的“缺乏顶层设计”、“重建设轻使用”等覆辙[5]，使区域在发展教育大数据的过程中不仅关注系统的建设与改进，更关注数据规律的探索与研究，以及系统在教育中的应用与反馈，把区域教育大数据真正打造成为教育变革的“利器”。目前的参考框架仍不够完善，如只探讨了影响教育大数据规划的三个关键要素，并没有对其它要素进行系统性总结与梳理，不够全面和完善；只探讨了区域的共性需求，对区域更多的个性化需求支持不够，还需在应用时结合区域实际进行针对性的探讨与分析。因此，在未来的理论研究与应用实践中，参考框架还需要不断地改进与发展，以期不仅能够覆盖更多的应用场景，满足更多区域的个性需求，还要能够提供更详实的最佳实践与案例研究报告，使框架更易于落地实践。

本文转自微信公众号“现代教育技术杂志”，作者刘邦奇、张振超。文章为作者独立观点，不代表芥末堆立场。