面向工程能力培养的大数据教学研究

　　摘 要：针对目前研究生专业选修课教学中采用教师讲课、学生写读书报告等教学形式，缺少工程素养的系统性训练等问题，在“大数据处理技术”课程中，探究专业选修课的教学改革方法。在讲授大数据知识的同时，通过设计与实现小组项目，培养学生系统分析与设计能力，以及团队协作和解决工程问题的能力。实践证明，面向能力培养的教学方式效果良好，学生高度认可。

　　关键词：新工科;大数据;工程能力;教学研究

　　1 引言(Introduction)

　　新工科致力于培养德才兼备的具有深度学习、人工智能和大数据处理与分析等多元化技术的创新型人才，使之具有较强的工程实践能力[1]。随着大数据应用的兴起，对大数据应用人才的需求急剧增长。大数据应用人才应具备数据科学相关的专业知识和工程能力。专业知识包括人文社会科学知识、数据科学基础知识和数据科学专业知识[2]。大数据创新型人才的培养首先必须培养学生跨学科的数据思维，同时还应培养他们具备工程应用的能力。“大数据处理技术”是湖南大学信息科学与工程学院面向硕士研究生开设的选修课程，旨在系统地介绍大数据处理和应用开发相关知识与技能[3]。“大数据处理技术”课程在傳授研究生大数据专门知识的同时，特别强调培养他们解决新工科工程问题的能力。

　　2 课程现状(Course status)

　　目前国内一些大学研究生选修课程的教学形式主要是采用任课老师讲解部分内容，博士生做几个技术讲座，研究生写一篇读书报告或者是写一篇课程论文，老师根据读书报告或者课程论文给出学生课程成绩。这样的教学方式存在着一些问题，要学生在一个学期的课程学习中写出一篇有价值的论文实在是困难。如何提高研究生课程的授课质量?如何实现从知识传授到能力培养的转变?如何把学生的被动学习转变为自主学习，提高学生的终身学习能力?这些问题需要高等教育的管理人员和任课教师深入思考。

　　3 课程教学模式(Course teaching mode)

　　目前许多大学都开设大数据分析相关课程，不同大学开设的大数据课程，其知识的侧重点都不一样。但是，基本上可以分成下面几类：一是针对数据分析和数据挖掘的课程;二是针对并行与分布式编程架构和模型的课程，主要是对Hadoop MapReduce以及Spark生态系统的讲述;三是面向非结构化数据处理与存储管理的NoSQL数据库和NewSQL数据库技术以及面向云存储的课程[4]。

　　通过查阅世界一流大学大数据相关课程，采用下面的知识点作为大数据应用技术课程的主要教学内容：大数据存储与管理技术、大数据编程模型、大数据分析和可视化技术，以及商业智能和数据湖等新的大数据应用技术[5]。

　　课程学习是研究生面临的一个重要学习过程，专业课程学习可以使研究生掌握更广泛的专业知识，在未来的研究中发挥重要作用。研究生专业选修课教学应该根据课程的性质和学生的特点，采用不同于以往的教学方式和教学模式。教学模式不应该是单一的，需要结合课程特点采用多种教学方法。在“大数据处理技术”研究生课程教学中，采用授课、技术讲座、课程实验、讨论会、课程小组项目等多种方式进行。课程讲解大数据生态系统中的软件架构和相应的软件产品与处理技术，对学生难以理解的重要理论知识作出详细和深入阐述，使学生掌握核心的数据科学专业知识。针对每一个重要的知识环节，安排独立的实验，学生必须单独完成。通过实验，使学生掌握大数据生态系统的基础和核心技术，结合实际的操作和编程实验，巩固课堂教学内容，使学生将所学理论与实际技能相结合，能够应用主流的大数据开发技术和开发工具。此外，课程需要结合当前研究的热点问题，通过提出问题和分小组完成一个大数据相关的工程项目。通过运用软件工程的原理与方法，小组成员全程参与问题描述、需求分析、算法(系统)设计、编程实现到测试等每一个开发环节，培养学生系统分析与设计能力以及团队协作和解决工程问题的能力。

　　大数据已经成为企业和公司使用信息增进用户体验和改变运营模式的极其重要的新技术。如何有效使用大数据?如何从大数据分析中获取知识和智慧?“大数据处理技术”课程将把最新的大数据处理技术介绍给学生，帮助学生掌握从海量的异构数据源中对大数据进行存储与管理、高效处理、有效应用与分析的技能。

　　4.1 理论教学目标

　　课程涵盖大数据技术的基本概念、大数据生态系统、大数据存储模型、大数据编程模型、大数据分析技术、大数据可视化技术和大数据主流应用技术。

　　4.2 工程能力培养目标

　　学生解决工程问题能力的培养通过课程实验以及设计课程中综合性的工程项目来达成。工程能力的培养问题不仅仅是个人的问题，工程问题的解决需要团队协作。“大数据处理技术”课程希望通过项目小组的形式，培养学生团队合作、有效沟通、项目管理和终身学习的能力[6]。(1)团队合作，让学生分成讨论与项目小组，因为工程项目无法一人独立解决，需与他人合作。(2)有效沟通，讨论课让学生书面及口头报告，大家一起讨论，形成最终解决方案。(3)主动学习、终身学习，让学生主动学习，减少教师课堂讲授。学生须设计实验来验证、解决问题，须自己或团队搜集资料、寻求资源、增进专业素养。(4)项目管理，让学生尝试执行项目，规划任务和时间。

　　5 课程教学实施(Course teaching implementation)

　　5.1 课时安排

　　“大数据处理技术”为研究生选修课，共48学时，课程通过课堂讲授、课程实验、文献阅读、小组讨论、课程小组项目和期末考试等环节来组织教学。教师用32课时讲解核心的大数据生态系统架构和关键技术，选修课程的学生2—4人组成项目小组，必须完成一个与大数据处理技术相关的工程项目。教师安排4个课时点评学生的文献阅读报告和小组拟进行的工程项目开题报告，对工作量、难易程度、实验数据来源、关键技术和算法等方面进行把关。每个项目小组就项目的开题报告、实验环境搭建、实现的关键技术与算法设计、编程实现、系统测试、问题描述与解决方案等内容在课堂上进行讨论。由各研究生小组成员讲解或演示，共6次，12课时，教师参与讨论与引导，学生遇到问题时给出解决方案的建议。

　　5.2 理论教学内容

　　“大数据处理技术”课程的主要内容分为四个部分：大数据处理与算法、大数据存储与管理、大数据分析与可视化、大数据应用技术。课程内容和主要知识点如表1所示。

　　5.2.1 大数据存储与管理

　　近十多年来，对存储和处理大规模数据集的需求不断增长，一直推动着数据存储技术和并行计算技术以及数据库技术快速发展。从本地存储到集群，从分布式存储到云数据库存储，数据存储方法得到了极大的增强[7]。数据库系统已从传统的关系数据库系统进化到最新的基于NoSQL和支持数据库完整性约束的NewSQL数据库系统。大数据除结构化的数据外，主要涉及大量的非结构化数据，NoSQL和NewSQL是非结构数据存储的新方法。大数据存储建立在分布式文件系统之上，HDFS是使用最广泛的分布式文件系统。NoSQL数据库的类型很多，有文档的、图的、列簇的和键值等[8]。课程将讲解大数据存储模型和管理技术，大多数NoSQL数据库系统都是开源的，因此很容易纳入大数据课程的实验环节中。

　　5.2.2 大数据编程模型

　　并行分布式计算与处理模型是大数据应用系统架构的核心。大数据编程模型提供了编写大数据应用系统通用的接口，为构建大数据应用程序系统提供了简单的途径。大数据通常涉及在集群上的分布式并行计算技术。MapReduce是主流的并行计算算法框架，它可以支持各种数据密集型程序，是事实上的大数据编程模型。大数据处理的核心是采用两个基本过程对象Mapper和Reducer，它通过两种特殊的计算方式Map和Reduce归约到集群不同节点上进行处理[9]。大数据处理另外一个广泛应用的算法框架是基于Spark平台中实现的弹性分布式数据集RDD(Resilient Distributed Dataset)。通过使用RDD，用户不必担心底层数据的分布式特性，只需要将具体的应用逻辑表达为一系列转换处理，就可以实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘I/O和数据序列化的开销。

　　课程将通过比较具体的代码示例，全面阐述大数据框架Hadoop和Spark中的不同编程模型。

　　5.2.3 大数据分析与可视化

　　可视化已成为从大数据分析结果中提取有意义信息并带来价值的一项核心技术。有效地工具和技术，可以轻松地可视化杂乱的海量大数据，通过可视化大数据来改善企业的经营决策能力。为了实现强大的数据分析和出色的可视化，在Hadoop上使用R语言将提供一个弹性的数据分析平台。R语言提供了最流行的开放源代码数据统计分析软件包，Hadoop强大的数据处理能力和R强大的可视化分析能力相结合的Rhadoop，提供了很好的大数据分析平台。课程将介绍R语言和Tableau等可视化工具。

　　5.2.4 大数据应用技术

　　随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念层出不穷，如从最初决策支持系统(DSS)到商業智能(BI)、数据仓库、数据湖、数据中台等。数据湖是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括各种类型的数据：关系数据库的结构化数据、半结构化数据(CSV、日志、XML、JSON);非结构化数据(电子邮件、文档、PDF)和二进制数据(图像、音频、视频)。Hadoop是最常用的部署数据湖的技术。数据中台是一个承接技术、引领业务、构建规范定义的智能数据处理平台。许多企业已经开始尝试使用大数据和云技术来构建数据湖和数据中台，并支持数据驱动的智能决策。如今，世界上顶级的公司和大型企业已经部署或正在部署数据湖和数据中台。课程将向学生介绍这些新的技术，让学生了解企业大数据应用的真实现状。

　　推荐阅读：大数据挖掘的论文投刊指导

期刊VIP网，您身边的高端学术顾问

文章名称： 面向工程能力培养的大数据教学研究

文章地址： http://www.qikanvip.com/jisuanjixinxiguanli/56410.html