推文作者: 华中科技大学管理学院 何凡
原文: Bettinger E P, Fox L, Loeb S, et al. Virtual classrooms: How online college courses affect student success. American Economic Review, 2017, 107(9): 2855-75.
一、引言
在线大学课程的推出是高等教育迅速发展的一个特征,如今在美国,三分之一的学生在大学期间至少上过一门在线课程,这一比例在过去十年增加了三倍。无论是在公立学校还是私立学校,出于对成本节约和规模经济的考虑,在线教育的投资都在持续增长,尤其是非选择性和盈利性机构(Nonselective and for-profit institutions),更加注重使用在线课程。
本文中,我们评估了在线大学课程(相对传统的面授课程)对学生学业成绩和学业进步的影响。尽管随着科学技术的发展和高等教育的不断改革,在线课程越来越普遍,使用量也不断增长,但仍然鲜有研究探讨在线课程对大学生学业成绩的影响。我们的实证设计具有3个有利的特点:一是依靠一所大型的盈利性大学数据,二是每一门在线课程都有一个反事实数据(即有一个面授课程);三是利用工具变量估计因果关系。在以前的研究中,不可能将这三个特点结合起来。
二、数据
我们的研究对象是一所大型盈利性大学正在修读本科学位的学生。虽然这所大学最初主要是一所技术学校,但今天80%的大学生在攻读学士学位。该校每一门课程都提供了在线课程和面授课程两种形式,不过面授课程的数量会随着时间的推移和校区的不同而有所差异。平均而言,三分之二的本科课程是在线的,其他三分之一课程在全美100多所分校中的一所进行。
该大学为我们提供了从2009年春季到2013年秋季所有参加在线和部分面授课程学生的成绩数据,包括750个不同课程超过23万名学生的信息。其中,约有三分之一的学生同时选了在线和面授课程。表1的描述性统计显示,参加在线课程的学生更可能是女性和年龄更大的学生。本文研究重点是学生的学习结果,理想情况下,我们想知道学生在每门课上收获了多少,但没有直接的测量方法。因此,我们使用当前课程和未来课程成绩衡量学生的学习结果,但我们认为对课程成绩的过度解读应该保持谨慎。
如表1所示,在传统的0至4分数量表上,平均分数为2.8(约B?)。等级差别很大,标准偏差为1.3(超过一个等级)。超过88%的学生在接下来一个学期仍在这所大学就读,或者已经完成了他们的学位。此外,与在线课程相比,面授课程得分始终较高。这种差异可能是由于不同学生系统地参加了面授课程。后文中,我们将讨论样本选择偏差的问题。
三、实证策略
为了估计在线课程是否会对学生学业成绩产生影响,我们设计了如下模型:
其中,y_ict是学生i在t学期课程c的分数,每个学生都会获得老师对其成绩的等级评价,我们将其转化为0—4的分数等级。Online_ict表示学生i在t学期选择的课程c是否是通过在线课程学习的,Online〗_ict=1代表是在线课程学习,〖Online〗ict=0为面授课程学习。我们还加入了一系列控制变量:(1)前一学期学习成绩〖Online〗(i,τ<t),包括上一学期所有(单科)在线课程的平均成绩和所有面授课程成绩;(2)学生个体特征(性别,年龄)X_it。此外,模型中加入了课程固定效应π_c、时间固定效应?_t、校区固定效应ψ_b和专业固定效应ρ_p。并在校区层面进行聚类的标准误估计。
为解决选择性偏差导致的内生性问题,我们使用工具变量(Instrument variable,IV)策略进行估计。作者为〖Online〗ict选择的IV是以下2个变量的交互项:(1)学生i所在校区b在学期t是否提供课程c的面授课程,如提供,则〖Offered〗(b(i)ct)=1,否则〖Offered〗_(b(i)ct)=0;(2)每个学生住所距离开设该课程所在校区的距离,〖Distance〗it。在2SLS估计中,我们在第一阶段和第二阶段还加入了〖Offered〗(b(i)ct)和〖Distance〗_it2个变量。
首先,IV肯定是满足相关性假设的。就外生性假设而言,如果单独使用〖Distance〗it作为IV,虽然也与学生选择在线课程的概率相关,但也反映了其他的机制,如成绩好的学生可能会选择住的离学校更近,或者学校可能根据学生的潜在成绩决定学校的位置。单独使用〖Offered〗(b(i)ct)也同样面临着无法满足外生性假设的挑战。相比之下,2个变量的交互则能够很好的满足外生性假设。由于在2SLS估计的第一阶段和第二阶段都单独控制了〖Offered〗_(b(i)ct)和〖Distance〗_it变量,因此可以排除:(1)学生与校园之间的距离(〖Distance〗it)影响课程成绩的任何机制在有或没有面授课程选项的情况下都是不变的;(2)就他们离校园的距离而言,任何导致学生成绩在有或没有面授课程选项(〖Offered〗(b(i)ct))的情况下出现差异的机制都会对学生产生同质的影响。那么便剩下了IV影响核心解释变量的唯一机制:当学生在在线课程和面授课程间做选择时,学生与校园的距离可能会影响选择在线课程而非面授课程的概率,而选择的课程类别则可能会损害(改善)学生的学业成就。
我们还进一步讨论了IV的有效性。如大学课程的设置是否会受到学生的影响;学生住所和学校位置的选择是否内生等等。我们认为,学校提供面授课程的决定主要由每个地方校园的管理员决定,并非由当前或过去的学生需求驱动,对其影响最大的是季节因素(每年第一、第三和第五学期,或者第二、第四和第六学期开设面授课程)。其次,教授是否对教授这门课程感兴趣,往往也决定了是否有专人授课。此外,我们并没有(或极少)发现在样本期内存在学校搬迁或者学生搬家的现象,即使存在学生住所移动,但移动距离与可观察到的数据(如课程成绩、性别和年龄等)之间也没有相关性。稳健性检验中我们进一步探讨了这个问题。
四、结果
1.基准结果
表3报告了2SLS的平均处理效应(LATE)结果(OLS结果类似)。可以发现,使用在线课程使学生课程成绩下降了0.44个学分,大约下降0.33个标准差。换言之,参加面授课程的学生平均成绩约为B(2.8),而选择在线课程学生平均成绩为C(2.4)。此外,在线课程会降低学生下一学期的平均学分绩点0.15分。分数虽然不能完美地衡量学生在一门课程中学到的内容,然而,这些结果确实提供了一些信息。此外,我们还发现使用在线课程还会使学生下学期的GPA下降0.151分(列2),使学生下学期学生注册率下降0.09个百分点(列3),并使学生一年后注册率下降0.11个百分点(列4)。
附录中的表4还分析了在线课程影响学生成绩分布的结果,可以发现,选择在线课程将使学生获得A或更高分数的概率下降12.2个百分点,B或更高分数下降13.5个百分点,C或更高分数下降10.1个百分点,D或更高分数下降8.5个百分点。
2.稳健性检验
我们进行了如下稳健性检验:
第一,学生到校区的距离与选择在线课程的概率可能是非线性关系。为了测试我们的结果对非线性关系的敏感性,我们分别用了距离的二次项(表4 Panel A)和三次项(表4 Panel B)替换了线性的距离。得到的估计结果与表3中的主要线性规范相似。
第二,估计结果可能对不同距离的学生影响存在差异(可能主要是那些距离特别远的学生驱动了结果)。为此,我们将估计样本限制在给定距离内的学生,并估计在该距离内的主要结果。附录中的图4显示,对于居住在校园附近的学生来说,尽管分数估计值稍微小一些,但参加在线课程的效果仍然是负面的。
第三,工具变量可能会影响学生在t学期之前其他课程的选择。为此,我们采取两个措施:首先,假设IV通过影响先前学期的学术经验来影响当前结果,这种情况下,我们预计我们的IV与之前的GPA之间存在相关性,因此从我们的回归中剔除先前GPA控制变量会导致估计偏差。表4的Panel C中,我们发现即使将之前GPA从控制变量中去掉也不会改变结果。其次,Panel D显示,当我们将样本仅限于大学第一学期的学生时,结果也很稳健。对于新生来说,IV对学期前的课程选择和学术经验的影响非常小。
第四,由于缺少对从不接受者(never takers)的观察而产生的潜在偏见。如果我们从样本中排除从不接受者,则可以减少偏差。我们不能直接观察到那些从未接受过该课程的学生,但我们可以对这些学生做一个合理的预测。为此,我们排除了从未参加过上一学期在线课程的学生,发现结果仍然一致(Panel E)。
第五,使用学生最初住所距离校区的距离。Panel F报告了使用学生第一次观察到的住所测量且未发生变化的距离。结果表明,我们的主要结果并不是由学生内在的居住地变化所驱动的。
最后,我们讨论了未来成绩估计中潜在的消耗偏差。差异消耗在我们下学期的入学成绩中是隐含的。在主要结果中,没有直接的消耗偏差测试。然而,在表5中,我们用另一个不受损耗影响的结果来检验在线课程对未来成绩的影响。例如,列1中,如果学生在下学期平均成绩达到A或更高,则因变量=1,否则为0。其他列显示由B和C级阈值定义的结果。在未来的分数分布中,在线课程的估计效果都显著为负。
3. 异质性分析
最后,我们对主要结论进行了异质性分析。首先,我们发现在线课程对之前GPA相对较低的学生的负面影响最大,而且随着之前GPA的上升,负面影响会逐渐缩小(图1)。
其次,文章还探讨了不同专业间的异质性。附录中表5报告了结果,可以发现按专业划分的异质性没有按之前GPA划分的效果差异大。在线课程对健康相关专业的负面影响比商务或计算机相关专业要大。
最后,我们也比较了不同类型课程间在线课程影响效应的差异。对于参加必修课程的学生(大约一半的样本),对学生成绩的影响要大一些,对持续性的影响要小一些。我们还评估了在入门/中级和高级课程中在线课程的效果。在两个课程层面上,对当前课程成绩的负面影响都存在。其他的影响会因等级不同而不同:对未来课程成绩的影响对于修读高级课程的学生来说似乎更大,但对于入门/中级课程来说,对持续性的影响似乎更大。
五、总结
本文使用一个大型高等教育机构的学生数据,探讨了在线课程(相对传统的面授课程)对学生学习成绩的影响。在这所大学中,每一门课程都会设置在线和面授两种课程方式,除授课方式不同外,其余内容都一致,为我们识别在线课程的影响提供了一个非常好的环境。运用一个可靠的IV进行估计后发现,在线课程(相对传统的面授课程)对学生学习成绩具有显著的负面影响,不仅表现在当期,而且具有持续性的影响。且对于那些之前成绩较差的同学而言,这种负面效应更大。
虽然我们研究的环境和数据在估计上具有优势,但文章没有机会从实证上研究潜在的机制。我们讨论了以下几个可能的机制:(1)在线课程由于学习时间的灵活性,给那些还没学会管理时间的学生带来挑战。(2)在线课程改变了对学术互动的限制和期望。教授和学生不会面对面交流,来自教授的监督更少,学生回答教授问题的压力也更小。(3)在线课程和面授课程老师的教授方式可能存在差别。最后,虽然我们发现在线课程会导致学生成绩下降,但我们无法提供全面的福利分析,这也是本文研究的一个不足之处。
推荐理由:
去年一篇名为“一块屏幕改变的命运”的报道在网络广泛流传,贫困山村的孩子依靠网络教育享受到了优质的教育资源,改变了自己的命运。随着信息技术的发展,在线(远程)教育得到了巨大发展,一些诸如慕课、腾讯课堂、网易课堂等在线教育平台使用量也逐年上涨。当前,一个迫切需要回答的问题是:在线教育是否能够发挥作用?这不仅是政策制定者关心的问题,也是经济学家研究的热点。这篇文章利用大学生数据,为认识在线教育的作用提供了证据。
其次,虽然作者发现在线教育对大学生学习成绩具有负面影响,但作者并未进行直接的机制检验。作者在文末给出的几个可能的机制也为我们进一步研究提供了方向。
最后,从写作上来看,本文并未使用高深的识别方法,但却发表在经济学的顶级期刊。这进一步启发我们在论文写作过程中,选择一个好的话题,讲述一个好的经济学故事可能比使用高深的识别方法更加重要。