嵌入式信息素养教育教学效果评价探索与实践
发布时间：2021-04-12
摘要：对图书馆开展的嵌入式信息素养教育教学(嵌入式教学)效果进行评价，可以体现嵌入式教学的意义与学科馆员的价值，为图书馆长期开展嵌入式教学服务提供事实依据。构建高校图书馆嵌入式教学效果评价模式，将该模式应用于华南农业大学图书馆开展的嵌入式教学效果评价实践中。构建的嵌入式教学效果评价模式可以体现教学的意义和学科馆员的价值，并为图书馆长期开展此项服务提供事实依据。
关键词：嵌入式教学;效果评价;信息素养;基础兽医学
一、研究意义及现状
嵌入式信息素养教育教学(嵌入式教学)服务是图书馆参与教学过程、发挥教育职能的重要方式，对提升高校图书馆知识服务能力、提高大学生信息素养水平发挥着积极作用，是未来高校图书馆服务的重要发展方向。[1]嵌入式教学效果评估是嵌入式教学的重要组成部分，其不仅可以促进专业课教师与学科馆员教学质量的提高，而且是图书馆推广嵌入式教学服务及其持续有效运行的重要事实支撑。[2]
目前关于嵌入教学效果评估，国外研究也比较多，有通过课程评估、课前课后问卷调查、E-mail问题分析等多种途径评价嵌入式教学效果[3]，也有采用课程结束随堂发放问卷[4]和网上问卷调查[5]的形式进行学生评教，或是通过采用课程前后测试法对学生信息素养水平进行评估，评价嵌入式教学效果[6-8]。科罗拉多大学(丹佛)研究者还指出对学生学习效果的评估要考虑长期性问题。[7]国内学者有通过嵌入式馆员的自我评价、用户评价及结果评价等对教学服务质量进行评价[9]，也有通过问卷调查的方式进行课程评估[10]或是通过对学生学习能力的考察评估嵌入式教学效果[11-13]，还有学者建议建立一套由第三方参与的基于用户感知的嵌入式教学评价体系[14]。这些研究多是对嵌入式教学影响因素和学生学习质量评价的研究，评价的主体、对象和方式较为单一，且很少对嵌入式教学效果评估框架及实证进行研究。
笔者通过文献调查与网络分析，尝试构建嵌入式教学效果评价总体框架，并结合华南农业大学图书馆对该校基础兽医专业课程开展嵌入式教学效果评价的实践，对教学效果评价模式进行初步探讨，为高校图书馆嵌入式教学技术改进和服务质量的提升提供数据支持和参考。
二、嵌入式教学效果评价模式的构建与实践
笔者在调查研究的基础上，通过总结和借鉴国内外嵌入式教学效果评价模式，尝试从评价主体与对象、内容与指标、方式与方法三个方面进行嵌入式教学效果评价模式的构建(见图1)。笔者认为，国内高校图书馆应该从实际出发，根据嵌入式教学具体开展情况实施教学效果评价，注意开展嵌入式教学评价的主体清晰、评价内容明确以及评价方式多样化等方面的问题。
(一)评价主体与对象
高校教师教学效果评价通常有学生评教、同行评价、专家评价。不同的教学评价主体既能体现多元的教学价值判断，也能丰富教师教学评价的信息来源渠道[15]。近年来，学者在高校教师教学评价主体的多元化上基本达成一致，学生始终是高校教师教学评价的主体[4]。学科馆员开展嵌入式教学活动，直接涉及到专业课教师、学生，具体职能部门主要有图书馆、学生处或研究生院、具体学院等。根据可操作性与便利的原则，笔者认为，嵌入式教学效果评价的主体主要包括学生、专业课教师和学科馆员。其他主体则由于客观原因，评价不易操作。学科馆员自评是促进其自我发展的主要动力机制，不仅有助于馆员自我反省与完善，更有助于自身的发展。
图书馆开展嵌入式教学效果评价，评价对象主要是学科馆员，但通过对学生学习效果的考核也能直接反映学科馆员开展嵌入式教学的服务质量。因此，学生除了是主要的评价主体之外也是重要的评价对象。
(二)评价方式方法
对学科馆员教学效果的客观评价，不仅可以提高教学质量，而且可以促进馆员业务能力提升和馆员个人发展。嵌入式教学既要对课程的教学效果进行评价，又要对学生的信息素养能力做出评价，可以采用形成性评价、终结性评价、真实性评价和标准化评价[16]等多种评价方式评价学生的学习效果。国内有学者借鉴探究式课程评估方法[17]对嵌入式课程进行效果评估，将评估分定性和定量两个方面。通过访谈、观察等形式从学生、专业课教师和导师的反馈进行评估，属于定性评价。建立相应的评价模型(主要有模糊评价模型和属性综合评价模型)和数据挖掘技术、调查问卷分析(群体抽样的方法，利用SPSS统计软件进行聚类和回归分析)[14]测试学生课前课后信息素养水平的变化，阐明教学效果，属于定量评价。笔者在对馆员开展嵌入式教学进行评价时兼顾定量评价与定性评价两个方面。
对于评价主体对象以及各种评价方式方法的实际应用，笔者会在评价内容章节中结合具体实践做详细阐述。
(三)评价内容指标
1.图书馆资源与服务利用
学科馆员开展嵌入式教学主要目的就是将信息素养教育融入专业课教学，并积极介绍推广图书馆资源及开展的各项服务，以提升学生信息素养，使其能更好地开展学习与科研。该项内容主要是学科馆员通过对学生的评价开展。对于图书馆资源与服务利用的评估，具体来讲可以细分为以下几个方面：是否熟悉图书馆购买的资源和与专业相关的各种数据库、是否熟悉图书馆开展的各项服务包括原文传递、检索证明、学科信息咨询等。
相关知识推荐：教师职称论文发表多长时间见刊
本次调研以兽医学院基础兽医专业2014级研20名研究生为对象，以图书馆开展的嵌入式教学服务是否有效和有价值为切入点，从信息搜索技能、学科数据库使用、论文写作格式及知识管理分析工具3个方面设计问卷调查表，分别在嵌入式教学前后开展问卷调查。两次调查回收有效问卷均为20份，回收有效率均为100%。具体涉及22道选择题。以下问卷调查的结果均来自此次调查样本数据。开展嵌入式教学前，75%的学生通过中国知网(CNKI)一个数据库检索中文文献，外文相关文献的选择主要通过使用google和pubmed网站，且中外文文献几乎是期刊论文一种文献类型。只有3位学生选择了两种以上类型的文献，没有学生选择专利、标准、网站信息等类型的信息作为相关文献。开展嵌入式教学后，学生对文献检索的一般技巧有明显掌握，75%的学生认为掌握的这些技巧有助于他们进行文献的查找与选择。学生对图书馆的资源与开展的服务有了重新的认识，使用图书馆数据库资源检索文献的频率明显增加。91.7%的学生通过两种以上的数据库或网站获取中文文献。外文相关文献的获取则增加了多个与专业相关的文献型与全文型数据库，包括SCI、Wiely、Elsevier、Springer、CA以及一些免费的专利数据库。75%的学生经常使用3种以上文献类型的文献，使用频次排在前5位的数据库及网站分别是中国知网、读秀、SCI、pubmed和google。
2.研究生科研帮助
进行科学研究是研究生阶段一项重要任务，研究生需要掌握如何全面获取相关资源，如何通过有效地组织和利用资源节省科研时间，如何准确掌握研究领域的发展现状和未来发展趋势，如何在科研的全过程中随时提高信息素质以适应课题进展的需要。以下对研究生科研指导的评价主要根据研究生在科研中对文献的具体需求展开。对研究生科研指导的具体评价模式见表1。
首先，通过学科馆员与专业课教师合作考察研究生学习效果。学科馆员与专业课教师共同讨论，决定提出检索词正确率、检索词准确率、参考文献正确率等指标考核学生的学习效果。检索词的正确率：指学生对单篇论文检索列出的正确检索词数量占论文标准检索词数量的百分数。检索词的准确率：指学生对单篇论文检索列出的正确检索词数量占列出的检索词总数的百分数。相关文献正确率：指学生列出的相关文献总数中正确相关文献数占标准相关文献数的百分比。
检索词正确率与准确率。开展嵌入式教学前，学生中文检索词平均正确率与准确率均高于英文检索词平均正确率与准确率。开展嵌入式教学后，学生对检索词的提炼能力均有一定程度提高，检索词的准确率与正确率较嵌入前有明显提高，几乎都在75%以上，且学生对提炼中英文检索词的正确性和准确性存在差异，英文检索词提炼的正确性和准确性有一半以上(7篇)的达到100%，而中文检索词正确率和准确率达100%的分别也只有3篇。一般来说，学生对母语的驾驭能力应该会强于第二语言英语，但事实却是，嵌入后学生提炼英文检索词的水平强于其提炼中文检索词的水平。其中的原因很难解释，但可以肯定的是，嵌入后学生已经根据专业课老师的要求完成对相当数量英文文献的阅读，这将对检索词的提炼有一定帮助。
相关文献正确率。嵌入前有5篇论文的中英文相关文献正确数为零。嵌入后，学生查找中英文相关文献的正确率有所提高。半数论文(6篇)的中文相关文献正确率为100%，但也有两篇论文的相关文献嵌入前后没有变化，正确率均为零。英文相关文献的正确率也提高明显，嵌入前有7篇论文没有找到正确英文相关文献，嵌入后都有找到，而且有一篇论文的英文相关文献正确率达到100%。一半以上论文的英文相关文献正确率在60%以上。嵌入后中英文相关文献正确率均有显著提升。和嵌入前一样，依然是中文相关文献平均正确率略高于英文相关文献平均正确率，这可能与中文相关文献的可获取性有关。
其次，问卷调研显示，嵌入后85%的学生至少能够熟练使用1种文献管理软件，60%学生认为使用文献管理软件可以节省他们用于论文写作的时间，80%的学生认为hiscite、bibexcel、citespace等文献分析工具对他们了解学科研究动态和研究热点有帮助。而嵌入前则是60%的学生并不了解文献管理、分析软件及其在科研中的作用。另外，70%的学生表示，对影响其获取全面、及时、有效的科研信息的影响因素中，学科馆员的影响在5分以上(总分10分)，综合数据见图2。
第三，通过研究生院教育管理系统的网上评教结果显示，学生评教的综合得分为90分，排名同类课程前列。学生非常肯定教学内容和教学结构层次，90%的学生评价为优秀(90-100分)。虽然这是学生对专业课教师和学科馆员的整体评价，但也体现了学生对学科馆员教学效果的肯定，并且学生在教学建议中明确指出：“张老师授课耐心，讲解细致，课程内容丰富，系统性强，注重温故知新，同时，结合相关专业的检索实例提高授课效果，为今后学位论文和科研工作的开展提供了良好的实践指导，让人‘眼前一亮’，不仅学到了检索方法，也开拓了整体思路。”
3.教师教学科研影响
专业课教师在撰写教案和组织课程教学的过程中，需要掌握相关学科资源的获取方式与管理技巧。学科馆员是否顺利协助专业课教师完成学科课程教学目标，是否与专业课教师建立良好的合作关系，是否使专业课教师获得信息素养技能，是否提升专业课教师对相关学科资源的获取便利性，是否及时解决嵌入式课程中教师遇到的各种与信息素养相关的问题等都可以作为评价的内容。另外，专业课教师除了进行教学之外，也会从事科学研究，学科馆员对教师的科研的有效性也可以作为评价的内容。对教师教学科研帮助评价具体模式见表2。
专业课教师在学科馆员上课期间随堂听课，相当于临时教学督导员，并填写图书馆制定的“嵌入式课堂教学基本情况调查表”，对学科馆员在课堂教学的组织、实施情况进行分析、评价。专业课教师听课非常积极，几乎每次课都会参加。听课结束后，专业课教师会与学科馆员做进一步的交流和讨论。调查表的结果显示，在听课评价的优、良、中、差四级评分中，专业课教师对学科馆员的各考察项(包括教学目标、态度、内容、技能、组织等多个方面)均是优或良。
与专业课教师进行座谈，任课教师用“术业有专攻”一句话肯定学科馆员的成绩，表示愿意持续与学科馆员保持教学合作关系，并主动向研究生院申请长期合作开课教学。
此外，学科馆员还开展自我评教。学科馆员通过填写图书馆制定的自我评价调查表，结果显示已经完成信息素养和图书馆的资源与服务的相关主题的教学任务，在教学中专业素养强，教学的方式方法学生乐于接受，且能够与专业课教师积极有效沟通与合作，高质量地完成教学任务。
通过学生学习效果、学生反馈以及专业课教师的评价也可以看出学科馆员已经圆满完成教学目标和教学任务，并且教学效果得到师生认可。
三、小结
(一)建立科学的嵌入式教学效果评价标准
大学的核心任务是教师的教和学生的学，这也是构成大学教学本质的两个层面，图书馆开展的嵌入式教学也同样适用。考核评价方法是嵌入式教学实施的主要影响因素之一，制订相应的考核评价办法，会推动嵌入式教学的实施[18]。对于嵌入式教学效果评价标准的制定，除了按照国家的法律法规和教育政策的要求以外，还需要发挥高校图书馆的特色和专长，并结合专业课教师和学生的意见与需求，制定科学的评价标准。
(二)创新学生学习效果评价方法
以学生为中心的嵌入式教学效果评价，学生学习效果是关键。评价学生学习效果的途径有多种，哪一种方法才更能体现学科馆员对教学贡献?本门课程主要考核内容是完成一篇综述论文，而综述论文写作首先必须进行文献调研。检索词提炼不仅直接影响相关文献的查找，影响研究者的判断与综述论文质量，而且可以反映研究者对研究背景的了解程度与信息素养水平。因此，考虑到课程的实际要求，笔者创新性地提出了检索词正确率与准确率、相关文献正确率等概念，以数据的形式定量评价学生学习效果。
(三)融合多元评价渠道
虽然学生学习效果评价是重点，但多渠道的评价方法可以从多个角度说明学科馆员教学质量，教学效果评价结果更具有说服力，从而更能够得到图书馆、学院和学校的认可，体现嵌入式教学的作用和价值。因此，笔者从多个视角(专业课教师、研究生、馆员)，多种方式(问卷调查、课程考核成绩、教育管理系统网上评教、访谈、课堂教学调查表以及自我评价调查表等)相结合开展嵌入式教学的效果评价。
(四)注重学科馆员专业素养提升
开展嵌入式教学效果评价不仅要求学科馆员具有良好的沟通和理解能力，能够理解学生和教师的真实和潜在需求，还要求学科馆员具有扎实的专业素养，能够根据教学实际情况，灵活开展教学效果评价工作。图书馆应当定期或长期邀请相关领域专家讲学、引进高层次人才、支持馆员进修访学，建立一支通晓业务、知识结构较全面、掌握最新知识的馆员队伍，为嵌入式信息素养教育工作的顺利开展提供人才支持[19]。——论文作者：张 琴，刘熙东
