计算机论文：基于众包任务分配的网站无障碍人工测试

　　计算机论文：基于众包任务分配的网站无障碍人工测试

　　摘要  网站无障碍测试是指根据相关规范或要求，发现网站内容对人们产生障碍的过程。网站无障碍测试的某些检测点需要人工测试，因此提高了网站测试的成本。使用众包的方式引导志愿者参与解决了成本的问题。然而，无障碍性任务测试针对不同类型的志愿者产生不同的测试结果，这使得众包测试面临一个具有挑战的问题，为了解决这个问题，本文提出了任务分配策略，称为“评估者-类型分配（EDTA）”，以更好的利用类型不同的志愿者群体参与测试。使用主成分分析法对检测点进行筛选，以获得最佳任务分配。实验表明，该方法在网站无障碍人工测试中准确率更高，有效的使视障群体，听障群体，健全群体参与到无障碍人工测试中。

　　关键词：网站无障碍测试，众包，任务分配，主成分分析

　　1 引言

　　目前，政府网站被建议进行无障碍优化。但由于部分网站图片没有文字备注等无障碍要求，的确影响了视障者与听障者上网，而这种不便通常是健全人无法想象的[1]。研究者为改善浏览体验做出了许多的努力，但残障者在网络上访问信息方面仍然存在很多障碍[2]。因此开发了许多web无障碍测试工具，以查找页面中引起障碍的设计问题[3]。目前企业关于网站无障碍性的有效测试方法为自动测试和人工测试相结合，自动测试解决了大部分检测点的测试，但并不能覆盖所有的检测点，由于一些检测点的主观性与操作性，自动测试无法处理主观性与操作性的问题[4]，例如验证码，键盘操作，错误预防等检测点具有主观性或操作性，因此需要人工测试。人工测试是无障碍测试的重要组成部分，专家通过人工测试来测试自动测试未包含的检测点，即人工检测点。由于时间和空间的限制专家不足以测试所有的网站，人工测试大量的检测点是非常繁琐的，采用基于众包的web无障碍测试完美的解决了这一问题。由于检测点通常是针对障碍人士进行无障碍设计的，因此不同类型群众对检测点的无障碍测试情况是不同。而群众测试随机分配，如果把验证码分配给明眼人测试，不可能测试出视障者的无障碍访问效果，把多媒体测试分配给听人测试也不可能测试出听障者的无障碍访问效果。人工检测点对不同类型群体的影响情况不同，因此判断检测点的无障碍性需要不同类型的群体参与测试，不能简单的认为健全人测试检测点就得到了正确的无障碍测试，例如，认为健全人测试检测点验证码能够识别，就说明验证码到达了无障碍要求，键盘操作检测点的无障碍对聋生影响不大，不应分配给聋生检测。因此，障碍者真实的参与无障碍测试才是最有效的解决办法。

　　本文提出了一种评估者-类型分配（EDTA）策略，解决网站无障碍人工测试点与测试群体的相关性问题。通过主成分分析法，筛选出网站中影响听障、视障上网的主要检测点，即分别选择针对视障者与听障者起辅助作用的检测点，把检测点分配给不同类型的测试者。我们将EDTA策略应用在众包无障碍评估中，实验表明，在听障者，视障者参与测试中，EDTA策略相比随机分配达到了更精确的测试。

　　本文的其余部分组织如下：第2节简要介绍相关工作；第3节提出评估者-类型分配任务分配策略；第4节描述实验结果与分析；第5节总结与展望。

　　2 相关工作

　　在本节中，我们介绍信息无障碍，基于众包的网站无障碍测试和任务分配。

　　2.1无障碍

　　无障碍是指在发展过程中没有阻碍，活动能够顺利进行。网站无障碍是帮助视障者和听障者可以正常的获取信息、浏览网页信息，如无法正常获取信息，要使用替代式或者辅助工具来帮助人们完成信息的输入输出。网站无障碍测试的方法为根据检测点相应的规范或者要求检查网站的无障碍性。

　　2.2基于众包的网站无障碍测试

　　众包指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定（而且通常是大型的）大众网络的做法。众包模式的优势表现在于充分利用互联网，它的特性为：节约成本，高效，专业性强[5]。可以利用群体的智慧，让人数众多的测试人员来完成网站测试的任务，从而有效地发现对残障人有障碍的网页并评估网站的无障碍情况[6]。

　　2.3任务分配

　　任务分配是把将任务分配给工作人员，帮助解决实际问题。不同的任务分配方法会产生不同的结果，有效的任务分配对实际问题的解决至关重要，对于网站无障碍人工测试任务分配，我们需要多个不同类型的测试者进行测试，不考虑测试者的背景信息将对测试结果带来不良的后果，因此需要对网站无障碍人工测试采用适当的任务分配策略。

　　3 任务分配策略

　　不同检测点达到无障碍要求时对不同类型群体的影响是不同的。在本节中，我们提出了一种任务分配策略，称为“评估者-类型分配”。以类型划分，将不同检测点分配给属于不同类型群体进行测试。

　　3.1 定义

　　Xij：表示第i行第j列的值。

　　平均值：平均数是表示一组数据集中趋势的量数,它是反映数据集中趋势的一项指标。

　　数学期望E(X)：反应X的平均值。

　　X,Y是两个随机变量，X,Y的协方差Cov(X,Y)定义为：

　　Cov(X,Y)=E((X−E(X))(Y−E(Y)))，若为0，则说明X Y独立。

　　3.2任务分配--主成分分析

　　主成分分析主要是利用降维的思想，将多个变量转化为少数几个综合变量（主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映原始变量的绝大部分信息，且所含新的信息互不重叠。多元统计方法将检测点的辅助帮助情况转换为几个互不相关的综合变量，通过对几个主成分的分析，找到影响听障者与视障者的主要检测点。

　　在主成分分析中一般要先对原始数据进行标准化处理[9]，计算绝对分数

　　其中

　　计算协方差矩阵C：

　　C=CovMatrix=

　　得到协方差矩阵C,计算特征值λi，并计算特征值λi的方差贡献率和累计贡献率，确定主成分个数。解特征方程,求出特征值λi (i=1,2,...,p)。主成分的贡献率为bi的贡献率:

　　bi=,累积贡献率为，根据选取主成分个数的原则，特征值要大于1，且累计贡献率达65%-95%[10]。当λi 接近于1（一般取值为0.85,0.9，0.95）时，则选择前m个指标变量y1,y2,...ym作为 p 个主成分，代替原来 p个指标变量，从而可对 m 个主成分进行综合分析[11]。

　　贡献率bj反映了第j个主成分承载原始变量信息的百分比。因而第一主成分方差贡献率最大，逐次递减。

　　依据各主成分的方差贡献率，在主成分中确定筛选的指标个数[12]。

　　3.3分配过程

　　图1EDTA任务分配策略

　　EDTA任务分配策略如图1所示。首先通过主成分分析对数据进行训练，得到分配映射，并将其分配给不同类型的志愿者，最后分析评估结果。

　　4实验

　　在本节中，我们首先依据主成分分析原理分配检测点，然后检验我们的“评估者-类型分配”在中文web无障碍测试中的实际任务分配，随机分配策略用于比较。

　　4.1数据集

　　检测点达到无障碍旨在帮助人们获取信息、利用信息，因此根据人工检测点达到无障碍时对辅助听障者，视障者获取信息利用信息进行定量分析，筛选出分别适合听障者、视障者测试的检测点。人工检测点来自于中国标准，人工检测点如下：C1错误预防、C2键盘操作、C3无障碍辅助方式链接形式、C4用户交互兼容性、C5用户交互兼容性2、 C6反馈链接、C7多媒体播放控制、C8帮助信息、 C9多媒体、C10错误修改建议、C11预录多媒体、C12验证码、C13错误原因提示、C14无漂浮窗、C15验证码2、C16 反馈联络、C17无障碍浏览辅助方式链接位置、C18输入提示、C19充足操作时间、C20多媒体播放控制。

　　验证码2是在验证码1的基础上的更高要求，验证码2相比于验证码的特点为使用验证码时不跳转到其他页面。用户交互兼容性检测点要求网站提供连接的访问权限，用户交互兼容性2检测点是在用户交互兼容性需要除了地址以外的基于互联网的连接，例如电子邮件，在线服务等。

　　通过信息无障碍专家，聋大学生，一线教学教授以及信息无障碍研究人员的讨论研究，最终确定问卷，针对聋大学生和视障大学生对检测点帮助自己获取信息，利用信息的程度进行调查。

　　第一组调查人员为聋大学生共60人，年龄在19-24岁之间，平常的交流方式多使用手语，书面语，且听力在70分贝以上，都有听力障碍，包括全聋、有听力残余，其中有14人是天生聋，其余46人为后天导致。他们中的大部分人没有经历过普通学校教学，只有10人经历过3年以上的普通学校教学。

　　第二组调查人员为视障大学生共60人，年龄在19-24岁之间，包括低视力到完全失明人群。

　　聋大学生和视障大学生都有上网经历，视障大学生平常多使用读屏软件上网。我们对无障碍检测点进行说明以确保被调查者理解检测点的含义。

　　我们使用EDTA与随机分配策略对中国政府网站中的20个检测点进行测试。具有听障，视障，健全人在内的8位志愿者参与了测试实验，且都有信息无障碍测试经验。检测点根据EDTA策略分配给志愿者。最后，检查他们的测试结果。

　　4.2 评估指标

　　为了对我们的分配质量进行定量分析，我们通过计算准确率。我们计算每个检查点组志愿者的正确结果CR和总结果TR，则准确率AR是CR和TR的比率 AR=CR/TR。为考虑分配的平衡性，我们计算EDTA策略与随机分配下的方差。D表示分配任务数，表示平均分配任务数，则方差V:

　　V=

　　4.3 实验过程与分析

　　建立数据指标。估计样本数为听障大学生，视障大学生各60人，各项指标是聋大学生与听障大学生对20个检测点的评分，分4个等级：4、3、2、1，分别对应人工检测点到达无障碍时对自己获取信息，利用信息非常有帮助，有帮助，几乎没有帮助，完全没有帮助。统计听障大学生与视障大学生评分信息数据见表1，表2。应用SPSS统计分析软件对数据进行统计分析，将数据输入数据编辑窗口。

　　表1 听障大学生对人工检测点评分

　　表2 视障大学生对人工检测点评分

　　应用SPSS统计分析软件对检测点评分结果求取特征值和方差贡献率。

　　在第一组听障学生的调查中，第1,2,3,4,5，6,7主成分的特征值都大于1，分别为5.150,2.083,1.893,1.439,1.298,1.182,1.111均大于1，方差贡献率分别为25.749,10.415,9.466,7.195,6,489,5.909,5.553。累积贡献率达到了70.776，见表3，基本包含了20个检测点的听障者调查的所有信息，故可以选择前7个主成分进行分析，其中第一个主成分又是最重要的，包含的信息最多，对听障者无障碍影响最大。

　　表3 听障学生特征值和方差贡献率

　　在第二组视障学生的调查中，第1,2,3,4,5，6,7，8主成分的特征值都大于1，分别为2.691,2.241,1.814,1.669,1.538,1.357,1.232,1.048均大于1，方差贡献率分别为13.453,11.207,9.071,8.344,7.692,6.786,6.161,5.242。累积贡献率达到了67.956，见表4，基本包含了20个检测点的视障者调查的所有信息，故可以选择前8给主成分进行分析。

　　表4视障学生特征值和方差贡献率

　　根据方差贡献率，选取主成分。建立初始因子载荷矩阵，解析主成分。主成分载荷值见表5,6。

　　表5 听障学生主成分载荷值

　　在第一组调查中从第1,2,3,4,5,6,7组筛选主要因子,主成分的方差百分百为21.405，11.732，8.459，7.641，7.114，6.477，5.553，分别从主成分中抽取2,1，1,1,1,1,1，1个检测点。检测点C8,C9,C3,C18，19，C14，C10，C20检测点代表影响听障者阅读无障碍的主要因素。分别对应检测点：C8帮助信息 C9多媒体C3无障碍辅助方式链接形式C18输入提示 C19充足操作时间C14无漂浮窗 C10错误修改建议，C20多媒体播放控制。

　　表6 视障学生主成分载荷值

　　在第二组调查中从第1,2,3,4,5,6，7，8组中筛选主要因子，主成分的方差百分比为13.453,11.207,9.071,8.344,7.692,6.786,6.161,5.242分别从主成分中抽取1,1,1,1,1,1,1,1个检测点。检测点C10，C3，C5，C12，C7，C14，C2，C3检测点代表影响视障者阅读无障碍的主要因素。分别对应检测点：C10错误修改建议 C5用户交互兼容性C12验证码C7多媒体播放控制C14无漂浮窗C2键盘操作C3无障碍辅助方式链接形式。

　　得到的EDTA分配策略为把检测点无障碍辅助方式链接形式，帮助信息，多媒体，输入提示，充足操作时间，无漂浮窗，错误修改建议,多媒体播放控制分配给听障者测试，把检测点错误修改建议，用户交互兼容性，验证码，多媒体播放控制，无漂浮窗，无障碍浏览辅助方式链接位置，无障碍辅助方式链接形式分配给视障者测试，把剩余的检测点错误预防，反馈链接，预录多媒体，错误原因提示，验证码2 ，反馈联络分配给健全志愿者测试。

　　测试实验选取中国政府类网站进行无障碍测试，其中包括20个人工检测点，使用了EDTA分配和随机分配两种测试方法。首先对在50个不同位置的相同检测点进行测试，总共20个检测点，共1000次测试，随机分配给8位志愿者进行测试。其次我们使用EDTA策略，对志愿者执行任务进行分配。

　　表7 20个检测点的准确率

　　表7显示了两种策略下的检测点的准确率。深灰色是EDTA策略的准确率，而浅灰色显示了随机分配检测点的准确率。从结果可以看出，EDTA检测点的准确率高于随机分配。

　　考虑EDTA与随机分配的平衡分配，以防止信息过载问题，信息过载是指社会信息超过了个人或系统所能接受，处理或有效利用的范围，并导致故障的状况。表8显示了在两种策略下分配给评估者的任务数量之间的方差，方差越小，任务越平衡，问题将得到解决。我们的EDTA策略在平衡分配上表现更好，因此视障者，听障者也可参与测试。并且在EDTA策略下，测试检测点表现的更好。

　　表8 EDTA分配和随机策略下的方差

　　5 结论与展望

　　在本文中，我们提出了一个新颖的任务分配策略EDTA，并进行了网站无障碍性测试的研究与实验。我们基于不同类型用户的不同障碍进行研究，通过主成分分析训练成模型，进行任务分配。从实验结果来看，评估者-类型分配策略比随机类型分配策略更好，提高了评估的准确性，让视障者，听障者，健全人参与评估。同时，所有评估人员都对策略的评估给予高度的满意。因此，我们得出结论，EDTA策略在网站无障碍人工测试中非常有效。

　　参考文献

　　[1]张璐.无障碍上网遭遇网上障碍[N].北京晨报,2017-01-09

　　[2]Liangcheng Li.A task assignment strategy for crowdsourcing-based web accessibility evaluation system[J],W4A,2017

　　[3]Shadi,A,Z.Web accessibility evaluation.In Web Accessibility[J],Springer,pp.79-106.2008

　　[4]Vigo, M., Brown, J. and Conway, V. Benchmarking Web Accessibility Evaluation Tools: Measuring the Harm of Sole Reliance on Automated Tests. Tenth International Cross-Disciplinary Conference on Web Accessibility (W4A ’13). 2013

　　[5]高云.国内众包网站发展现状研究[J].电子商务，2015(5):4-5

　　[6]李奇平.无障碍检测系统的自适应任务分配[].浙江大学，2016