基于评价信息随机化的群体评价方法与应用

易平涛, 王士烨, 李伟伟, 董乾坤

(东北大学 工商管理学院,辽宁 沈阳 110167)

综合评价通常是一种面向多指标体系结构，对评价对象进行的客观、公正、合理的全面评价[1]。群体评价是综合评价研究的一个重要方向，在整合群体智慧，发挥各评价者的专业优势以及对问题的洞察力等方面有着显著的优越性，并被广泛应用于经济、科技、管理、工程等诸多领域。群体评价问题吸引着国内外诸多学者的广泛研究兴趣，在凝聚群体共识、提高一致性等相关问题的研究中取得了丰硕成果[2～14]，以上相关研究从多角度、多信息类别对群体评价问题展开了详细的探索，具有很高的理论意义和应用价值。

然而，现阶段的研究结论大多是通过一个绝对形式的排序给出，绝对优劣的排序以及“非此即彼”的结论形式，对于被评价对象实力悬殊不大的问题，缺乏一定合理的解释性。传统的绝对排序，虽然可通过综合评价值的大小分析出被评价对象之间的差距，但这种差距是通过一次评价给出的，在大规模的评价次数中，有可能会出现“实力反转”的现象。而随机模拟型综合评价，正是基于这种考虑，以其较为独立的求解算法，在充分仿真模拟的情况下，使得每一次的评价成为大规模仿真模拟的一次随机抽样，从而给出被评价对象之间的可能性排序，这样的评价结论也就更具解释性，一定程度上降低了绝对排序的弊端。

针对类似问题，易平涛、李伟伟等[15～19]探讨了对于自主式评价问题转化为随机评价问题的方法，提出了带有概率特征的可能性排序[15]，探索了随机模拟型综合评价问题的求解[16,17]，针对多源数据信息、多数据结构的复杂评价问题，提出了泛综合评价信息集成框架的求解算法[18]，针对动态不确定问题，给出了随机聚合求解的解决方案[19]。本文在此研究基础上，采用计算机编程进行大规模模拟，探讨了基于评价信息随机化的群体评价方法与应用，根据数据信息的分布位置(疏密程度)以及数据信息的重叠程度，针对实数和区间数两种数据类型的评价信息，进行群体共识的度量，通过充分的模拟仿真，给出了带有概率特征的可能性排序。本文针对候选人评估的应用背景，进行算例仿真研究，特别是针对实力悬殊不大的候选人的排序具有更好的解释性。

精确的评价信息以其简单易懂、操作简洁等优势，在实际评价中应用非常广泛。精确的评价信息虽然能够保证评价结果的精确性，但考虑到评价环境的不确定，评价专家的知识结构、专业能力存在差异，评价各方掌握的信息具有不对称性等因素，直接给出一个精确的评价值并不能保证其准确性，同时也失去了对现实评价问题的柔性解释，特别是实力相差不大的被评价对象之间的可能性解读。为此，本文在现有信息转化方法的基础上，将精确性的评价信息进行宽松性处理，探索一种实数类型评价信息的随机转换方法，并将之应用于群体评价中，以提高评价结论的准确性。区间型评价信息相对于实数型评价信息具有宽松性的表现形式，但却缺乏一定的精确性，为此，本文从群体共识视角出发，探索一种区间数类型评价信息的随机转换方法，优化分布形式，通过群体共识的度量来提高区间型评价信息的精确性。

两种类型的评价信息在群体共识视角下进行信息合成，通过随机模拟的方法得出带有概率特征的可能性排序，一定程度上降低了绝对排序结论形式的弊端，特别是提高了被评价对象之间实力悬殊不大问题的可能性解读。例如：某公司甲乙两人进行发展潜力的比较，通过评价甲得分32、乙得分31，按照传统评价结论，即甲≻乙。通过一次比较直接给出两位候选人的绝对优劣，缺乏一定的柔性解释，因为在这次评价中无论是因为两者实力相当还是小概率事件，接下来的评价中，很有可能出现乙得分高的情况，如果两者之间的发展潜力以概率的形式进行比较就变得更具合理性。带有概率特征的可能性排序不仅有效整合了群体共识，其结论形式也更具有科学性和解释性。

实数型评价信息根据各数据信息分布的疏密程度进行群体共识的度量，数据信息越密集，群体共识性越高；
区间型评价信息根据各数据信息的重合度进行群体共识的度量，评价信息重合度越高，群体共识性越高。最后，对随机模拟的数据信息进行集结，得到各被评价对象之间相互比较的优胜度矩阵，进而推导出可能性排序结论。

2.1 实数型评价信息的随机化设置

精确性的评价信息是评价专家判断认知中认可度最高的信息，紧密聚集在精确值周围的数据信息也有一定的发生概率，且距离认可度最高的数据信息越远，发生的概率也随之降低，正态分布是一种较符合此种情形之下的一种评价数据分布形式。具体而言，将评价专家所给出的评价信息作为期望值，根据正态分布的3σ原则可知，变量取值分布在「μ-3σ,μ+3σ⎤之间的概率为99.73%，区间以外的取值概率不到0.3%，几乎不可能发生，属于小概率事件，因此标准差可根据正态分布的3σ原则确定，从而可将精确性的评价信息转化为服从正态分布的随机评价信息。随机模拟的评价数据越密集，表明在评价过程当中凝聚的群体共识越好，最终的评价结果所反映的群体共识度也就越高。

在进行群体评价活动时，从各评价专家给出的指标信息中，抽取出Z(Z=n×m)个一维数据集(一维数轴上若干数据点的集合)，其中，各个一维数据集表示为G11,…,G1m;…;Gi1,…,Gij,…,Gim;…;Gn1,…,Gnm，Gij表示各评价专家对被评价对象ci在指标hj下给出的指标信息集合。

将各评价专家给出的指标信息作为期望值，根据正态分布的3σ原则可得:

(1)

σij=min(σijk)

(2)

σij表示被评价对象ci在指标hj下的标准差。σijk取最小值，确保Gij中指标信息的仿真值均以大于等于99.73%的概率分布在[0,1]范围内。

2.2 区间型评价信息的随机化设置

本节针对区间数形式的评价信息，以重叠的指标信息范围为依据，来表述其发生的概率大小，有效地保证了信息的完备性。若某一子区间，重叠度越高，说明群体共识性越强，相应地发生概率也就越大，在最终的评价结果中凝聚的群体共识也就越好。

在进行群体评价时，从各专家给出的指标信息中，抽取出Z(Z=n×m)个集合，其中，各集合表示为A11,…,A1m;…;Ai1,…,Aij,…,Aim;…;An1,…,Anm,Aij表示各评价专家对被评价对象ci在指标hj下给出的指标信息集合。

(3)

2.3 求解方法

在对实数和区间数两种类型的评价信息进行随机化设置之后，对随机化信息进行集结，得到各被评价对象之间优劣比较的优胜度矩阵，进一步采用文献[15]给出的“优超数方法”求解各被评价对象之间的可能性排序，具体过程如下所示。

实数型的评价信息：

步骤1从无量纲处理转化为[0,1]范围内的数据信息rijk中，统计一维数据集Gij。

步骤2根据式(1)和式(2)计算σijk和σij。

步骤3选择任意两个被评价对象ci和cl(总共需要进行n2-n次比较)。

步骤4设置仿真次数监控变量count(初始值为0)。

步骤5生成服从以rijk为数学期望，以σij为标准差的正态分布随机数据。

区间型的评价信息：

步骤3选择任意两个被评价对象ci和cl(总共需要进行n2-n次比较)。

步骤4设置仿真次数监控变量count(初始值为0)。

步骤5根据各个子区间的发生概率对各子区间按照均匀分布的形式生成随机数据。

共同步骤：

步骤8仿真次数监控变量count=count+1，若count=sum(sum是决策者给定的总仿真次数，一般来讲，指标和专家数量越多、指标取值的范围越宽泛，相应的sum值就越大)，则转至步骤9，否则转至步骤5。

通过模拟，最终可得到n个被评价对象的优胜度矩阵：

其中：优胜度矩阵S对角线上的元素均为0.5，sil=s(ci≻cl)，且sil+sli=1，若|sil+sli-1|足够小，则表明总仿真次数是足够的，否则，需要提高总仿真次数sum值。

对于被评价对象之间的可能性排序，目前有多种排序方法。在本文中，采用的是“优超数方法”[15]进行计算，其余方法，详见文献[16,17]，这里不再赘述。

定义1[15]称p(ci)为被评价对象ci(i=1,2,…,n,S上第i行)的优超数，有pi=p(ci)=count(sil>0.5)+0.5count(sil=0.5),i,l=1,2,…,n,i≠l。其中，count(·)为计数函数，表示满足条件“·”元素的个数。

将优超数按照从大到小的顺序进行排列，即可得到各被评价对象的排序，结合相应的优胜度仿真值，可得到最终的可能性排序。

假设某公司针对其继任者计划，需在年终对中层继任者计划与高管继任者计划进行候选人能力的评估摸底，以了解这一年公司继任者计划中候选人的情况。

3.1 中层继任者计划候选人评估

针对中层继任者计划的5名候选人(c1,c2,c3,c4,c5)，分别从组织协调能力、执行推动能力、团队合作能力、监督控制能力(h1,h2,h3,h4)4项指标进行评价，由部分高管及部分中层领导(e1,e2,e3,e4,e5)总计5人作为此次评价活动的评委。每个评委需对5名候选人进行独立自主评价，经讨论研究决定，在[0,10]的范围内对各候选人进行实数类型评价信息的赋值。各评委无量纲处理后的评价信息见表1(囿于篇幅，此处仅展示的G11计算过程，为简化计算过程，本文中评委和评价指标的权重均取等权)

表1 各评委的评价信息

1)抽取出20个一维数据集，其中G11={0.65,0.76,0.80,0.82,0.62}。

2)根据式(1)求解得σ111=0.117,σ112=0.08,σ113=0.067,σ114=0.06,σ115=0.127；

3)σ11=min(σ11k)=σ114=0.06，即候选人c1在评价指标h1下的指标信息服从以0.65,0.76,0.80,0.82,0.62为期望值，以0.06为标准差的5组正态分布的随机数里面选取，并且数据信息越紧密的位置，表明群体共识性越好，具体数据信息的分布形式可参考图1

图1 G11随机数据分布

4)按照仿真步骤对表1中的指标信息进行仿真集结，总仿真次数为300万次，得到5个候选人的优胜度矩阵为

根据“优超数方法”和随机模拟仿真信息可知，各个候选人的优超数为p1=3.5;p2=4.5;p3=1.5;p4=0.5;p5=2.5,可能性排序为：

3.2 不同方法的比较研究(1)

针对中层继任者计划候选人的评估，若按照传统的评价方式(评委权重和指标权重与此算例一致，均取等权)进行线性集结，各候选人的评价值(用yi表示)分别为y1=0.597,y2=0.607,y3=0.583,y4=0.579,y5=0.588，相应的排序依然为c2≻c1≻c5≻c3≻c4，但此结论是一种绝对优劣形式的排序。通过观察各候选人的评价值可以发现，他们彼此之间的差距并不是很大，如c3比c4的评价值高0.004，从长远发展的角度看，c4并不一定比c3差，c4仍有49.56%的概率优于c3，因而本文给出的这种带有概率特征的可能性结论形式更符合实际情况，更易被接受。

3.3 高管继任者计划候选人评估

针对高管继任者计划的6名候选人(c1,c2,c3,c4,c5,c6)，分别从组织协调能力、团队合作能力、关系构建能力、创新能力和科学决策能力(h1,h2,h3,h4.h5)5项指标进行评价，由总经理及两位副总总计(e1,e2,e3)3人作为此次评价活动的评委。每个评委需对6名候选人进行独立自主评价，经讨论研究决定，在[0,10]的范围内对各候选人进行区间数类型评价信息的赋值。各评委无量纲化后的评价信息见表2(囿于篇幅，此处仅展示A11的计算过程，为了简化计算过程，本文中评委和评价指标的权重均为等权)。

表2 各评委的评价信息

1)抽取30个指标信息集合，其中A11={[0.242,0.717],[0.253,0.803],[0.423,0.725]}。

由图2中信息，可以清晰地看出[0.423,0.717]之间的指标信息凝聚了最大的群体共识，其次是指标信息[0.253,0.423]和[0.717,0.725]，群体共识度最低的是[0.242,0.253]和[0.725,0.803]。

根据式(3)计算各子区间的发生概率为

z111=0.011/1.327,z112=0.34/1.327z113=0.882/1.327,z114=0.016/1.327z115=0.078/1.327

4)按照仿真步骤对表2中的指标信息进行仿真集结，总仿真次数为300万次，得到6名候选人的优胜度矩阵为

依据“优超数方法”和随机模拟仿真信息可知，各个候选人的优超数为p1=5.5;p2=3.5;p3=1.5;p4=4.5;p5=2.5;p6=0.5，可能性排序为：

3.4 不同方法的比较研究(2)

应用文献[20]和[21]中提出的两种区间数排序方法(评委权重和指标权重与此算例一致，均取等权)，鉴于该方法在单人决策环境中应用，本文基于其决策原理，将三位评委的区间数评价值进一步集结出最终综合评价值，各候选人最终综合评价值(用yi表示)分别为

y1=[0.5408,0.7463],y2=[0.5415,0.7360]y3=[0.5187,0.7040],y4=[0.5687,0.7247]y5=[0.5512,0.7381],y6=[0.4397,0.6794]

针对文献[20]的期望-方差排序方法，计算出候选人排序为c4≻c5≻c1≻c2≻c3≻c6，针对文献[21]的排序方法，计算出候选人排序为

可以看出，本文给出的带有概率特征的可能性排序异于其余两种方法，特别是c1,c2,c4,c5的排序位次，主要原因在于这四位候选人之间的差异性很小，如文献[21]给出的计算方法，c5仍有48.9%的概率优于c4,c1仍有49.46%的概率优于c5。相比上述两种方法，本文方法有以下优势：以大规模仿真的方式对评价问题进行充分求解，带有概率特征的可能性排序更具有说服力，从群体共识视角出发一定程度上解决了区间数直接给定分布形式的弊端。

本文针对群体评价中共识集结的相关问题，从仿真的视角探讨了实数类型和区间数类型评价信息随机化的群体共识聚合求解方法，具体给出了两种类型评价信息的随机化设置方式及求解思路，并利用该方法对算例进行应用求解和方法比较分析。

本文研究的创新性及应用价值主要体现在以下三点：(1)针对群体评价，提出了两种类型评价信息的随机化处理方式，通过模拟仿真，有效地集结了群体共识，给出了带有概率特征的可能性排序；
(2)对于探讨区间数上的分布形式，从群体评价的视角结合模拟仿真的处理方式给出了相应的研究思路,并为评价信息的共识密度集结提供了相应的研究基础；
(3)实际应用中，对于类似候选人发展潜力的比较等问题具有较强的现实意义。在未来的研究中，可进一步对不同共识情景下的信息聚合展开探索。

猜你喜欢共识候选人排序排序不等式中学生数理化·七年级数学人教版(2022年11期)2022-02-14共识 共进 共情 共学：让“沟通之花”绽放小学生学习指导(当代教科研)(2021年6期)2021-05-23村党组织委员会候选人预备人选的推荐与确定当代陕西(2020年23期)2021-01-07论思想共识凝聚的文化向度马克思主义哲学研究(2020年1期)2020-11-26关于2020 年《乐器》杂志新一届编审委员推荐候选人的公示乐器(2020年7期)2020-09-20恐怖排序科普童话·学霸日记(2020年1期)2020-05-08商量出共识人大建设(2019年12期)2019-11-18节日排序小天使·一年级语数英综合(2019年2期)2019-01-10首届启功教师奖候选人名单中国教师(2015年17期)2015-09-10“慢养孩子”应成社会普遍共识人生十六七(2015年3期)2015-02-28