当前位置:首页>媒体矩阵

媒体矩阵

易评估:对智能化评估认知和预期常见的六个误区

访问次数: 522 次    作者: 远望智库净评估中心主任、首席专家 易评估    发布时间: 2023-12-15

0

进入智能化时代,智能化评估已然是大势所趋,但是许多同仁和朋友往往因为缺乏对人工智能的真正潜力及其局限性的理解,因而在智能化评估认知和预期上还存在一些误区,梳理研究表明,比较常见的有以下六个,值得大家重视。

一、认为智能化评估完全准确无误,不容置疑

实际工作中,有许多人认为机器学习和人工智能可以提供完全准确无误的评估,然而事实却并非如此。虽然这些系统可能会比我们人类更一致和更快一些,但是它们仍然可能发生错误,不能认为凡是从机器系统里出来的就一定比人脑出来的强。所以如此,主要有以下原因:

一是因为数据不足。智能评估一般依赖于海量的数据进行学习和训练,但是有时候我们获取的数据量可能相对有限,就是“有数据漏洞没有填(布)满”,甚至挂一漏万,这就可能导致模型的评估能力有所欠缺。

二是数据存在偏差。如果输入到智能系统中的数据本身就存在一定的偏差,那么模型的评估结果也可能会存在误差,也就是人们常说的:“如果输入的是垃圾,那么输出的必然也是垃圾”。

三是模型本身限制。正如“金无足赤、人无完人”,同理,模型也不是完美无缺的。目前的机器学习算法,无论是深度学习还是传统机器学习,都无法保证完全准确的预测结果。所有的预测模型都只能在一定的合理范围内完成预测,它是相对的,不是绝对的。

四是受异常值干扰。这就像“一个老鼠坏一锅汤”,在实际的数据中,总会存在一些“离群点”或者异常值。这些数据(值)往往与大部分数据的分布特征不同,这无疑会对评估模型造成干扰,从而导致预测结果的失真走样。

五是未知和非线性因素。现实世界中的很多问题都涉及到复杂的非线性因素和不确定性因素,受限于现阶段人们的认知能力和技术水平,目前的智能评估系统还无法完全处理这些因素,这也是造成评估结果误差的主要原因之一。

总之,尽管智能化评估已经在许多领域取得了显著的效果,但是我们仍然应当认识到它的局限性,不能理想化地认为或期望它能做到完全的准确无误。

二、认为智能化评估可以完全替代人类,无需人类参与 

有不少人认为,一旦评估实现了智能化,评估工作就可以完全放心地“拜托”给机器系统,万事大吉了,因为人工智能可以完全取代人类的角色,无需人类参与。事实上,人工智能应用的成功往往离不开人类的监督和干预,以不断地纠正误差、改进算法或解决未预见的问题。也就是说,虽然人工智能在许多方面有着广泛的应用,并且大大提高了工作效率,但是智能化评估模型系统不可能完全替代人类。其主要原因有如下四点:

一是难以理解人类情绪。情绪是人类决策中非常重要的一部分,特别是需要人际交往时,在理解他人情绪的领域,人工智能的应用相对有限。虽然人工智能可以通过大量的数据学习推断出某种模式或趋势,但是其对人类的情绪、细微的情感变化的理解能力还有待大大地提高。

二是缺乏创造力和想象力。尽管人工智能可以在某些领域展示出一定的创新,但是其创新主要源于算法和现有数据的再组合或者变形,而人类的创新往往来自于对未知世界的独立思考和想象,是灵感涌现、灵感流淌,这是当前的人工智能无法比拟的。

三是道德和伦理决策问题。虽然有某些算法在设计上尽可能地模仿人的道德决策过程,而且总是在持续不断地完善,但是在面对复杂的道德和伦理问题时,人工智能仍然难以做出像人一样符合社会文化背景的决策,不能做到尽如人意。

四是不能触类旁通举一反三。智能化评估系统难以应对未知和复杂情况,比如当面对“迁移学习”,也就是将在一个环境中学到的知识应用于另一个新环境时,人工智能往往就表现得不如人类。这是因为人工智能依赖于庞大的数据进行学习,而人类可以通过少量的样本和具有归纳推理的能力,来理解新的环境和情况,这是一个难以逾越的鸿沟。

因此说,尽管人工智能在许多方面都有强大的能力,但是由于以上的原因,他们还不能完全地替代人类。智能化评估模型更像是人类的工具和助手,而不是“替代品”。

三、认为智能化评估所用数据越多越好,其数量与智能水平成正比

一些人想当然地认为,评估靠数据说话,智能化评估模型更是需要用数据来训练,因此只要有足够多的数据量,智能化评估模型系统就可以生成准确无误的评估结果来。但是,数据的质和量同为智能化评估的两个核心要素之一,单纯地增加数据量并不能保证评估结果的准确性,反而质量高的、相关的、没有偏差的数据的重要性更优于数量。其主要原因在于:

第一,数据质量比数量更重要。如果数据错误、失真或者包含太多的噪声(数据污染),其质量必将低于大量精准、有用的数据。无论数据量有多大,低质量的数据都可能导致评估结果不准确,不如没有。

第二,数据相关性很关键。被分析的数据必须是与评估目标强相关的,而不是弱相关的,甚至不相关的。收集到的数据如果与想要解决的问题无关(游离主题),那么无论数据有多少,都是无法构建有效的模型的。

第三,数据应多元分布且平衡。在某种意义和程度上,智能评估模型靠数据说话,数据应该是多元的(多样性的),并且其分布应该是相对平衡的。如果某个或某些类别的数据过多,而其他类别的数据过少,数据不平衡的话,就可能导致模型在预测时出现偏见。

第四,计算资源总是有限的。极大的数据量必然会增加计算的压力,可能因此而导致计算效率的降低,或者需要耗费更多的计算资源和时间来处理。

第五,可能导致“维度的诅咒”。当特征的数量远大于观察值的数量时,数据可能因为太少而出现“过度拟合”,这也是一种“维度的诅咒”现象。一些不相关或冗余的维度(尤其高维数据)可能存在噪音,并干扰到模型的训练,不但不能提升智能化评估能力水平,反倒给其带来困难和问题。

因此说,数据的质量、相关性和多元性(多样性)同样重要,甚至比数量更加重要。只有好的数据才能促使模型进行准确而且有效的预测,与其说数据越多越好,不如说数据越准越好。

四、认为智能化评估模型只要经过一次训练就可以长期使用,一劳永逸

有不少人以为深度学习模型只要经过一次训练,就可以长期使用甚至永久使用,这是非常错误的。人们常说“活到老学到老”,同样,随着数据变化和环境条件的变化,模型也需要不断更新和学习,以保持其精度和应用效果。深度学习模型不可能做到一次训练长期使用,一劳永逸。

一是因为数据总在变动。世界是变化发展的,评估对象也是变化发展的,数据总是在不断的变化。深度学习模型的表现方式基于训练时使用的数据。如果输入数据发生了变化,例如数据分布发生变化,或者新数据包含了未在训练样本中见过的情况,那么模型就可能就无法提供精准的输出。这就是说,在数据发生重要变动时,就需要重新对模型进行训练。

二是因为概念发生漂移。随着时间的推移,即便是在不变动数据的情况下,数据背后的模式也可能会发生变化。这种现象被称为“概念漂移”。最为常见的事例,比如,预测股票价格的模型可能会受到政策的调整更改、市场行情变化等因素的影响,这就要求相应的模型能够适应这些变化。

三是因为模型性能退化。智能评估模型似乎存在“有效期”,新模型投入使用一开始总是卓越的,但是超过一定期限之后,性能就会不如人意。这就是说,一个已训练的模型有时可能会在一段时间之后出现性能下降问题。这可能是由于模型本身过度适应了训练数据的“噪声”的影响,或者是被训练数据中的异常值所误导。在这种情况下,可能需要定期或不定期地检测并重新训练模型,或者使用新的训练数据。

四是因为新模型新算法。随着深度学习领域的不断发展和进化,新模型和新算法总是不断地被提出来。因为这些新技术可能会提供更好的效果,所以总是用这些新模型或新算法来代替旧的模型,这也是情理之中的事了。

因此,即使模型在一开始的训练中达到了较好甚至非常好的效果,也还是需要定期或不定期地对其进行检测、更新和维护,以保证其准确性和有效性。

五、认为智能化评估客观公正,没有道德或法律问题

不少人认为,机器学习总是客观公正的,没有什么道德或法律问题。然而,智能化评估,或者说用人工智能进行判断和决策,实际上包含许多的道德和法律问题。像预测性评估这类的应用,可能就会涉及隐私、公平性和决策透明性等许多的问题,这些都需要被认真地考虑和处理。

其一,涉及数据隐私。智能化评估依赖于大量的数据,这些数据就可能涉及到个人的隐私。如果没有适当的措施来进行保护,个人信息就可能会被滥用或泄露,对个人造成损害。

其二,使用不公平数据。如果智能化评估模型的训练数据基于的样本具有偏见,那么决策过程中就可能继承并放大这些偏见,进而导致不公平的结果。这对于使用智能化评估模型进行招聘、信用评分、法律判决等评估的情况,特别重要。

其三,缺乏可解释性。由于智能化决策的过程常常是“黑箱”运作,并不透明。也由于有果无因,人们难以理解为何智能模型系统会得出某个决定。这就可能阻碍人们对于智能化决策的信任和接受,也可能遮蔽掉其中潜在的错误做法或不公平现象。

其四,自主性和责任性。当智能化模型系统作出关键决策时,谁应该对其决策后果负责的问题,责任不明。究竟是智能化模型的开发者,还是数据的提供者,抑或使用者,很难确认。当问题涉及到复杂的道德和法律问题时,确定责任归属,可能非常困难。在此情况下,单纯地认为智能化评估没有道德或法律问题无疑是一种误解。

也因此,为了充分发挥智能化模型的潜力,我们需要寻找更为合适的道德和法律框架来对其使用进行指导和约束。

六、认为智能化评估与自动化评估差不多,可以混同

因为先有自动化后有智能化,所以不少人在课题项目实施过程中,就有意无意地把智能化评估“降维”成自动化评估,或将自动化评估当作智能化评估来看待。应该说,这是一种比较低级错误。虽然在技术应用上,智能化评估和自动化评估都依赖于技术手段,如人工智能、机器学习、自动化工具等,用于处理和分析评估相关的数据和信息。并且,二者都是旨在提高评估的效率,减少资源投入。但是,其区别也非常明显:

首先,在目的和方式上,智能化评估的目的是通过引入智能算法和技术,来提高评估的准确性和智能化的程度。而自动化评估更注重的是,将评估过程中的重复任务自动化,以提高效率和减少错误。

其次,在数据处理方向上,智能化评估更为强调的是,对大量复杂数据的处理和分析,能够利用机器学习等算法来进行深度学习和数据挖掘。而自动化评估更侧重于,对结构化数据的处理和自动化操作。

最后,在有无人工干预上,智能化评估通常需要人工干预来调整和优化算法模型,以提高评估结果的准确性可靠性。而自动化评估,更多依赖于预设的规则和流程,尽量减少人的主观因素。

总的来说,智能化评估更注重应用人工智能等技术方法,并强调高度的智能化和数据分析能力;而自动化评估更注重对评估过程的自动化和效率的提升。可以肯定,二者是不能混为一谈的。


发表评论