机器学习:亟须纠正的4大类“偏差”
偏见是指个人对他人或其他群体所持有的缺乏充分事实依据的认识和态度,而机器学习中的偏差则是由缺乏足够的特征和用于训练模型的相关数据集不全面引起的。机器学习算法在训练中严格按照其数学构造和数据执行任务,准确完成人类所输入的内容,因此,机器学习模型的偏差通常是由设计和收集相关数据的人的“偏见”造成的。
数据科学家在构建算法并对机器学习进行训练时,源自其本身某种程度的偏见会不可避免地蔓延到AI模型中,比较幸运的是,机器学习的偏差能够被检测和规避。不过,相关的研究人员仍需保持警惕。本文总结了需要了解和防范的4种不同类型的机器学习偏差以供参考。
1. 样本偏差
样本偏差是训练数据的问题。当用于训练模型的数据不能准确地表现模型将运行的环境时,就会产生样本偏差。没有任何一种算法可以与整个宇宙环境的数据交互,并在这个宇宙环境中被训练,所以,选择一个足够大且具备代表性的宇宙子集来减轻样本的偏差成为一门科学。尽管这门科学容易理解,但并非所有的数据科学家都接受过抽样技术的训练。
举一个自动驾驶汽车的例子。当训练一个在白天和夜晚都能使汽车自动驾驶的算法时,如果只选取了白天的数据进行训练,这就等于在模型中引入了样本偏差,用白天和夜晚的数据训练算法才可以消除样本偏差的来源。
2. 偏见偏差
偏见偏差是由受文化和刻板印象影响的数据所引发的结果。可以想象一下,假设有一个计算机视觉算法正在接受训练来理解工作中的人们,而该算法暴露于数以千计的训练数据图,其中许多图像显示的是正在写代码的男性和在厨房干活的女性,那么,该算法很可能会将编码员等同于男性,将家务员等同于女性。这就是偏见偏差,因为很显然女性也能够写代码,而男人也可以做饭。
这里的问题是,被选取的训练数据有意识地或无意识地反映了社会的刻板印象。要避免这样的情况出现,可以忽略性别和职业之间的统计关系,并使算法接触均衡分布的示例。这显然需要对刻板印象和偏见足够敏感,而这则取决于人类对模型设定的表达行为的预期,仅靠数学无法克服这类偏差。负责标记和注释训练数据的工作人员必须接受相关的训练,以避免他们将自己对社会的偏见或刻板印象引入到训练数据中。
3. 计量偏差
如果用于观察或测量的设备存在问题,这会使系统价值失真,这种偏差趋向于使数据朝某个特定的方向偏离。例如,用带有彩色滤光片的相机拍摄的每幅训练数据图像都会出现颜色完全失真的情况,如此,用于训练算法的图像数据实际上也没有系统地表现出算法将运行的环境。
这种偏差无法通过简单地扩大数据收集来避免,有效的途径是,选取多个测量装置并让接受过训练的人员来比较这些装置的输出内容。
4. 算法偏差
最后一种类型的偏差与数据无关,属于算法的数学性质。一方面,具备高方差的模型可以很容易拟合到训练数据中并能接纳复杂性,然而,这种模型对杂讯(又称噪音noise)十分敏感;另一方面,具备高偏差的模型则更加刚硬,对数据和噪声的变化不那么敏感,但容易丢失复杂性。因此,数据科学家需要在这两个属性之间达到适当的平衡。
数据科学家能通过了解这四种类型的AI偏差构建出更好模型和选取更好的训练数据。AI算法是由人类构建的,训练数据也是由人类收集、筛选、标记和注释的,因此,数据科学家需要敏锐地识别出这些偏差,并使用一种贯彻和迭代的方式来不断测试模型,并吸纳训练有素的研究员协助,最终规避这些机器学习的偏差。
关键词: 机器学习
您可能也感兴趣:
为您推荐
二季度五行业暂缓缴纳养老保险费 含零售、民航等特困行业
深圳市重疾险参保人数逐年增加 七个医保年度赔付14.4亿元
一季度社保基金新进14只个股 养老金账户新进9只个股
排行
最近更新
- 机器学习:亟须纠正的4大类“偏差”
- 碳化硅(SiC)功率器件或在电动汽车领域一决胜负
- 英特尔杨叙:全新超极本是PC与平板二合一
- 脉冲式电子围栏工作原理及优点分析
- 发动机测试的便携式振动分析仪
- 钜浪混动压轴登场,广汽传祺的“双保险”
- 新蛋全球CEO邹果庆获评 2022年中国数字生态领袖
- 四月收官整体呈阴 五月结束探底翻红可期丨微策略
- 广东省出台促进消费措施,广汽传祺率先响应,补贴至高10000元!
- 老字号、供应链、新消费品牌集中布局预制菜 疫情打开线上增量?
- 打通乡村振兴“毛细血管”——农发行合江县支行投放1.07亿元...
- 兴业银行德阳分行筑牢防范电信网络诈骗“防火墙”
- 珠海制造业贷款余额比年初增35%
- 如何避免核酸检测交叉感染
- 九安医疗拟使用不超27亿元开展证券投资与衍生品交易
- 二氧化碳“变”葡萄糖,深圳先进院研究成果登《自然》子刊
- 九安医疗:一季度净利润143.12亿元 同比增长37527.35%
- 成立19年两度遇疫情 杨丽萍含泪宣布《云南映象》演出团队暂时解散
- 中原区卫健委积极开展医疗机构放射性职业病危害建设项目竣工...
- 陈岱镇开展职业病防治宣传周活动
- 市疾控中心:开展职业健康行动 助力企业高质量发展
- 孝昌县总工会开展《职业病防治法》宣传周活动
- 宜都市卫健监督执法大队开展《职业病防治法》宣传周活动
- 嘉实致远3个月定期纯债债券(013544)2022年第二次收益分配
- Q1绿债产品承销总额同比增57% 市场称绿债投资将迎广阔发展空间
- 中南建设:“17 中南 01”将于5月11提前兑付及摘牌
- 中证协修订发布《公司债券承销业务规范》 规范承揽行为
- 信用债追踪 | 20龙控01上涨50% 15世茂02下跌3.21%
- 泛海控股“20泛控03”公司债回售金额7亿 将于4月29日摘牌
- 古井贡酒2021年营收132.7亿增28.93%,年份原浆毛利率增1.7个百分点