机器学习:亟须纠正的4大类“偏差”
偏见是指个人对他人或其他群体所持有的缺乏充分事实依据的认识和态度,而机器学习中的偏差则是由缺乏足够的特征和用于训练模型的相关数据集不全面引起的。机器学习算法在训练中严格按照其数学构造和数据执行任务,准确完成人类所输入的内容,因此,机器学习模型的偏差通常是由设计和收集相关数据的人的“偏见”造成的。
数据科学家在构建算法并对机器学习进行训练时,源自其本身某种程度的偏见会不可避免地蔓延到AI模型中,比较幸运的是,机器学习的偏差能够被检测和规避。不过,相关的研究人员仍需保持警惕。本文总结了需要了解和防范的4种不同类型的机器学习偏差以供参考。
1. 样本偏差
样本偏差是训练数据的问题。当用于训练模型的数据不能准确地表现模型将运行的环境时,就会产生样本偏差。没有任何一种算法可以与整个宇宙环境的数据交互,并在这个宇宙环境中被训练,所以,选择一个足够大且具备代表性的宇宙子集来减轻样本的偏差成为一门科学。尽管这门科学容易理解,但并非所有的数据科学家都接受过抽样技术的训练。
举一个自动驾驶汽车的例子。当训练一个在白天和夜晚都能使汽车自动驾驶的算法时,如果只选取了白天的数据进行训练,这就等于在模型中引入了样本偏差,用白天和夜晚的数据训练算法才可以消除样本偏差的来源。
2. 偏见偏差
偏见偏差是由受文化和刻板印象影响的数据所引发的结果。可以想象一下,假设有一个计算机视觉算法正在接受训练来理解工作中的人们,而该算法暴露于数以千计的训练数据图,其中许多图像显示的是正在写代码的男性和在厨房干活的女性,那么,该算法很可能会将编码员等同于男性,将家务员等同于女性。这就是偏见偏差,因为很显然女性也能够写代码,而男人也可以做饭。
这里的问题是,被选取的训练数据有意识地或无意识地反映了社会的刻板印象。要避免这样的情况出现,可以忽略性别和职业之间的统计关系,并使算法接触均衡分布的示例。这显然需要对刻板印象和偏见足够敏感,而这则取决于人类对模型设定的表达行为的预期,仅靠数学无法克服这类偏差。负责标记和注释训练数据的工作人员必须接受相关的训练,以避免他们将自己对社会的偏见或刻板印象引入到训练数据中。
3. 计量偏差
如果用于观察或测量的设备存在问题,这会使系统价值失真,这种偏差趋向于使数据朝某个特定的方向偏离。例如,用带有彩色滤光片的相机拍摄的每幅训练数据图像都会出现颜色完全失真的情况,如此,用于训练算法的图像数据实际上也没有系统地表现出算法将运行的环境。
这种偏差无法通过简单地扩大数据收集来避免,有效的途径是,选取多个测量装置并让接受过训练的人员来比较这些装置的输出内容。
4. 算法偏差
最后一种类型的偏差与数据无关,属于算法的数学性质。一方面,具备高方差的模型可以很容易拟合到训练数据中并能接纳复杂性,然而,这种模型对杂讯(又称噪音noise)十分敏感;另一方面,具备高偏差的模型则更加刚硬,对数据和噪声的变化不那么敏感,但容易丢失复杂性。因此,数据科学家需要在这两个属性之间达到适当的平衡。
数据科学家能通过了解这四种类型的AI偏差构建出更好模型和选取更好的训练数据。AI算法是由人类构建的,训练数据也是由人类收集、筛选、标记和注释的,因此,数据科学家需要敏锐地识别出这些偏差,并使用一种贯彻和迭代的方式来不断测试模型,并吸纳训练有素的研究员协助,最终规避这些机器学习的偏差。
关键词: 机器学习
您可能也感兴趣:
为您推荐
金融标准化“十四五”发展规划发布 指明保险业发展方向
“隔离险”大火 银保监会强调保险公司不得无理拒赔
辽宁将全面实施全民参保计划 发展多层次、多支柱养老保险体系
排行
最近更新
- 机器学习:亟须纠正的4大类“偏差”
- 碳化硅(SiC)功率器件或在电动汽车领域一决胜负
- 英特尔杨叙:全新超极本是PC与平板二合一
- 4个元宵等同于1碗米饭?这些人群要慎吃元宵!
- 青岛莱西55个重大项目集中开工 坚决实现一季度“开门红”
- 甘肃定西举行“春风行动”大型招聘活动 提供就业岗位27214个
- 兆龙移民:加拿大2022-2024移民计划公布,三年133万创新高
- 朔州持续优化投资结构 去年固定资产投资同比增长13.7%
- 深圳盐田区坚持“产业兴盐” 打造千亿级海洋经济产业集群
- 国家发改委价格监测中心网站上线“稳健医疗市场行情”
- 深圳地铁建设跑出“加速度” 在建工地已有122个工点复工
- 小米想要高端化,定位专家顾均辉:难!
- “全民冰雪热”正在到来 多家财险公司开发设计冰雪相关保险产品
- 去年日本国内生产总值同比增长1.7% 商业活动逐渐复苏
- 穆迪将融创高级无抵押评级调至“B2”
- 基于自身商业原因 穆迪撤销四川交投“Baa1”发行人评级
- 小麦是中药队伍中不可缺少的一员,药用功效有哪些?
- 长时间冷冻的视频
- 长时间冷冻的食物存在变质风险 避免反复冷冻、反复加热
- 孩子居家上网课须注意用眼卫生 控制电子产品的使用时间和频率
- 牛奶蛋白质的品质极好,选购牛奶时需要关注些什么?
- 河北安国不断推出中医药新应用 打造中药材良种繁育基地
- 廊坊一季度重点项目集中开工 产业项目占167项
- 1月全国实际使用外资金额1022.8亿元 服务业受外资青睐
- 农业机械股票是什么?农业机械相关龙头股一览
- 中钢天源股票属于什么概念股?哪些概念板块包含中钢天源?
- 王者荣耀概念股有哪些?王者荣耀概念龙头股一览
- 造船行业股票有哪些?造船概念股一览
- 转基因上市公司有哪些,转基因上市公司名单
- 2021年铋板块上市公司有哪些?