根据2022年CIO状况调查报告，有35%的受访IT领导者提到，数据和业务剖析将是今年推动他们组织最大的一项IT投资，有20%的受访IT领导者则提及了机器学习/人工智能。
从机器学习算法驱动的剖析和行动中得到的洞察力可以为企业组织带来竞争上风，但在荣誉、收入乃至生命方面如果发生缺点的话，可能要付出高昂的代价。

理解你的数据以及数据给你通报了什么信息，这一点很主要，但理解你的工具、理解你的数据、牢记企业组织的价格也同样主要。

下面是过去十年发生的一些备受关注的数据剖析和人工智能灾害事宜，可以解释在采取这些技能时可能碰着的问题。

1. AI算法创造了统统，却没能预测COVID-19

自COVID-19新冠疫情大爆发以来，很多企业组织都在寻求通过利用机器学习算法来帮助医院更快地诊断或者分类患者。
但根据英国国家数据科学和人工智能中央图灵研究所的说法，这些预测工具险些没有带来什么影响。

《麻省理工科技评论》记录了很多失落败事件，个中大部分源于工具演习或测试方法涌现了缺点，个中，利用了标记缺点的数据或者数据来自未知来源是常见的罪魁罪魁。

剑桥大学机器学习研究员Derek Driggs和他的同事在《Nature Machine Intelligence》上揭橥了一篇论文，磋商了利用深度学习模型对病毒进行诊断。
该论文末了明确，深度学习技能不适宜临床利用。
例如Driggs的团队创造，他们自己的模型存在毛病，由于模型演习采取的数据集中，包括了扫描操作时躺着的患者和站立的患者的扫描文件。
躺着的患者患重病的可能性更大，于是该算法学会了根据扫描中患者的位置来创造新冠风险。

类似的例子还包括利用含有康健儿童胸部扫描的数据集对算法进行演习，该算法末了却学会了识别哪个是儿童，而不是高危患者。

2. 购房算法失落准导致Zillow丢失数百万美元、大幅裁员

2021年11月，在线房地发生意营业巨子Zillow向股东表示，将在未来几个季度结束Zillow Offers业务，并裁员25%，也便是约2000名员工，而这紧张归咎于Zillow由于用于预测房价的机器学习算法涌现缺点而导致了一系列后果。

Zillow Offers是一个程序，Zillow通过该程序根据机器学习算法得出的房屋代价“Zestimate”指数对房产进行现金报价，这么做是为了对房产快速进行翻新转售。
但是Zillow公司的一位发言人见告CNN，该算法的中位缺点率为1.9%，对付市场交易之外的房屋评估缺点率可能更高，高达6.9%。

CNN宣布称，Zillow自2018年4月上线以来通过Zillow Offers买入了27000套房屋，但到2021年9月尾仅售出17000套。
新冠疫情大爆发和家庭装修劳动力短缺等黑天鹅事宜，导致了算法的准确性问题。

Zillow称，该算法导致公司无意中以高于当前估价的价格买入房屋，导致2021年第三季度的库存价格减记为3.04亿美元。

Zillow公司联合创始人、首席实行官Rich Barton在公告发布后与投资者举行的电话会议上表示，或许他们可以调度算法，但终极风险太大。

3. Excel表格数据限定导致英国数千新冠病例未被上报

2020年10月，卖力统计新增新冠病毒传染数量的英国政府机构英国公共卫生部(PHE)透露，在9月25日至10月2日期间，有近16000例新冠病毒病例并未上报。
罪魁罪魁是谁？答案是微软Excel中的数据限定问题。

英国公共卫生部利用自动化流程将新冠病毒阳性的实验室结果作为CSV文件传输到Excel模板中，用于报告仪表板和密接追踪。
然而不幸的是，Excel电子表格每个事情表最多支持1048576行和16384列。
而且，英国公共卫生部是按照列而不是按行输出信息的，以是当到了16384列限定的时候，Excel就会自动割断剩下的15841条记录。

虽然这个“故障”并没有妨碍接管检测的个人收到检测结果，但确实妨碍了密切打仗者的追踪事情，使英国国家卫生做事部(NHS)更难创造和关照与传染患者密切打仗的个人。
英国公共卫生部临时首席实行官Michael Brodie在10月4日的一份声明中表示，英国国家卫生做事部测试和追踪系统以及英国公共卫生部迅速办理了这个问题，并将所有重大记录立即转移到该系统中。

英国公共卫生部采纳了一项“快速办理”方法，先是把大文件进行拆分，然后对所有系统进行了全面端到真个审查，以防止未来再发生类似事宜。

4. 美国海内医疗算法未能标记黑人患者

2019年揭橥在《科学》杂志上的一项研究显示，美国各地的医院和保险公司都利用一种医疗预测算法，来识别那些须要“高风险照顾护士管理”操持的患者，但这种算法不太可能单独挑出黑人患者。

这项高风险照顾护士管理操持旨在为慢性病患者供应演习有素的照顾护士职员以及低级保健监测做事，以防止严重并发症的发生。
但该算法将白人患者推举给该操持的几率，要高于黑人患者。

研究创造，该算法利用医疗支出作为确定个人医疗需求的依据。
但根据《科学美国人》的说法，那些病情较重的黑人患者所花费的医疗用度，与康健的白人所花费的医疗用度是差不多的，这意味着纵然黑人患者的医疗需求更高，但他们的风险评分却很低。

研究职员认为，可能有几个成分，首先，有色人种收入较低的几率更高，纵然他们有保险，也不太可能得到相应的医疗做事。
隐性偏见也可能导致有色人种接管的照顾护士做事质量较低。

虽然该研究并没有公开详细的算法或者开拓职员，但有研究职员见告《科学美国人》，他们正在与开拓职员互助办理这个问题。

5. 数据集演习出的微软谈天机器人发布种族主义推文

2016年3月，微软创造，利用推特交互功能作为机器学习算法的演习数据，可能会产生令人失落望的结果。

微软在推特平台上发布了AI谈天机器人“Tay”，并将其描述为一项有关“对话理解”的实验。
微软给这个谈天机器人设计了一个少女的角色，结合利用机器学习和自然措辞处理，通过推特与用户进行互动。
微软用匿名的公共数据和笑剧演员预先编写的一些材料输入到机器人中，然后让它从社交网络上的互动信息中进行自我学习和自我发展。

这个谈天机器人在16个小时内发布了95000多条推文，迅速变成了公然的种族主义、厌女主义和反犹太主义。
微软迅速叫停了并进行调度，但终极还是终止了该做事。

事宜发生后，微软研究与孵化部门企业副总裁Peter Lee（后来担当了微软医疗企业副总裁）在微软官方博客上的一篇文章中写道：“我们对来自Tay的无意搪突和侵害性推文深表歉意，这些推文并不代表我们的态度，也不能代表我们设计Tay的办法。
”

Lee指出，Tay的前身是微软2014年在中国发布的小冰，在Tay发布前的两年韶光里，它已经成功地与超过4000万人进行了对话。
微软没有考虑到的是，一群推特用户会立即开始向Tay发起种族主义和厌恶女性的评论，而机器人Tay也迅速地从这些信息中学习，并终极整合到自己的推文中。

“只管我们已经为很多系统滥用情形做好了准备，但我们却对这种特定的攻击行为严重失落察。
结果便是，Tay在推特上发布了非常不恰当、应受训斥的笔墨和图片。
”

6. 亚马逊AI招聘工具只推举男性

和很多大企业一样，亚马逊也渴望拥有一些能够帮助人力资源部门筛选出并找到最佳候选人的工具。
2014年，亚马逊开始开拓AI招聘软件来实现这一点。
但有一个问题：这个非常偏爱男性候选人。
2018年，路透社爆料亚马逊取消了该项目。

亚马逊的系统给候选人从1到5的星级评分，但系统核心的机器学习模型是根据提交给亚马逊近10年的简历进行演习的——个中大部分都是男性。
由于利用这些数据进行演习，导致系统开始对简历中包含“女性”一词的短语给出较低评级，乃至是来自女子大学的候选人。

当时亚马逊公司表示，亚马逊招聘职员从未利用该工具来评估候选人。

亚马逊试图调度该工具以保持中立，但终极决定，无法担保该工具不会学习其他一些歧视性的候选人排序办法，而结束了该项目。

7. 零售巨子Target剖析项目陵犯隐私

2012年，零售巨子Target的一个剖析项目，展示了Target是如何从数据中洞察顾客的。
据《纽约时报》宣布，2002年，Target营销部门开始思考如何确定顾客是否有身，终极出身了一个预测剖析项目，导致Target无意中向一名少女的家人透露她已经有身了。
反过来，各种文章和营销博客都开始引用该事宜，建议人们避免那些“令人不寒而栗的成分”。

Target营销部门想要识别出有身的顾客，由于在有身这种分外期间人们很有可能改变他们的购物习气。
这样如果Target可以这期间触及到这些顾客，培养这些顾客新的购物行为，让他们转向去Target购买百货、衣服或其他商品。

和其他所有大型零售商一样，Target一贯通过购物者代码、信用卡、调查等办法网络顾客数据，然后结合购物者的人口统计数据和第三方数据，对所有这些数据进行处理之后，Target的剖析团队就能确定，通过剖析Target大约25款在售商品就能天生“有身预测”评分。
然后，营销部门就可以针对评分较高的顾客供应优惠券和营销信息。

进一步的研究表明，对顾客生养情形的研究会让个中一些顾客感到不寒而栗。
据《泰晤士报》宣布，Target没有放弃有针对性的营销手段，但确实开始在广告中混入那些他们明知孕妇不会购买的东西，例如在纸尿裤广告展示割草机广告，通过这种广告组合的办法让顾客以为没那么刻意。