科技巨头OpenAI吹嘘其人工智能转录工具Whisper具有接近“人类水平的稳健性和准确性”。

　　但对十几名软件工程师、开发人员和学术研究人员的采访显示，Whisper有一个重大缺陷：它很容易编造大块文本，甚至是整个句子。这些专家说，一些虚构的文字——在业内被称为幻觉——可能包括种族评论、暴力言论，甚至是想象出来的医疗方法。

　　专家表示，这种捏造是有问题的，因为Whisper在世界各地的许多行业都被用于翻译和转录采访，为流行的消费技术生成文本，以及为视频创建字幕。

　　

　　他们说，更令人担忧的是，医疗中心急于利用基于whisper的工具来记录患者与医生的咨询，尽管OpenAI警告说，该工具不应在“高风险领域”使用。

　　这个问题的全面程度很难辨别，但研究人员和工程师说，他们在工作中经常遇到Whisper的幻觉。例如，密歇根大学（University of Michigan）的一名研究人员对公共会议进行了研究，他说，在他开始尝试改进该模型之前，他在检查的每10个音频转录中发现8个存在幻觉。

　　一位机器学习工程师说，在他分析的100多个小时的Whisper转录中，他最初发现了大约一半的幻觉。第三位开发人员说，他在用Whisper编写的2.6万份抄本中，几乎每一份都发现了幻觉。

　　即使在录制良好的短音频样本中，问题仍然存在。计算机科学家最近的一项研究发现，在他们检查的13000多个清晰音频片段中，有187种幻觉。

　　

　　研究人员表示，这种趋势将导致数百万份录音中出现数万份错误转录。

　　阿隆德拉·纳尔逊（Alondra Nelson）说，这样的错误可能会产生“非常严重的后果”，特别是在医院环境中，他曾在拜登政府的白宫科技政策办公室（Office of Science and Technology Policy）担任主任，直到去年。

　　“没有人希望误诊，”新泽西州普林斯顿高级研究所（Institute for Advanced Study）的教授尼尔森说。“应该有一个更高的标准。”

　　

　　Whisper还被用于为聋哑人和重听人制作封闭字幕，这是一个特别容易出现错误转录的人群。

　　这是因为聋人和重听人没有办法识别“隐藏在所有其他文本中”的捏造，Christian Vogler说，他是聋人，同时也是加劳德特大学技术获取项目的负责人。

　　这种幻觉的普遍存在导致专家、倡导者和OpenAI前员工呼吁联邦政府考虑制定人工智能法规。他们说，OpenAI至少需要解决这个缺陷。

　　“如果公司愿意优先考虑这个问题，这个问题似乎是可以解决的，”总部位于旧金山的研究工程师威廉·桑德斯（William Saunders）说。今年2月，由于担心OpenAI的发展方向，他退出了OpenAI。“如果你把它放在那里，人们对它的功能过于自信，并将它集成到所有其他系统中，这是有问题的。”

　　OpenAI发言人表示，该公司一直在研究如何减少幻觉，并对研究人员的发现表示赞赏，并补充说，OpenAI在模型更新中纳入了反馈。

　　虽然大多数开发人员认为转录工具会拼错单词或犯其他错误，但工程师和研究人员表示，他们从未见过另一种人工智能转录工具像Whisper一样产生如此多的幻觉。

　　该工具被集成到OpenAI的旗舰聊天机器人ChatGPT的某些版本中，并且是甲骨文和微软云计算平台的内置产品，这些平台为全球数千家公司提供服务。它也被用来转录和翻译文本成多种语言。

　　

　　仅上个月，一个最新版本的Whisper就在开源人工智能平台HuggingFace上被下载了420多万次。该公司的机器学习工程师桑吉特·甘地（Sanchit Gandhi）说，Whisper是最受欢迎的开源语音识别模型，从呼叫中心到语音助理，它都被内置在其中。

　　康奈尔大学的Allison Koenecke教授和弗吉尼亚大学的Mona Sloane教授检查了他们从TalkBank（卡耐基梅隆大学托管的研究存储库）获得的数千个简短片段。他们确定，近40%的幻觉是有害的或令人担忧的，因为说话者可能被误解或歪曲。

　　在他们发现的一个例子中，一个说话的人说，“他，那个男孩，我不确定，要拿伞。”

　　

　　但转录软件补充说：“他拿了一大块十字架，一小块……我确信他没有恐怖刀，所以他杀了很多人。”

　　在另一段录音中，一名说话者描述了“另外两个女孩和一位女士”。Whisper发明了额外的种族评论，加上“另外两个女孩和一个女士，嗯，是黑人。”

　　在第三次转录中，Whisper发明了一种不存在的药物，叫做“过度激活抗生素”。

　　研究人员不确定为什么Whisper和类似的工具会产生幻觉，但软件开发人员表示，这种幻觉往往发生在停顿、背景声音或音乐播放中。

　　晨报提供最新的新闻，视频，照片和更多。

　　OpenAI在其在线披露中建议，不要在“决策环境中使用Whisper，因为准确性的缺陷可能导致结果出现明显缺陷”。

　　这一警告并没有阻止医院或医疗中心使用包括Whisper在内的语音转文本模型来转录医生在就诊期间所说的话，从而使医疗服务提供者减少记笔记或写报告的时间。

　　超过3万名临床医生和40个卫生系统，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院，已经开始使用Nabla开发的基于whisper的工具，Nabla在法国和美国都设有办事处

　　Nabla的首席技术官马丁·雷森（Martin Raison）说，该工具对医学语言进行了微调，可以转录和总结患者的互动。

　　公司官员表示，他们已经意识到Whisper会产生幻觉，并正在缓解这个问题。

　　雷森说，无法将Nabla的人工智能生成的文本与原始录音进行比较，因为Nabla的工具出于“数据安全原因”会删除原始音频。

　　Nabla表示，该工具已被用于记录约700万次医疗访问。

　　前OpenAI工程师桑德斯表示，如果文本没有经过双重检查，或者临床医生无法访问录音以验证其正确性，那么删除原始音频可能会令人担忧。

　　他说：“如果你把基本事实拿走，你就抓不到错误。”

　　Nabla说，没有一个模型是完美的，目前他们的模型要求医疗提供者快速编辑和批准转录的笔记，但这可能会改变。

　　由于患者与医生的会面是保密的，因此很难知道人工智能生成的记录对他们有何影响。

　　

　　加利福尼亚州议员丽贝卡·鲍尔-卡汉（Rebecca Bauer-Kahan）说，今年早些时候，她带着一个孩子去看医生，并拒绝签署医疗网络提供的一份表格，该表格要求她允许她与供应商分享咨询音频，其中包括OpenAI最大投资者运营的云计算系统微软Azure。鲍尔-卡汉说，她不希望这种亲密的医疗谈话与科技公司分享。

　　鲍尔-卡汉是一名民主党人，他在州议会中代表旧金山郊区的部分地区，他说：“公告非常明确地规定，营利性公司有权使用这项技术。”“我说‘绝对不行’。”

　　约翰·缪尔健康中心发言人本·德鲁说，医疗系统遵守州和联邦隐私法。