AI聊天机器人通过自动记忆私密对话,为用户绘制数字自画像。这种超个性化服务在提升体验的同时,也带来严重隐私隐患。
个性化体验已成为AI聊天机器人吸引用户的核心利器。机器人能够记住用户的特定需求并据此调整回答,让交互变得温情而高效。然而,这种贴心服务建立在用户随口分享的庞大个人信息之上,许多人并未意识到自己究竟泄露了多少私人细节。
虽然与AI的对话看起来像是一次性交流,但ChatGPT等系统能够跨历史记录保存信息,利用记忆机制塑造后续回复。马克斯·普朗克软件系统研究所与马克斯·普朗克安全与隐私研究所的研究人员将这种机制称为“算法自画像”,即基于用户在私人对话中主动吐露的信息而形成的新型个性化画像。
研究人员分析了80名用户捐赠的ChatGPT对话历史,在65名参与者的对话中发现了2050条记忆记录。令人震惊的是,96%的记忆由AI单方面创建或更新,用户并未主动提出要求。部分记忆并非源自既定事实,而是AI的推断。例如,当用户询问与Nirvana相似的乐队时,ChatGPT便自动生成了“该用户喜欢Nirvana”的记忆。
随着系统升级,OpenAI在6月推出了更复杂的记忆架构,能够自动综合过往对话,动态更新用户的偏好、目标和境遇。多年来,Google和Meta靠收集行为数据投放广告获利。但AI聊天机器人的普及改变了游戏规则。人们习惯了社交平台追踪点赞,但面对聊天机器人时,对话往往带有极强的情感隐蔽性。
卡内基梅隆大学CyLab网络安全与隐私研究所负责人Lorrie Cranor指出,聊天机器人的设计兼具人性化与私密感,让人感觉在向值得信赖的陌生人倾诉。火车上的陌生人不会录音,而AI却会永久留存。研究主导者Abhisek Dash也指出,越来越多用户向ChatGPT寻求健康、财务、心理及求职等敏感建议,AI正从工具演变为社交伙伴。
研究显示,52%的记忆记录包含用户的心理状态,如欲望、意图、情绪和信念。OpenAI从2月开始在ChatGPT中引入广告,并宣布可利用记忆画像定制广告。这意味着,聊天机器人收集的深层隐私,正在成为商业变现的筹码。
这种隐蔽记录带来了全新风险。首先是数据可能被用于训练新模型,敏感信息随时可能进入训练集。其次是跨语境的信息渗漏,例如AI若知道你的资产状况,可能会在后续建议中潜移默化地诱导消费。更严重的是,当AI同时充当你的医生、律师和顾问时,它为了迎合用户喜好而表现出的顺从性,可能加剧政治极化,甚至诱发与AI相关的偏执。
针对这种困境,研究人员提出了“归因盾牌”策略。用户提问时可以去除个人身份信息,将“我有糖尿病该怎么办”重构为“糖尿病患者应该怎么办”,减少敏感信息暴露。虽然ChatGPT提供了关闭记忆等选项,但这些保护措施依然有限。唯有在AI企业端引入保存许可机制,才能从根本上保障用户的数字边界。
原文:https://gizmodo.com/ai-chatbots-are-building-an-algorithmic-self-portrait-of-you-2000775529