豆包成功拿下了春晚，在这个举国同庆的时刻，AI除了要下载量和用户之外，能不能在防诈这一块，做点好事？毕竟，现在AI已经让虚拟和现实，傻傻分不清楚，每个人都陷入了要识别豆老师的窘境。

大头针火了，靠着“歌声中连布洛芬都止不住的痛”。

最早听到大头针，是他翻唱孟庭苇的《你看你看月亮的脸》，把本来那种含蓄的、小女生伤感的告别，生生变成了吼出所有委屈的宣泄。

除了这首，他翻唱的《很爱很爱你》《泪海》《星语心愿》等等老歌，也被各平台的算法疯狂推荐。

我就很好奇这么强的一位歌手怎么就突然出来了，搜了一下才知道，这是酷狗用AI技术打造的虚拟人。这个我真没听出来，问了一圈身边的朋友，很少有人知道大头针是个AI。

这让我想起来最近很流行的一个梗：“看起来又像豆老师的作品。”

这个说法，最早是网友对豆包等AI工具一些早期、略显生硬内容的戏称。但现在，它有了新的指代——一段特别工整的文案，一张有点“完美”但怪怪的图，或者一个反常识但乍看分不出真假的视频。

这个梗的流行，说明我们的眼睛和耳朵，在当前时代，需要训练出一种新的能力：分辨哪些内容可能来自机器。

但很遗憾的是，随着AI的进步，碳基和硅基内容“假假分不清楚”的时代，越来越近了。

不久前，小鹏就遭遇了一场“AI伪造”风波。当时，网络上流传出一段据称是小鹏参加车展的不雅视频，引发舆情。但后来根据警情通报，这是某人利用AI技术生成的虚假视频，这位被行政拘留了10天。

那段视频我此前也看到了，当时理性告诉我这肯定是假的，但眼睛是真看不出来。

不仅是小鹏一家企业被“豆老师的作品”所困扰，我梳理了下，AI仿真内容目前至少造成了四大危害。

一、最直接的危害是网络诈骗。

比如，湖北黄石的三位老人，他们接到“孙子”带着哭腔的求助电话，毫不怀疑地交出了数万元现金，因为电话那头的声音与孙儿一模一样。这种AI拟声骗局，成功率与危害性远非传统骗术可比。

二、假冒侵权泛滥，公众人物成为重灾区。

换脸和声音克隆技术，让盗用身份变得轻而易举，奥运冠军全红婵、孙颖莎的声音曾被克隆用于直播带货，演员温峥嵘也公开过被假冒直播间AI换脸的遭遇。

一位名叫“小驴圆圆”的网红鼓手告诉我，她此前最多的维权是别人录播后盗播，而现在，她的打鼓形象，被AI制作到好多歌手、偶像题材的短剧里。而后者维权起来更复杂，成本更高。

三、“虚假种草”误导消费决策。

就在杭州，今年判了浙江首例涉AI技术商业化应用案，认定AI写作工具专门生成虚假“种草”笔记，是违法的。这些精心编织的“用户体验”和“亲测推荐”，系统性误导消费者，也令诚信商家的努力付诸东流。郑州也有类似案件，商家利用AI生成大量虚假用户好评进行刷单，被判为不正当竞争。

四、批量造谣已形成黑色产业链。

前几年有个很著名的“江西帮”，就是利用AI工具批量生产虚假内容赚流量费，我以为基本都被打掉了。结果本周又看到一个消息，烟台公安发现有个团伙抓取“小米”“华为”“理想”等关键词，借助AI批量生产低质、雷同的“网络垃圾”，其目的仅仅是为了赚取平台流量带来的收益，相关账号8000余个。

AI每天可以生产数千条不实信息，从编造企业谣言导致门店营业额暴跌，到生成虚假灾情视频引发社会恐慌。这种工业化、规模化的造谣能力，正以极低成本污染整个信息环境，侵蚀社会信任的基石，造成的危害更大。

当虚假内容的生产变得如此高效和廉价，我们赖以判断世界真实性的基础——所见、所闻乃至他人的经验分享——都开始动摇，那么，怎样才能治理？

我大概能想到以下五个方向。

一、AI工具需要承担更多责任。

AI生成内容的强制标识制度，是实现“隔离”的第一步。现在也有一些初步的成效，比如百度“文心一言”、抖音AI特效等，均在生成内容时自动添加水印或标签，标明其AI身份。

二，魔法打败魔法，AI检测技术尽快成型。

国内外一些科技公司已经在研发AI生成内容检测工具了。目前，一些检测工具已经可以通过分析图像的像素级特征、文本的逻辑连贯性等，有效识别出大部分AI生成内容，为人工审核提供关键辅助。

三、平台应该开放公众参与的纠错机制。

针对AI的“幻觉”与错误，需建立更开放的反馈渠道。更好的机制应超越简单的“点赞/踩”，设立专门的错误上报通道，并辅以专家团队对复杂问题复核。这能将用户发现变为优化模型的集体力量。

四、对高风险内容实施分级管理。

平台需对危害程度不同的内容采取差异化措施。对于仿冒公众人物、伪造权威新闻等高风险内容，是不是可以采取强提示、限流甚至禁止传播等严格管理措施。比如，对AI生成的“名人演讲”视频，添加更加醒目的警示。

五、探索“可验证的真实”技术路径。

终极方案是为真实内容铸造“技术身份证”。目前知识产权领域已经可以从拍摄设备端开始，为原创内容绑定不可篡改的数字凭证（如加密数字水印、区块链存证）。今后，重要的新闻、证据、官方信息等发布，是不是都可以采用这种技术防火墙？

总之，当我们下次再调侃某个内容“看起来又像豆老师的作品”时，这份警觉心或许不应该仅仅停留在玩笑层面。AI生成的东西，如何和现实世界进行一个隔离，是我们必须要解决掉的问题，否则人类必然会迎来一个伦理崩塌的时代。

治理AI虚假内容，就是为了捍卫人类社会中信任、真实与尊严这些更宝贵的基石。

毕竟，最终决定未来是走向繁荣还是崩塌的，不是AI的能力，而是我们的选择。

豆包今年成功拿下了春晚，如何防诈是不是才应该是主题？科技向善，才是科技的正确方向，在各种AI作恶的杂音之下，豆包是不是应该在春节这个时间段，提供一些正向的思路，比如帮助留守老人辨别是非，避免被骗，提高平台对AI内容的识别率等等。

AI可以融入我们的社会，但是不能篡改我们的真实。