Soul 创始人张璐团队推动AI社交治理升级,筑牢社交安全屏障


随着AI技术不断融入社交领域,内容生产和互动方式正在发生明显变化。从AI生成图片、文字,到智能聊天、情绪陪伴,越来越多用户开始借助AI参与表达与社交。但AI能力的普及,也让社交平台面临新的治理挑战。在这一背景下,Soul App创始人张璐团队持续推进平台AI治理体系建设,并围绕AI时代的社交真实性,对社区规则与风险识别能力进行系统升级。

近期,Soul针对《社区公约》进行了AI相关补充更新,新增涉及AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范。此次调整的重点,并不只是对技术工具进行限制,而是进一步明确AI在社交关系中的使用边界。

相比传统互联网时期,如今AI时代的风险内容正在呈现更强的隐蔽性。过去,一些异常账号往往依靠批量发送模板化话术进行导流,行为模式较为明显。而现在,部分高风险账号开始尝试模拟正常社交节奏,通过长时间聊天、日常情绪互动以及关系经营,逐步建立信任后,再进行投资诱导、站外导流甚至情感操控。因此,平台治理方式也开始从传统单点审核,转向更深层次的关系识别与行为分析。

近年来,Soul创始人张璐团队持续加强AI治理能力建设,将AI能力应用于虚假人设识别、异常互动判断以及风险内容拦截等多个场景。例如,部分账号会通过豪车、高消费生活方式、高收入职业等内容包装“成功人士”人设,再配合高度统一的话术与情绪引导,逐渐获取用户信任。单独看其中的图片或聊天内容,可能并不存在传统意义上的违规信息,但当这些元素被组合在一起后,背后的人设逻辑与风险链条就会逐渐暴露。

针对这类问题,Soul开始采用跨模态联动的AI治理能力,在图片治理场景中,平台会结合AI生成痕迹识别、图片原创性判断等技术,对AI生成图、盗图以及拼接图进行综合分析;在文本与互动场景中,则通过大模型意图识别能力,对异常导流、人设包装以及潜在欺诈倾向进行判断。针对AI伪造声纹、跨账号协同行为等问题,平台逐步建立基于声纹特征与行为链路的联动识别机制,以提升对高伪装风险内容的发现效率。

除了即时识别异常内容之外,Soul创始人张璐团队还加强了对黑产“重复作案”行为的持续治理。例如,一些已被识别的风险图片、视频素材或高危内容,在首次出现后,后续相似内容会被快速识别并停止传播,相关账号也会同步进行自动化回溯处理。相比过去“发现一次、处理一次”的模式,这种持续性的AI对抗机制,正在不断提高异常账号和黑产团队的作弊成本,也进一步压缩了其重复操作空间。

随着治理体系不断完善,平台对于异常社交风险的识别效率也在持续提升。目前,相关系统识别准确率已达到95%,重点风险场景覆盖能力相比过去提升数倍。数据显示,平台内“杀猪盘”等高风险触达行为同比下降37.37%,异常互动相关用户举报量也进一步减少。与此同时,越来越多高风险账号能够在真正接触用户前被提前识别和自动化拦截。当前,超过66%的高风险账号已实现前置处置,平台日均拦截异常与涉诈行为超过10万次,累计帮助用户避免潜在损失达到千万元级别。

除了技术治理之外,Soul创始人张璐团队也在持续推动社区共治机制建设。平台认为,很多新型风险互动与异常套路,往往最早由真实用户感知。因此,用户反馈与社区参与,也成为平台治理的重要组成部分。过去几年,Soul逐步建立起包括用户举报、社区巡查以及护星员在内的社区共治体系。一些用户会主动分享反诈经验、识别异常互动特征,相关反馈也会反向帮助平台持续优化AI识别能力与治理策略。

在AI逐渐深入社交场景的背景下,如何在技术创新与真实关系之间保持平衡,已经成为社交平台治理的重要课题。从更新《社区公约》,到完善多模态AI治理体系,再到推动社区共治机制建设,Soul 创始人张璐团队此次围绕AI社交治理的一系列动作,也为互联网社交平台的智能化、精细化治理提供了参考范式。

            <!-- 非定向300*250按钮    17/09  wenjing  begin -->
            <!-- 非定向300*250按钮  end -->
        </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » Soul 创始人张璐团队推动AI社交治理升级,筑牢社交安全屏障
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的