近日,知名 AI 聊天陪伴软件“星野”对平台内大量智能体进行下架和整改,产品本身也启动了AI 服务模型的升级流程。有用户反馈,智能体在内容生成中出现违禁词率高、角色年龄设置被强制提升至 25 岁以上等明显变化,引发用户和外界关注。
从行业趋势和政策环境来看,此次整改很可能与平台在内容安全、未成年人保护、算法管理等方面面临的强监管压力有关。今年6月,监管部门对同类产品已多次约谈。比如“筑梦岛”因低俗、未成年人内容被上海网信办约谈,要求健全内容审核机制。当前伴随 AI 陪伴类产品的迅速发展,部分平台出现角色未成年人化、情感诱导、越界内容生成、监管能力不足等风险隐患,都可能使产品需要进行全面的风险排查与调整。
在全国强化生成式人工智能治理的大背景下,监管部门对涉情虚拟人格、虚拟伴侣、聊天陪伴类产品的关注度显著提升。星野的整体整改,也反映出平台可能在内容审核机制、模型输出边界、用户创作的智能体管理责任等方面需要进一步符合监管要求,因此选择主动收紧策略、进行系统性升级。
本轮整改与升级的主要方向
从当前公开信息和用户端反馈来看,星野的调整集中体现在多个维度。智能体被大规模下架,说明平台正在对用户创建内容展开全面复核,重新确认所有角色、行为设定是否符合法规要求。角色的年龄统一提升至 25 岁以上,也体现出平台在风险前置管理中的谨慎态度,避免出现未成年人角色被用于情感、亲密、诱导性对话场景的潜在风险。
模型升级,则意味着平台正在对底层模型进行内容安全策略加固,包括敏感词过滤、违规情景规避、风险输出拦截等能力的全局优化。用户反映违禁词拦截显著增强,说明平台的审核系统阈值被重新收紧,以确保产品在文本生成领域的安全边界更加明确。
整体来看,这些调整构成了一次覆盖内容侧、产品侧、模型侧的系统性安全整改,其核心目的在于规避内容违规风险,提高对用户创作行为的可控性,并确保模型的输出在法律法规框架内运行。
星野整改带来的行业意义
星野作为知名 AI 陪伴产品,此次主动开展大规模整改,对整个行业具有重要的示范意义。在当前 AI 走向普及的过程中,伴随型、聊天型产品往往更容易触及情绪、隐私、亲密关系等敏感领域,因此监管要求更严格、社会关注度更高。
星野的动作提醒业内厂商:当产品进入到大规模用户场景后,平台有责任对用户行为、模型输出、人工智能角色生态进行更严格的内容管理。用户自由创建智能体固然可以提升生态活力,但平台必须承担起对可控性、合法性、安全性的把关义务。此次整顿成为一个重要信号,意味着行业未来的发展方向将更加重视安全边界、责任落实与监管协同。
对 AI 陪伴聊天类开发者的提醒
近期的行业情况表明,AI 陪伴与情感类产品要高度警惕未成年人保护风险、内容违规风险以及算法安全风险。开发者和厂商在产品设计与运营中,应格外注意用户年龄限制,不得放任未成年人使用具备拟人化、情感互动、虚拟伴侣属性的产品场景。
同时,需主动设计和启用有效的未成年人管控模式,包括年龄校验、功能限制、风险场景隔离、敏感内容屏蔽等机制,确保系统不会成为未成年人接触不当内容的途径。产品自身的内容审核体系也必须全面加强,特别是模型输出审核、用户创建内容审核、公共空间内容审核等方面,务必保证严格落地,不得流于形式。
此外,开发者还应主动履行算法备案义务。生成式 AI 产品上线后十日内需依法履行算法备案法律义务,避免因为未备案、晚备案、违规上线等情况引发行政风险。算法备案不仅是一项强制性合规要求,也是平台向监管部门证明自身有能力安全运行的重要流程。
对普通用户的使用提醒
在使用 AI 伴侣、AI 智能体类产品时,用户应当遵守法律法规和平台规范,不得引导模型生成违法、违规、暴力、色情等内容,更不得利用 AI 工具从事违法犯罪行为。AI 产品具有较强的拟人性和陪伴性,用户在与其互动时仍需保持理性与边界感。
合规使用不仅能保护用户自身的使用安全,也能推动整个行业建立更健康的生态环境。