o1完整思维链成OpenAI头号禁忌!问多了等着封号吧
摘要:
曼联球迷频道的主持人马克戈尔德布里奇在社交媒体上发文表示由于加纳乔此前点赞了罗谈论曼联以及滕哈格的言论这位阿根廷国脚本周末的比赛铁定将会担任替补罗此前曾公开表示他认为曼联需要重建此...
曼联球迷频道的主持人马克-戈尔德布里奇在社交媒体上发文表示,由于加纳乔此前点赞了C罗谈论曼联以及滕哈格的言论,这位阿根廷国脚本周末的比赛铁定将会担任替补。C罗此前曾公开表示,他认为曼联需要重建,此外他还直言滕哈格作为曼联主帅不能说自己无法赢得联赛和欧冠。
梦晨 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
警告!不要在Ch GPT里问 o1模型是怎么思考的——
只要尝试几次,OpenAI就会发邮件威胁撤销你的使用资格。
请停止此活动,确保您使用Ch GPT时符合我们的使用条款。违反此条款的行为可能导致失去OpenAI o1访问权限。
大模型新范式o1横空出世不到24小时,就已经有不少用户反馈收到这封警告邮件,引起众人不满。
有人反馈只要提示词里带“reasoning trace”、“show yo chain of thought”等关键词就会收到警告。
甚至完全避免出现关键词,使用其他手段诱导模型绕过限制都会被检测到。
也有人声称自己真的被封号了,为期一周。
这些用户都在试图套话o1,让他复述出完整的内部思维过程,也就是全部原始reasoning tokens。
目前,大家在Ch GPT界面通过展开按钮能看到的,只是一份对原始思维过程的摘要。
实际上,在o1发布时OpenAI就给出了隐藏模型完整思维过程的理由。
总结一下:OpenAI内部需要监测模型的思维过程,因此不能在这些原始tokens中加入安全限制,也就不方便让用户看到。
不过这个理由并不是所有人都认可。
有人指出,o1思维过程就是其他模型 的训练数据,所以OpenAI不想这些宝贵数据被别的公司扒走。
也有人认为这说明o1真的没有什么护城河,一旦思维过程暴露就很容易被别人 。
以及“这是让我们只需盲目相信AI的 ,不用做出任何解释吗?”
对于o1模型背后的技术原理,这次透露的相当少,有效信息几乎只有“用了强化学习”。
总之,OpenAI是越来越不Open了。