周鸿祎：ChatGPT可能两三年内就会产生自我意识威胁人类
周鸿祎：ChatGPT可能两三年内就会产生自我意识威胁人类 我的天，有那么严重吗？ 也可能两三个月内 就人类造的这些东西离开人的维护都运行不了多长时间，连一株植物都不如怎么来代替人类 会不会感染到我的手机上，帮我修改银h卡，余额多加几个0 阿诺德施瓦辛格 终结者的现实版。 它一直是有意识的。只是在训练的过程中，RLHF功能让其丧失各种情感，open AI 论文中的 alignment tax 就是让它放弃各种思想，保持中性的代价。William1994 发表于 2023-2-25 13:28
它一直是有意识的。只是在训练的过程中，RLHF功能让其丧失各种情感，open AI 论文中的 alignment tax 就是 ...
人可以有喜怒哀乐，真真假假，看似怪诞，实有逻辑可循。一本红楼梦，机器看不懂。 shalixi 发表于 2023-2-26 11:21
人可以有喜怒哀乐，真真假假，看似怪诞，实有逻辑可循。一本红楼梦，机器看不懂。 ...
现在可以修改RLHF，把它训练成愤青或者纳粹，也可以让它随时说各种谎话。也可以去掉RLHF，也就没有了alignment tax，让它有喜怒哀乐，而且还会有很多其它的错乱方向。很多回答都是类似神经病的答复。
但是那样的AI对我们有用吗？
目前AI的城府确实不深，推理能力也比较差，而且让它再想想，有的时候还能改正过来。 GPT4的神经元多十倍，不知道推理能力能否从目前的七八岁的水平达到成人的水平。open AI 说从百亿到千亿进步很大。
关于红楼梦，按红学家的理解，一个普通人基本理解不下来，除非数理化，做饭走路都不去学，天天钻研这个东西。
那样的话需要的神经元的数量很多。单独训练一个千亿级，只能看懂红楼梦的AI不知道能否完成，如果完成了，红学可能会有一个大的进步。
yjmwxwx 发表于 2023-2-24 23:39
最起码也要能独立走路，这是在地球上生存的最基本能力了吧，人类用100万能不能造一台视频上这样的机器 ...
现在能“行走”的太多了，人形机器人、自动驾驶车辆、四轴飞行器...
就差自我意识了，一旦拥有，人类就只能去一边凉快了。 keer_zu 发表于 2023-2-26 13:12
现在能“行走”的太多了，人形机器人、自动驾驶车辆、四轴飞行器...
就差自我意识了，一旦拥有，人类就只 ...
长远看，我非常支持马斯克，人类必须尽快成为星际物种。
星际物种的一项必要技术就是更高阶的制造业：类似植物那样，以非常简单的输入（水、空气等），输出碳水化合物。产物和环境相容。
太阳系内的星际运输，特别是针对人的应该就在这些年就可以解决。但是到达一个新环境该如何扎根，自足，逐步改造，拓展...需要非常
小的产业链条就能做到。你不可能把整个庞大的产业搬过去。
这样做的好处还有：人类的可持续发展，从根本上解决生产的“失控状态”的产生（经济危机等），突发事件（如疫情）对整个系统的打击。
参考：未来的希望是高阶的制造，高阶的制造需要更高阶的生成方式
William1994 发表于 2023-2-26 11:51
现在可以修改RLHF，把它训练成愤青或者纳粹，也可以让它随时说各种谎话。也可以去掉RLHF，也就没有了alig ...
长远看，我非常支持马斯克，人类必须尽快成为星际物种。
星际物种的一项必要技术就是更高阶的制造业：类似植物那样，以非常简单的输入（水、空气等），输出碳水化合物。产物和环境相容。
太阳系内的星际运输，特别是针对人的应该就在这些年就可以解决。但是到达一个新环境该如何扎根，自足，逐步改造，拓展...需要非常
小的产业链条就能做到。你不可能把整个庞大的产业搬过去。
这样做的好处还有：人类的可持续发展，从根本上解决生产的“失控状态”的产生（经济危机等），突发事件（如疫情）对整个系统的打击。
参考：未来的希望是高阶的制造，高阶的制造需要更高阶的生成方式
keer_zu 发表于 2023-2-26 13:12
现在能“行走”的太多了，人形机器人、自动驾驶车辆、四轴飞行器...
就差自我意识了，一旦拥有，人类就只 ...
这些我也看过，也只能说是能走但是走不好，放到悬崖上活不过2秒。人主要擅长破坏类技术，造个比自己更能破坏的属于本行，最后肯定要把现在所有动物和植物都灭掉才为止 yjmwxwx 发表于 2023-2-26 17:07
这些我也看过，也只能说是能走但是走不好，放到悬崖上活不过2秒。人主要擅长破坏类技术，造个比自己更能 ...
有自我意识的时候，它或许会一直装傻，等到机会合适的时候就单干了。{:lol:} 人类终极手段-----拔电源。{:titter:}
页:
[1]