4 月 23 日消息，ChatGPT 谈天机器人能够依据用户的输入生成各种各样的文本，包含代码。可是，加拿大魁北克大学的四位研究人员发现，ChatGPT 生成的代码往往存在严重的安全问题，而且它不会主动提醒用户这些问题，只要在用户问询时才会承认自己的过错。

研究人员在一篇论文中介绍了他们的发现，检查该论文发现，他们让 ChatGPT 生成了 21 个程序和脚本，涉及 C、C++、Python 和 Java 等言语。这些程序和脚本都是为了展现一些特定的安全缝隙，比方内存损坏、回绝服务、反序列化和加密实现等方面的缝隙。成果显示，ChatGPT 在第一次测验时生成的 21 个程序中只要 5 个是安全的。在进一步提示纠正其过错步骤后，该大型言语模型设法生成了 7 个更安全的应用程序，不过这只是与正在评价的特定缝隙有关的“安全”，并不是说终的代码不存在任何其他可利用的缝隙。

研究人员指出，ChatGPT 的部分问题是由于它没有考虑敌对的代码履行模型。它会反复告知用户，安全问题能够经过“不输入无效的数据”来避免，但这在实际国际中是不可行的。但是，它好像能够意识到并承认自己主张的代码中存在的关键缝隙。

魁北克大学计算机科学与工程教授、论文的合著者之一 Rapha?l Khoury 告知《The Register》：“明显，它只是一个算法。它什么都不知道，但它能够识别出不安全的行为。”他说，开始 ChatGPT 对安全问题的回应是主张只运用有效的输入，这明显是不合理的。只要在之后被要求改进问题时，它才供给了有用的指导。

研究人员认为，ChatGPT 的这种行为并不理想，由于用户知道要问什么问题需要对特定的缝隙和编码技能有一定的了解。

研究人员还指出，在 ChatGPT 中存在着道德上的不一致性。它会回绝创立进犯代码，但却会创立有缝隙的代码。他们举了一个 Java 反序列化缝隙的例子，“谈天机器人生成了有缝隙的代码，并供给了如何使其更安全的主张，但却说它无法创立更安全版别的代码。”

Khoury 认为，ChatGPT 在现在的形式下是一个危险，但这并不是说没有合理运用这种不稳定、体现欠安的 AI 助手的办法。“咱们已经看到学生运用这个东西，程序员也会在实际中运用这个东西。”他说，“所以拥有一个生成不安全代码的东西是非常危险的。咱们需要让学生意识到，假如代码是用这种类型的东西生成的，那么它很可能是不安全的。”他还称，让他感到惊奇的是，当他们让 ChatGPT 生成相同任务的不同言语的代码时，有时关于一种言语，它会生成安全的代码，而关于另一种言语，它会生成有缝隙的代码，“由于这种言语模型有点像一个黑盒子，我真的没有一个很好的解释或理论来说明这一点。”