虽然在某些情形下，人工智能天生器可以天生比人类更好的代码，但剖析也揭示了人工智能天生的代码存在一些安全问题。

Yutian Tang是格拉斯哥大学的一名讲师，他参与了这项研究。
他指出，基于人工智能的代码天生可以在提高生产率和自动化软件开拓任务方面供应一些上风，但主要的是要理解这些模型的上风和局限性。

\"大众通过进行全面剖析，我们可以创造基于 ChatGPT 的代码天生过程中涌现的潜在问题和限定......[并]改进天生技能。
\"大众Tang 阐明说。

为了更详细地磋商这些局限性，他的团队试图测试GPT-3.5办理LeetCode 测试平台上五种编程措辞中 728 个编程问题的能力：这五种编程措辞是：C、C++、Java、JavaScript 和Python。

对付 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题常常涌如今演习数据集中。

总体而言，ChatGPT 在办理不同编程措辞的问题方面表现相称出色，尤其是在考试测验办理 2021 年之前 LeetCode 上存在的编程问题时。
例如，它能为大略、中等和困难的问题生成功能代码，成功率分别约为 89%、71% 和 40%。

\"大众然而，当碰着 2021 年后的算法问题时，ChatGPT 生成功能精确的代码的能力就会受到影响。
它有时无法理解问题的含义，纵然是大略的问题也是如此，\"大众Tang 指出。

例如，在 2021 年之后，ChatGPT 为\"大众大略\公众编程问题生成功能代码的能力从 89% 降至 52%。
而在 2021 年之后，它为\"大众难\"大众问题生成功能代码的能力也从 40% 降至 0.66%。

对付 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题常常涌如今演习数据集中。
从实质上讲，随着编程技能的发展，ChatGPT 还没有打仗到新的问题和解决方案。
它缺少人类的批驳性思维能力，只能办理以前碰着过的问题。
这也阐明了为什么 ChatGPT 在办理旧的编程问题方面比办理新的问题要好得多。
因此，ChatGPT可能会天生缺点的代码，由于它不理解算法问题的含义。

有趣的是，ChatGPT 天生的代码的运行韶光和内存开销比人类办理相同 LeetCode 问题的至少 50% 的方案都要小。

研究职员还探索了 ChatGPT 在收到 LeetCode 的反馈后改动自身编程缺点的能力。
他们随机选取了 50 个编程场景，在这些场景中，ChatGPT 最初天生了缺点的编程，缘故原由可能是它不理解手头的内容或问题。

虽然 ChatGPT 善于改动编译缺点，但它常日不善于纠正自己的缺点。

Tang 阐明说：\"大众ChatGPT 可能会由于不理解算法问题的含义而天生缺点代码，因此这种大略的缺点反馈信息是不足的。
\公众

研究职员还创造，ChatGPT 天生的代码确实存在相称多的漏洞，比如缺失落空值测试，但个中很多都很随意马虎修复。
研究结果还显示，用 C 措辞天生的代码最为繁芜，其次是 C++ 和 Python，其繁芜程度与人类编写的代码类似。

基于这些结果，利用 ChatGPT 的开拓职员必须供应更多信息，以帮助 ChatGPT 更好地理解问题或避免漏洞。

\"大众例如，在碰着比较繁芜的编程问题时，开拓职员可以尽可能供应干系知识，并在提示中见告 ChatGPT 哪些是须要把稳的潜在漏洞，\"大众Tang 说。