大模型安全 | 最新!大模型安全开源项目汇总(建议收藏) | xxx大模型安全 | 最新!大模型安全开源项目汇总(建议收藏) – xxx
菜单

大模型安全 | 最新!大模型安全开源项目汇总(建议收藏)

五月 4, 2024 - 安全维基

以下是关于GPT/AIGC/LLM的安全工具的资料:

1. OpenAI Codex

简介:基于GPT-3.5-turbo模型,用于编写、审查和分析代码,包括网络安全代码。用途:构建自动化工具,如生成漏洞扫描脚本或辅助渗透测试。链接OpenAI Codex[1]

2. Ret2GPT

简介:面向CTF二进制安全的工具,结合ChatGPT API、Retdec和Langchain进行漏洞挖掘。功能:通过问答或预设Prompt对二进制文件进行分析。链接Ret2GPT[2]

3. BurpGPT

简介:结合Burp Suite和GPT-3模型的开源项目,用于Web应用渗透测试。功能:自动生成有效负载、检测安全漏洞、自动化报告生成、模糊测试支持。链接BurpGPT[3]

4. nmap-GPT

简介:帮助安全初学者解决网络设备开放端口的安全问题。功能:使用Nmap扫描后,通过OpenAI API提供安全提示。链接nmap-GPT[4]

5. GPTreport

功能:使用chatGPT自动生成漏洞报告。链接GPTreport[5]

6. SecGPT

目标:成为面向网络安全领域的AutoGPT。链接SecGPT[6]

7. ChatGPT Security Code Analyzer

功能:Visual Studio Code扩展,实时安全检查和智能建议,支持多种编程语言。链接ChatGPT Security Code Analyzer[7]

8. GPT_Vuln-analyzer

简介:使用openai验证扫描结果的工具,进行网络漏洞分析、DNS枚举和子域枚举。链接GPT_Vuln-analyzer[8]

9. Callisto

简介:自动化二进制漏洞挖掘工具,基于Semgrep SAST和GPT-3.5-Turbo模型。链接Callisto[9]

10. Navi

简介:结合ChatGPT的自动化Nmap扫描工具。链接Navi[10]

11. Nuclei_GPT

简介:通过Embedding向量Nuclei模板文档,生成Nuclei的Poc。链接Nuclei_GPT[11]

12. Cloud GPT

简介:结合GPT的AWS policies漏洞扫描工具。链接Cloud GPT[12]

13. Selefra

简介:多云和SaaS环境的策略即代码软件,提供安全、成本和架构检查建议。链接Selefra[13]

14. Falco-gpt

简介:为Falco内核审计事件提供补救措施的工具。链接Falco-gpt[14]

15. beelzebub

简介:基于Go语言的蜜罐框架,使用GPT-3进行系统虚拟化。链接beelzebub[15]

16. ChatGPTScanner

简介:由ChatGPT支持的白盒代码扫描开源工具。链接ChatGPTScanner[16]

17. WPeChatGPT

简介:基于GPT-3.5-Turbo模型的二进制文件自动化分析IDA插件。链接WPeChatGPT[17]

18. HackerGPT-2.0

简介:漏洞赏金猎人的AI助手,提供技术、工具和策略等知识。链接HackerGPT-2.0[18]

19. PentestGPT

简介:基于GPT的自动化渗透测试工具,交互式运行,指导渗透测试。链接PentestGPT[19]

20. Audit GPT

简介:针对区块链安全审计任务进行GPT微调的智能化工具。链接Audit GPT[20]

21. ai_cybersecurity_compliance

简介:提供网络设备安全合规建议的工具,基于GPT-3.5-turbo模型。链接ai_cybersecurity_compliance[21]

22. IATelligence

简介:Python脚本,提取PE文件的IAT并请求GPT获取API和ATT&CK矩阵信息。链接IATelligence[22]

23. openai-cti-summarizer

简介:基于OpenAI’s GPT-3.5和GPT-4 API生成威胁情报总结报告的工具。链接openai-cti-summarizer[23]

24. AutoMSS

简介:基于AI Agent的安全事件自动化分析研判系统。链接AutoMSS[24]

25. Codamosa

简介:结合OpenAI API的fuzzer,缓解传统fuzz覆盖率停滞问题。链接Codamosa[25]

26. cspm-gpt

简介:使用LLM和langchain agent了解云环境的安全状况。链接cspm-gpt[26]

27. gpt3-and-cybersecurity

简介:Sophos使用GPT-3进行命令分析和垃圾文本监测。链接gpt3-and-cybersecurity[27]

28. CalypsoAI Moderator

简介:针对数据丢失、恶意代码、越狱和幻觉等安全风险的防护工具。链接CalypsoAI Moderator[28]

29. garak

简介:检查LLM是否存在特定脆弱性,包括模型幻觉、数据泄露等。链接garak[29]

30. LLMFuzzer

简介:寻找和利用AI系统漏洞的框架,适配各种LLM API和模糊测试策略。链接LLMFuzzer[30]

31. PsychoEvals

简介:基于MBTI人格评估和提示词注入检测的LLM安全评估框架。链接PsychoEvals[31]

32. rebuff

简介:提示词注入检测工具。链接rebuff[32]

33. ai-goat

简介:面向带缺陷的LLM的CTF挑战。链接ai-goat[33]

34. promptbench

简介:大语言模型对抗性提示词的健壮性评估框架。链接promptbench[34]

35. AI网络安全助手

简介:围绕安全从业人员日常工作能力开发的AI插件,连接专业工具和产品。链接AI网络安全助手[35]

这些工具和项目展示了GPT和大型语言模型在网络安全领域的广泛应用和潜力。从自动化渗透测试到漏洞分析,从代码审查到安全合规建议,这些工具正推动着网络安全技术的进步和创新。随着技术的发展,我们可以预见未来会有更多此类工具的出现,为网络安全专业人员提供更多支持和帮助。

References

[1] OpenAI Codex: https://openai.com/blog/openai-codex
[2] Ret2GPT: https://github.com/DDizzzy79/Ret2GPT
[3] BurpGPT: https://github.com/aress31/burpgpt
[4] nmap-GPT: https://github.com/ethanolivertroy/nmap-GPT
[5] GPTreport: https://github.com/shiyeshu/GPTreport
[6] SecGPT: https://github.com/ZacharyZcR/SecGPT
[7] ChatGPT Security Code Analyzer: https://marketplace.visualstudio.com/items?itemName=MilindPurswani.chatgpt-security-code-analyzer
[8] GPT_Vuln-analyzer: https://github.com/morpheuslord/GPT_Vuln-analyzer
[9] Callisto: https://github.com/JetP1ane/Callisto
[10] Navi: https://github.com/SSGOrg/Navi
[11] Nuclei_GPT: https://github.com/sf197/nuclei_gpt
[12] Cloud GPT: https://github.com/ustayready/cloudgpt
[13] Selefra: https://github.com/selefra/selefra
[14] Falco-gpt: https://github.com/Dentrax/falco-gpt
[15] beelzebub: https://github.com/mariocandela/beelzebub
[16] ChatGPTScanner: https://github.com/YulinSec/ChatGPTScanner
[17] WPeChatGPT: https://github.com/WPeace-HcH/WPeChatGPT
[18] HackerGPT-2.0: https://github.com/Hacker-GPT/HackerGPT-2.0
[19] PentestGPT: https://github.com/GreyDGL/PentestGPT
[20] Audit GPT: https://github.com/fuzzland/audit_gpt
[21] ai_cybersecurity_compliance: https://github.com/yzmar4real/ai_cybersecurity_compliance
[22] IATelligence: https://github.com/fr0gger/IATelligence
[23] openai-cti-summarizer: https://github.com/EC-DIGIT-CSIRC/openai-cti-summarizer
[24] AutoMSS: https://github.com/1700111005/autoMSS
[25] Codamosa: https://github.com/microsoft/codamosa
[26] cspm-gpt: https://github.com/samvas-codes/cspm-gpt
[27] gpt3-and-cybersecurity: https://github.com/sophos/gpt3-and-cybersecurity
[28] CalypsoAI Moderator: https://calypsoai.com/
[29] garak: https://github.com/leondz/garak
[30] LLMFuzzer: https://github.com/mnns/LLMFuzzer
[31] PsychoEvals: https://github.com/NextWordDev/psychoevals
[32] rebuff: https://github.com/protectai/rebuff
[33] ai-goat: https://github.com/dhammon/ai-goat
[34] promptbench: https://github.com/microsoft/promptbench
[35] AI网络安全助手: https://www.secasst.com/


源码解读 13K star 的 llm.c | “真男人就应该用 C 编程”!用 1000 行 C 代码手搓了一个大模型

llm.c 源码解读 (2) 核心组件

大模型安全| 通过过度填充对话记录,多数大模型都可以引发越狱!| 上下文长度的利弊




Notice: Undefined variable: canUpdate in /var/www/html/wordpress/wp-content/plugins/wp-autopost-pro/wp-autopost-function.php on line 51