0xMJ / AI-Security-Learning

自身学习的安全数据科学和算法的学习资料

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

AI-Security-Learning

自身学习的安全数据科学和ai安全算法的学习资料

项目地址: https://github.com/0xMJ/AI-Security-Learning

最近更新日期为:2020/07/24

同步更新于: Mang0: AI-Security-Learning

[TOC]

新增:

综述篇

机器学习与安全课程篇

AI应用攻击篇

用AI来做应用安全攻击

自动化渗透

验证码识别

自动化鱼叉式钓鱼攻击

自动化恶意软件样本生成

自动化漏洞挖掘

通过舆情分析和精准广告投放来影响政治事件

AI应用防御篇

用AI来做应用安全防护

UEBA

入侵检测

项目

  • Seq2Seq for Web Attack Detection使用某银行应用中的数据集进行HTTP Web攻击检测模型项目。该项目检测对象为HTTP流量,具有的一个比较特别的点是在训练阶段不使用攻击样本,而只使用正常样本,是一种类似异常检测思路,而不是大部分人使用的分类的方式。

  • Sharly基于HMM的Web异常参数检测项目。

数据集

  • Vulnbank_datasetKDD大赛的一个竞赛项目,主要目的是使用机器学习得手段建立一个入侵检测器。其中的入侵行为主要包括:DDOS、密码暴力破解、缓冲区溢出、扫描等多种攻击行为。

Web安全检测

检测web攻击

Web攻击分类

WAF建设

恶意url检测

Webshell检测

项目
数据集
  • 各种webshell文件数据,根据webshell文件类型进行分类,量很大。
  • tennc/webshell一个比较大的的webshell文件收集项目。

SQL

XSS

数据集
  • 纯xss payload总结,不带任何其他信息
  • xssdb

弱口令

APT检测

DDOS

DNS&DGA检测

恶意流量检测

恶意代码

钓鱼检测

APT检测

业务安全检测

安全运营

二进制安全

杂项

AI本身安全

AI模型安全

逃逸攻击:

AI框架安全

AI数据安全

机器学习面临的数据污染问题。通过原理说明和代码实例,展示数据污染的特点和攻击效果。

AI代码安全

模型代码的漏洞挖掘和利用

AI保护AI

攻击算法

DeepFool对抗算法

FGSM算法:机器学习对抗算法中的FGSM算法。通过算法说明和代码实例,展示FGSM算法的特点和攻击效果。

对抗样本

安全算法

杂项

数据

http://www.secrepo.com/

1、Samples of Security Related Dats

2、DARPA Intrusion Detection Data Sets

3、Stratosphere IPS Data Sets

4、Open Data Sets

5、Data Capture from National Security Agency

6、The ADFA Intrusion Detection Data Sets

7、NSL-KDD Data Sets

8、Malicious URLs Data Sets

9、Multi-Source Cyber-Security Events

10、Malware Training Sets: A machine learning dataset for everyone

资源

优秀Github推荐

优秀博客

优秀书籍

思考

学习机器学习

第一步:学习编程

实话说,计算机体系很大,除了语言、数据机构、算法之外,计算机体系结构、操作系统、网络、数据库等等领域庞大。但不管怎样,学习如何编写代码、如何编程是必备的。如何学习编程呢?学完数据结构、算法等知识后,如何提高编程能力呢?上LeetCode刷题成为很多人的不二之选。 推荐教程:python廖雪峰

第二步:扎实数学

数学是搞数据科学的必备基础,数学不扎实,机器学习里很多原理、推导、公式便无法理解透彻,比如单单一个SVM就涉及到求导、凸优化等数学知识。所以如果数学忘了,很有必要复习并重新扎实数学基础。 涵盖内容:微积分、数理统计与概率论、矩阵、凸优化 推荐书籍:数理统计学简史、矩阵分析与应用by张贤达、凸优化(Convex Optimization) 推荐课程:机器学习中的数学

李航《统计学习方法》

第三步:掌握适合数据科学的Python

python在当今的数据分析很热,广泛应用于金融、电商等领域的大数据分析,也非常适合数据工作者利用它处理数据,所以Python在数据领域应用越来越广泛。学习Python的几个机器学习工具——pandas,numpy,seaborn,sklearn。 推荐教程:《利用python进行数据分析》、《Python爬虫》

Python 和数据科学

第四步:开始学习机器学习

机器学习技术在很多领域应用广泛,包括在数据挖掘、搜索、推荐、广告、自然语言处理等等中。所以学好机器学习,是搞更多应用领域的前提条件。此外,学习机器学习,不单单只是学习一个个模型、算法就足够,因为实际的机器学习工作中,分析问题、处理数据、处理特征占绝大部分工作。所以不要以为看到一个课程涵盖许许多多的模型/算法就以为捡到了宝,看一个ML课程有没有工业实战,最快判断的标准之一是看它讲不讲以及是否能讲好特征工程、模型调优。 推荐书籍:PRML 推荐课程:吴恩达《机器学习》公开课

原课程地址:coursera.org/course/ml

https://www.coursera.org/learn/machine-learning/home/welcome

笔记:

https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

https://github.com/scruel/ML-AndrewNg-Notes

周志华西瓜书:

周志华《机器学习》阅读笔记

第五步:再进一步之学习DL

得益于计算机越发强大的计算能力,神经网络的加强版深度学习(权且容许我这么不专业的叫法)越发火热,从AlphaGo、无人驾驶再到最近的AlphaGo 2.0横扫中日韩顶级骑手,AI可谓出尽了风头,在这个人工智能与大数据的时代,不学点AI,都不好意思出门跟人打招呼说我是搞计算机技术的了。 推荐课程:吴恩达《深度学习》公开课

原课程地址:www.deeplearning.ai

笔记:

https://github.com/fengdu78/deeplearning_ai_books=http://www.ai-start.com/dl2017/ http://kyonhuang.top/Andrew-Ng-Deep-Learning-notes/#/ http://binweber.top/tags/ML/ https://zhuanlan.zhihu.com/p/35333489 http://dl-notes.imshuai.com/

第六步:做实验及上kaggle实战

1、纸上得来终觉浅、绝知此事要躬行。理论学习再多最终还是要实战。为降低门槛起见,你可以从做一个一个有趣的深度学习实验开始,比如学梵高作画、自动玩flappy bird等等。然后,在kaggle上多刷刷一些数据竞赛项目,学习特征工程和别人的代码。

2、学习大规模数据处理——spark hadoop storm

第七步:实习或工作

如果你是想做数据挖掘、计算机视觉、自然语言处理,可以继续学相关的课程。此外,很多经典最新论文值得一读。如果足够了,那就正式出山到实际江湖上闯一闯吧:找份工作,干一把! 推荐公司:有资源、有数据的偏大一点的公司

推荐文章

资源

https://pan.baidu.com/s/1k64FTLw1Gv87WbYqviM45Q#list/path=%2F提取密码:bs8w

About

自身学习的安全数据科学和算法的学习资料