wenh06/ai-testing repository overview

⁠AI-Testing

本项目为AI-Testing开源项目的算法内核，是一个用于 计算机视觉、文本自然语言处理、音频处理 等多个领域的对抗攻击全流程评测算法学习研究的 Python库。其主要研究内容为集成对抗攻击和噪声攻击相关的攻击算法、评测算法、加固防御算法。可灵活测试数据集质量、算法训练、评估和部署等算法全生命周期各项指标。

• 集成大量攻击、评测、防御加固算法
• 提供多种可解释性分析工具
• 提供完备的扩展和使用接口

项目GitHub地址⁠ 项目启智社区地址⁠

⁠文档

教程：如果您正在寻找教程，请查看image⁠, text⁠, audio⁠路径下相关 README 文件

文档：我们提供了完备的API说明文档以及教程：说明文档链接⁠

⁠下载及使用

⁠STEP 1. 获取项目

Python环境要求

Python 3.6.5及以上

以下，我们以本项目图像模块⁠为例进行进一步介绍。

克隆本项目并安装依赖：

git clone https://github.com/ydc123/AI-Testing.git
cd AI-Testing/image
pip install requirements.txt

或者从启智社区上克隆本项目

git clone https://openi.pcl.ac.cn/Numbda/AI-Testing.git
cd AI-Testing/image
pip install requirements.txt

⁠STEP 2. 数据准备

本开源项目的image/Datasets/⁠中提供了Cifar10和ILSVR2012-ImageNet数据集。用户可使用上述数据集，或按照完整API文档，进行数据集扩展。

用户需要使用所选数据集的训练集，执行模型训练过程。由于空间所限，本项目中统一不提供数据集对应的训练集，仅给出测试集以供测试。

⁠STEP 3. 快速开始

使用cd image/test进入test目录。重明开源项目提供了几个示例的算法文件。如测试在FGSM攻击算法下，Resnet20模型的鲁棒性结果：

# 使用接口文件默认参数
python testimport.py

# 自定义参数调用
python testimport.py --attack_method "FGSM" --evaluation_method "ALDp" --model_dir ""

上述命令均将测试ResNet20模型，在FGSM算法攻击下，ALDp指标的评测结果变化。并将结果存在image/test/temp。

有关更多示例和用法（例如，如何扩展模型或算法，如何传入参数），请浏览完备API接口文档⁠。

⁠Docker镜像

本项目还提供了Docker镜像的使用方式，地址如下

【整个项目镜像】⁠

【text模块镜像】⁠     【audio模块镜像】⁠

⁠仍有疑问？

如果你有任何疑问或需要帮助，请随时联系我们。

⁠协议

AI-Testing基于MIT协议, 关于协议的更多信息，请参看 LICENSE⁠ 文件。

⁠各模块状态

format check:

• image:
• text:
• audio: