AdvSV是首个面向自动说话人验证(ASV)系统评估对抗攻击的开源数据集，也是结合对抗攻击与空中攻击的首个数据集。它包含387,160条语音样本，总计894小时。这些对抗样本针对4种主流的ASV模型生成，使用了投影梯度下降(PGD)算法和集成PGD算法。在生成过程中，AdvSV录制了真实的空中攻击场景，即声音通过空气传播攻击ASV系统。它考虑了不同类型的扬声器、麦克风，以模拟多样的攻击条件。AdvSV在CC BY-SA 4.0许可下完全开源，旨在推动自动说话人验证领域的对抗攻击与防御技术研究。该数据集目前已被多所著名高校和研究机构申请使用，包括香港中文大学(深圳)、北京邮电大学、武汉大学、天津大学、香港大学和圣彼得堡国立信息技术、机械学与光学研究型大学，反映出其在学术界的重要价值。

数据集生成

AdVSV数据集的生成分为两个步骤，对抗攻击和空中攻击。

• 对抗攻击在层面上是数字化的，指定受害者的自动说话人验证模型以及攻击者（对抗性攻击算法）来生成 ***对抗样本***。

• 在空中攻击（重放记录）后重放对抗性样本以获得***重放样本***。

数据集统计信息

关键信息

对抗性受害模型

数据示例

对抗攻击样本和空中攻击样本的tag每条记录有五个属性

      
        ```shell
        File_path, Attack method, Victim ASV Model, Replay Device, Recording Device
        ```
      
    

示例如下：

文件结构

文件夹层次结构如下所示。

• 1. 将对抗攻击和空中攻击分为两个文件夹：*Adv*和*OverTheAir* 。

• 2. Adv：分为*PGD*和*Ensemble_PGD*，识别被攻击说话人验证模型以及 PGD 参数。

• 3. *OverTheAir：通过High、Low、Medium*识别重播设备，通过*AndroidHigh、AndroidLow、iOS*识别录音设备。

• 4. 请注意，我们还提供**未受到对抗攻击**的重播样本，存储在*Raw*文件夹中。

      
        ```shell
        |-- Adv
        |   |-- PGD
        |   |    |-- ECAPA_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- RawNet_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- XVec_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- ResNet_eps-0.008_alpha-0.0004_steps-20
        |   |-- Ensemble_PGD
        |   |    |-- ResNet-ECAPA-RawNet_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- XVec-ECAPA-RawNet_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- XVec-ResNet-ECAPA_eps-0.008_alpha-0.0004_steps-20
        |   |    |-- XVec-ResNet-RawNet_eps-0.008_alpha-0.0004_steps-20
        |-- OverTheAir
        |   |-- High
        |   |   |-- AndroidHigh
        |   |   |   |-- Raw
        |   |   |   |    |-- id00012
        |   |   |   |    |-- ...
        |   |   |   |-- PGD
        |   |   |   |    |-- ...
        |   |   |   |-- Ensemble_PGD
        |   |   |   |    |-- ...
        |   |   |-- AndroidLow
        |   |   |   |-- ...
        |   |   |-- iOS
        |   |   |   |-- ...
        |   |-- Low
        |   |   |-- ...
        |   |-- Medium
        |   |   |-- ...
        ```
      
    

成果

发表文章，已被 ICASSP2024接收
Wang L, Li J, Luo Y, et al. AdvSV: An Over-the-Air Adversarial Attack Dataset for Speaker Verification[J]. arXiv preprint arXiv:2310.05369, 2023.

相关链接

• 演示地址： https://advsv.github.io/

• 下载链接： https://advsv.github.io/

• 文章地址： https://arxiv.org/abs/2310.05369