jjzjj

ICLR 2023 | 达摩院开源轻量人脸检测DamoFD

AI记忆 2023-08-11 原文

团队模型、论文、博文、直播合集，点击此处浏览

一、论文

        本文介绍我们被机器学习顶级国际会议ICLR 2023接收的论文 “DamoFD: Digging into Backbone Design on Face Detection"

论文链接：https://openreview.net/pdf?id=NkJOhtNKX91

开源代码（欢迎点赞、收藏、转发三连啊~~~）：https://github.com/ly19965/EasyFace/tree/master/face_project/face_detection/DamoFD

二、背景

1. 人脸检测问题定义

        人脸检测算法是在一幅图片或者视频序列中检测出来人脸的位置，给出人脸的具体坐标，一般是矩形坐标，它是人脸关键点、属性、编辑、风格化、识别等模块的基础。学术界用来衡量人脸检测器性能的benchmark是[WiderFace](WIDER FACE: A Face Detection Benchmark)，该数据集主要明确了人脸检测器面对的一些挑战，包括scale，pose，occlusion等。本文的研究问题是如何自动搜索轻量级人脸检测器的backbone？


图片来自Wider Face 官网

2. 轻量人脸检测器发展

  • Manual 轻量级人脸检测器设计: 早期的轻量级人脸检测器（FaceBoxes & BlazeFace）均采用Single-stage目标检测器的结构（SSD)，并替换为自己手工设计的backbone模块(e.g., Faceboxes引入了Crelu，BlazeFace 引入了DW Conv )。这些方法的共同弊端是无法随着算力约束的变化而自动调整人脸检测器结构，限制了其应用场景。
图片来自FaceBoxes 论文

  • Nas-Based 轻量级人脸检测器: 随着Neural Architecture Search(NAS)技术的兴起，研究人员开始利用Nas来自动化设计人脸检测器的结构, e.g., SPNas in BFBox, DARTS in ASFD，RegNet in SCRFD。SCRFD借鉴了RegNet的思想确定了检测器的搜索空间，并打造了sota性能的轻量级人脸检测器。下图为SCRFD得到的在backbone上的最优算力分配区间
图片来自SCRFD论文

三、方法

1. Motivation

        目前的Nas方法主要由两个模块组成，网络生成器和精度预测器。其中网络生成器用于生成候选的backbone结构，精度预测器用来对采样的backbone结构预测精度。由于检测和分类的任务目标不一致，前者更重视backbone stage-level (c2-c5)的表征，而后者更重视high-level(c5)的表征，这就导致了用于分类任务上的精度预测器擅长预测high-level的表征能力而无法预测stage-level的表征能力。因此，在人脸检测任务上，我们需要一个可以预测stage-level表征能力的精度预测器来更好的搜索face detection-friendly backbone。

2. Preliminaries

        首先我们介绍下与我们方法相关的背景知识：

3. Method

        针对如何设计可以预测stage-level表征能力的精度预测器，我们从刻画network expressivity的角度出发，创新性地提出了SAR-score来无偏的刻画stage-wise network expressivity，同时基于数据集gt的先验分布，来确定不同stage的重要性，进一步提出了DDSAR-score 来刻画detection backbone的精度。

3.1 Adopt Theorem2 to charaterize stage-level network expressivity

3.2 Two issues ocuur

3.3 Stage-aware Expressivity Score

                      设计准则：

3.4 Filter Sensitivity Score

3.5 SAR-Score and DDSAR-Score

3.6 Serch Space and Evolutionary Architecture Search

四、结果

五、展望与应用

  • 减少对超参敏感性：我们在实验的过程中发现DDSAR搜索轻量级(500m)的检测结构时对超参不太敏感，很快就会得到不错的结构，但是搜2.5G, 10G和34G Flops下的检测结构时对超参比较敏感，需要对\alpha以及搜索空间进行调整。可能原因是我们的filter sensitity score 为了加速计算过程，只能近似反应对filter size的敏感性，后续可以从其他角度优化下上述的暴力枚举过程。
  • 增强方法在不同检测任务上的普适性: 我们的DDSAR-score是用来刻画检测器表达能力的score，理论上应该在不同检测任务上都应该做的很好。我们目前只考虑了数据集gt的分布，但是不同检测数据集还有数据质量，数据集规模的差异，可以围绕data-centric的思想来对数据集的质量, 数据增强等维度来进一步建立数据集和精度预测器之间的关系，从而实现在不同检测任务上都很有效。
  • 更精准的计算网络linear region的数量: 通过linear region的数量来刻画网络的表达能力在ML领域发表了很多paper，可以尝试下更精准的bound或者exact number fo linear region。

 

达摩DamoFDimgxff0cxff人工智能深度学习计算机视觉人脸检测NAS

有关ICLR 2023 | 达摩院开源轻量人脸检测DamoFD的更多相关文章

  1. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  2. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  3. ruby - 检测由 RSpec、Ruby 运行的代码 - 2

    我想知道我的代码是否在rspec下运行。这可能吗？原因是我正在加载一些错误记录器，这些记录器在测试期间会被故意错误(expect{x}.toraise_error)弄得乱七八糟。我查看了我的ENV变量，没有(明显的)测试环境变量的迹象。 最佳答案 在spec_helper.rb的开头添加:ENV['RACK_ENV']='test'现在您可以在代码中检查RACK_ENV是否经过测试。 关于ruby-检测由RSpec、Ruby运行的代码，我们在StackOverflow上找到一个类似的问题

  4. ruby - 使用 Ruby Daemons gem 检测停止 - 2

    我正在使用rubydaemongem。想知道如何向停止操作添加一些额外的步骤？希望我能检测到停止被调用，并向其添加一些额外的代码。任何人都知道我如何才能做到这一点？ 最佳答案 查看守护程序gem代码，它似乎没有用于此目的的明显扩展点。但是，我想知道(在守护进程中)您是否可以捕获守护进程在发生“停止”时发送的KILL/TERM信号...？trap("TERM")do#executeyourextracodehereend或者你可以安装一个at_exit钩子(Hook):-at_exitdo#executeyourextracodehe

  5. ruby - Ruby 脚本如何检测到它正在 irb 中运行？ - 2

    我有一个定义类的Ruby脚本。我希望脚本执行语句BoolParser.generate:file_base=>'bool_parser'仅当脚本作为可执行文件被调用时，而不是当它被irbrequire(或通过-r在命令行上传递)时。我可以用什么来包装上面的语句，以防止它在我的Ruby文件加载时执行？ 最佳答案 条件$0==__FILE__...!/usr/bin/ruby1.8classBoolParserdefself.generate(args)p['BoolParser.generate',args]endendif$0==_

  6. Ruby 无法检测字符串中的换行符 - 2

    我有以下字符串，我想检测那里的换行符。但是Ruby的字符串方法include?检测不到它。我正在运行Ruby1.9.2p290。我哪里出错了？"/'ædres/\nYour".include?('\n')=>false 最佳答案 \n需要在双引号内，否则无法转义。>>"\n".include?'\n'=>false>>"\n".include?"\n"=>true 关于Ruby无法检测字符串中的换行符，我们在StackOverflow上找到一个类似的问题： h

  7. 华为OD机试真题 C++ 实现【带传送阵的矩阵游离】【2023 Q2 | 200分】 - 2

            所有题目均有五种语言实现。C实现目录、C++实现目录、Python实现目录、Java实现目录、JavaScript实现目录题目n行m列的矩阵，每个位置上有一个元素你可以上下左右行走，代价是前后两个位置元素值差的绝对值.另外，你最多可以使用一次传送阵(只能从一个数跳到另外一个相同的数)求从走上角走到右下角最少需要多少时间。输入描述：第一行两个整数n,m，分别代表矩阵的行和列。后面n行，每行m个整数，分别代表矩阵中的元素。输出描述：一个整数，表示最少需要多少时间。

  8. 【自动驾驶环境感知项目】——基于Paddle3D的点云障碍物检测 - 2

    文章目录1.自动驾驶实战：基于Paddle3D的点云障碍物检测1.1环境信息1.2准备点云数据1.3安装Paddle3D1.4模型训练1.5模型评估1.6模型导出1.7模型部署效果附录show_lidar_pred_on_image.py1.自动驾驶实战：基于Paddle3D的点云障碍物检测项目地址——自动驾驶实战：基于Paddle3D的点云障碍物检测课程地址——自动驾驶感知系统揭秘1.1环境信息硬件信息CPU:2核AI加速卡:v100总显存:16GB总内存:16GB总硬盘:100GB环境配置Python:3.7.4框架信息框架版本:PaddlePaddle2.4.0（项目默认框架版本为2.3

  9. 最新版人脸识别小程序 图片识别 生成二维码签到 地图上选点进行位置签到 计算签到距离 课程会议活动打卡日常考勤 上课签到打卡考勤口令签到 - 2

    技术选型1，前端小程序原生MINA框架cssJavaScriptWxml2，管理后台云开发Cms内容管理系统web网页3，数据后台小程序云开发云函数云开发数据库（基于MongoDB）云存储4，人脸识别算法基于百度智能云实现人脸识别一，用户端效果图预览老规矩我们先来看效果图，如果效果图符合你的需求，就继续往下看，如果不符合你的需求，可以跳过。1-1，登录注册页可以看到登录页有注册入口，注册页如下我们的注册，需要管理员审核，审核通过后才可以正常登录使用小程序1-2，个人中心页登录成功以后，我们会进入个人中心页我们在个人中心页可以注册人脸，因为我们做人脸识别签到，需要先注册人脸才可以进行人脸比对，进

  10. ruby - 重新连接 tcpsocket(或如何检测已关闭的套接字) - 2

    我有一个连接到服务器的ruby​​tcpsocket客户端。在发送数据之前如何检查套接字是否已连接？我是否尝试“拯救”断开连接的tcpsocket，重新连接然后重新发送？如果是这样，有没有人有一个简单的代码示例，因为我不知道从哪里开始:(我很自豪我设法在rails中获得了一个持久连接的客户端tcpsocket。然后服务器决定杀死客户端，一切都崩溃了；)编辑我已经使用此代码解决了一些问题-如果未连接，它将尝试重新连接，但如果服务器已关闭则不会处理这种情况(它将继续重试)。这是正确方法的开始吗？谢谢defself.write(data)begin@@my_connection.write(

随机推荐