Android | 教你如何用三十分钟在安卓上开发一个微笑抓拍神器

华为开发者论坛 2023-03-28 原文

前言

前段时间Richard Yu在发布会上给大家介绍了华为HMS Core4.0,回顾发布会信息请戳：华为面向全球发布HMS Core 4.0意味着什么？

其中有一个重点被介绍的服务，机器学习服务（Machine Learning Kit 简称 MLKit）。

那机器学习服务能干什么呢？能帮助开发者解决应用开发过程中的哪些问题？

今天就抛砖引玉一下，以人脸检测为例，给大家出一个实战小样例，让大家感受下机器学习服务所提供的强大功能以及给开发者提供的便捷性。

机器学习服务人脸检测所提供的能力

先给大家看一下华为机器学习服务人脸检测能力的展示：

从这个动图里面可以看到，人脸识别可以支持识别人脸的朝向，支持检测人脸的表情（高兴、厌恶、惊讶、伤心、愤怒、生气），支持检测人脸属性（性别、年龄、穿戴），支持检测是否睁眼闭眼，支持人脸以及鼻子、眼睛、嘴唇、眉毛等特征的坐标检测，另外还支持多人脸同时检测，是不是很强大！

核心提示：此功能免费，安卓全机型覆盖！

多人脸微笑拍照功能开发实战

今天就用机器学习服务的多人脸识别+表情检测能力写一个微笑抓拍的小demo，做一次实战演练。demo源码github下载请戳这里

1、开发准备

华为HMS的kit开发前准备工作都差不多，无非就是添加maven依赖，引入SDK。

1.1 在项目级gradle里添加华为maven仓

增量添加如下maven地址：

buildscript {
    repositories {        
        maven {url 'http://developer.huawei.com/repo/'}
    }    }allprojects {
    repositories {       
        maven { url 'http://developer.huawei.com/repo/'}
    }}

1.2 在应用级的build.gradle里面加上SDK依赖

把人脸识别的SDK和基础SDK引入：

dependencies{ 
  // 引入基础SDK 
  implementation 'com.huawei.hms:ml-computer-vision:1.0.2.300' 
  // 引入人脸检测能力包 
  implementation 'com.huawei.hms:ml-computer-vision-face-recognition-model:1.0.2.300'   
 }

1.3 在AndroidManifest.xml文件里面增量添加模型自动下载

这个主要是用来模型更新的，后面算法有了优化，可以自动下载到手机里面更新

<manifest    
   <application  
       <meta-data                     
           android:name="com.huawei.hms.ml.DEPENDENCY"          
           android:value= "face"/>        	        
   </application></manifest>

1.4 在AndroidManifest.xml文件里面申请相机和存储权限

<!--相机权限--><uses-permission android:name="android.permission.CAMERA" /><!--使用存储权限--><uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

2、代码开发

2.1 创建人脸分析器,检测到微笑后进行拍照

检测后拍照：

进行分析器参数配置
把分析器参数配置传给分析器
在analyzer.setTransacto内通过重写transactResult处理人脸识别后的内容，人脸识别后会返回一个微笑的置信度（简单可以理解为是微笑的概率），只要设置大于一定置信度进行拍照就可以了。

private MLFaceAnalyzer analyzer;private void createFaceAnalyzer() {
    MLFaceAnalyzerSetting setting =
            new MLFaceAnalyzerSetting.Factory()
                    .setFeatureType(MLFaceAnalyzerSetting.TYPE_FEATURES)
                    .setKeyPointType(MLFaceAnalyzerSetting.TYPE_UNSUPPORT_KEYPOINTS)
                    .setMinFaceProportion(0.1f)
                    .setTracingAllowed(true)
                    .create();                 
    this.analyzer = MLAnalyzerFactory.getInstance().getFaceAnalyzer(setting);
    this.analyzer.setTransactor(new MLAnalyzer.MLTransactor<MLFace>() {
        @Override        public void destroy() {
        }

        @Override        public void transactResult(MLAnalyzer.Result<MLFace> result) {
            SparseArray<MLFace> faceSparseArray = result.getAnalyseList();
            int flag = 0;
            for (int i = 0; i < faceSparseArray.size(); i++) {
                MLFaceEmotion emotion = faceSparseArray.valueAt(i).getEmotions();
                if (emotion.getSmilingProbability() > smilingPossibility) {
                    flag++;
                }
            }
            if (flag > faceSparseArray.size() * smilingRate && safeToTakePicture) {
                safeToTakePicture = false;
                mHandler.sendEmptyMessage(TAKE_PHOTO);
            }
        }
    });}

拍照存储部分：

private void takePhoto() {
    this.mLensEngine.photograph(null,
            new LensEngine.PhotographListener() {
                @Override                public void takenPhotograph(byte[] bytes) {
                    mHandler.sendEmptyMessage(STOP_PREVIEW);
                    Bitmap bitmap = BitmapFactory.decodeByteArray(bytes, 0, bytes.length);
                    saveBitmapToDisk(bitmap);
                }
            });}

2.2 创建视觉引擎，捕捉相机动态视频流后传给分析器

private void createLensEngine() {
    Context context = this.getApplicationContext();
    // Create LensEngine
    this.mLensEngine = new LensEngine.Creator(context, this.analyzer).setLensType(this.lensType)
            .applyDisplayDimension(640, 480)
            .applyFps(25.0f)
            .enableAutomaticFocus(true)
            .create();}

2.3 动态权限申请，挂接分析器和视觉引擎创建代码

@Overridepublic void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    this.setContentView(R.layout.activity_live_face_analyse);
    if (savedInstanceState != null) {
        this.lensType = savedInstanceState.getInt("lensType");
    }
    this.mPreview = this.findViewById(R.id.preview);
    this.createFaceAnalyzer();
    this.findViewById(R.id.facingSwitch).setOnClickListener(this);
    // Checking Camera Permissions
    if (ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA) == PackageManager.PERMISSION_GRANTED) {
        this.createLensEngine();
    } else {
        this.requestCameraPermission();
    }}
    private void requestCameraPermission() {
    final String[] permissions = new String[]{Manifest.permission.CAMERA, Manifest.permission.WRITE_EXTERNAL_STORAGE};

    if (!ActivityCompat.shouldShowRequestPermissionRationale(this, Manifest.permission.CAMERA)) {
        ActivityCompat.requestPermissions(this, permissions, LiveFaceAnalyseActivity.CAMERA_PERMISSION_CODE);
        return;
    }}@Overridepublic void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions,
                                       @NonNull int[] grantResults) {
    if (requestCode != LiveFaceAnalyseActivity.CAMERA_PERMISSION_CODE) {
        super.onRequestPermissionsResult(requestCode, permissions, grantResults);
        return;
    }
    if (grantResults.length != 0 && grantResults[0] == PackageManager.PERMISSION_GRANTED) {
        this.createLensEngine();
        return;
    }}

结束语

怎么样，开发过程是不是特别简单，30分钟就可以开发一个新特性出来！让我们一起体验下这个多人脸微笑抓包的效果。

单人笑脸抓拍：

多人笑脸抓拍：

基于人脸检测能力，还可以做哪些功能出来，请开放你的脑洞！这里不妨再给一些提示，比如：

通过识别耳朵、眼睛、鼻子、嘴巴、眉毛等脸部特征的位置，添加一些有趣的装饰特效。
通过识别面部的轮廓，做一些夸张的变形、拉伸，生成一些有趣好玩的人像图片，或者针对轮廓区域开发美颜功能。
通过年龄识别，对儿童沉迷于电子类产品的痛点，开发一些家长管控类功能。
通过检测眼睛盯着屏幕的时长，开发护眼提示的特性。
通过随机指令（摇头、眨眼、张嘴等）实现用户动作配合式活体检测功能。
通过综合运用用户的年龄、性别等的检测结果，给用户做相关商品推荐；

更详细的开发指南参考华为开发者联盟官网 华为开发者联盟机器学习服务开发指南

内容来源：https://developer.huawei.com/consumer/cn/forum/topicview?tid=0201198419687680377&fid=18 原作者：AI_talking

三十分何用 this code 分析器 Android HMSCore MLKit 机器学习华为Android 移动开发

有关Android | 教你如何用三十分钟在安卓上开发一个微笑抓拍神器的更多相关文章

安卓apk修改(Android反编译apk) - 2
最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路
ruby-on-rails - 如何用不同的用户运行nginx主进程 - 2
A/ctohttp://wiki.nginx.org/CoreModule#usermaster进程曾经以root用户运行，是否可以以不同的用户运行nginxmaster进程？最佳答案只需以非root身份运行init脚本(即/etc/init.d/nginxstart)，就可以用不同的用户运行nginxmaster进程。如果这真的是你想要做的，你将需要确保日志和pid目录(通常是/var/log/nginx&/var/run/nginx.pid)对该用户是可写的，并且您所有的listen调用都是针对大于1024的端口(因为绑定(
ruby - 如何用递增的值填充数组 Ruby - 2
我正在尝试解决http://projecteuler.net/problem=1.我想创建一个方法，它接受一个整数，然后创建一个包含它前面的所有整数的数组，并将整数本身作为数组中的值。以下是我目前所拥有的。代码不起作用。defmake_array(num)numbers=Array.newnumcount=1numbers.eachdo|number|numbers 最佳答案 (1..num).to_a是您在Ruby中需要做的全部。1..num将创建一个Range对象，以1开始并以任意值num结束是。Range对象有to_a方法通过
ruby - 如何用 Nokogiri 解析连续的标签？ - 2
我有这样的HTML代码:Label1Value1Label2Value2...我的代码不起作用。doc.css("first").eachdo|item|label=item.css("dt")value=item.css("dd")end显示所有首先标记，然后标记标签，我需要“标签:值” 最佳答案首先，您的HTML应该有和中的元素:Label1Value1Label2Value2...但这不会改变您解析它的方式。你想找到s并遍历它们，然后在每个你可以使用next_element得到;像这样:doc=Nokogiri::HTML(
ruby-on-rails - 如何用 has_many 保存数据 :through - 2
我在游戏和帐户模型之间存在多对多关系，如下所示:classAccount:destroyhas_many:games,:through=>:account_gamesendclassGame:destroyhas_many:accounts,:through=>:account_gamesendclassAccountGame现在我知道让我们说我想创建一个类似这样的记录:@account=Account.new(params[:user])@account.games但是我应该如何在执行此操作时更新AccountGame中的某些属性？假设AccountGame有一些名为score的字段
ruby - 如何用 YARD 记录一个不返回任何内容的方法 - 2
我有这样的方法defself.import(file_name,opts={})我正在尝试用YARD记录下来。然而，这是一种100%副作用的方法(我知道，我知道，副作用，呃!)。但是对于此方法的用户，实际上没有任何类型的返回对象，但是YARD生成如下签名:+(Object)import(file_name,opts={})有什么办法可以告诉yardimport方法什么都不返回吗？我可以告诉它返回nil，但这不是一回事最佳答案所有方法都会返回一些东西，void关键字可能就是您要查找的内容。#@return[void]defmeth
ruby-on-rails - 你如何在 Rails 中每小时调用一个方法？ - 2
我正在使用Resque与Redis处理后台作业。我想每小时调用一次方法Resque.enqueue(MyModel)来执行后台任务。例如:假设我有一个拥有10,000名用户的网站。我只想每天调用此方法24次；不是10,000*24。示例方法如下:Resque.enqueue(MyModel)提前感谢您的帮助。我还应该提一下，我更喜欢坚持使用Resque，而不是转向DelayedJob。谢谢。最佳答案您应该为此类任务使用cron作业。我建议您使用Whenevergem。在这里查看railscast:http://railscast
ruby - 你如何在没有 rubygems 的情况下启动 ruby 1.9 - 2
我希望我的应用不能够使用任何已安装的gem。是否有ruby1.9启动参数或以编程方式执行此操作的方法？最佳答案 ruby--disable-gems是MRI(1.9)命令行参数。“它阻止将gem安装目录添加到默认加载路径”。(Ruby编程语言，第391页)编辑25-10-2012:Ruby核心与评论中的@rogerdpack有相同的想法，并添加了更冗长的ruby--help参数。Rubyrevision! 关于ruby-你如何在没有rubygems的情况下启动ruby1.9
ruby - 你如何在 CHEF (ruby) 中创建漂亮的 json - 2
您将如何制作具有人类可读json的erb模板？下面的代码有效，但它生成了一个平面json文件默认.rbdefault['foo']['bar']={:herp=>'true',:derp=>42}Recipe.rbtemplate"foo.json"dosource'foo.json.erb'variables:settings=>node['foo']['bar'].to_jsonaction:createendfoo.json.erb类似的SO问题Chefandrubytemplates-howtoloopthoughkeyvaluepairs?HowcanI"pretty"for
ruby - 如何用 ruby 1.9.2 编译 vim - 2
我尝试重新编译支持ruby的vim，因为我注意到vim仍在使用1.8.7(这是SnowLeopard上的默认ruby版本)。Ruby1.9.2通过rvm安装。编译时./configure--enable-rubyinterp--enable-gui=no--disable-nls--enable-cscope--prefix=/Users/madhatter我从make中得到以下错误:ld:librarynotfoundfor-lruby.1.9.1collect2:ldreturned1exitstatusmake[1]:***[vim]Error1make:***[firs