看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头
2018-05-13 05:00:41  来源:网络354

标签:机器学习(540)Facebook(208)gpu(456)arm(3311)

移动仍然是一个充满活力的行业,技术创新为这个行业带来了繁荣,特别是围绕摄像头相关技术。2017 年,使用移动设备拍摄的照片有超过 1.2 万亿(即 1,200,000,000,000)张,智能手机每年的出货量超过 15 亿部,它不仅是驱动技术创新的平台和创造经济收益的主要载体,还是能够触及全球大多数人的平台。Arm近期在该领域展开一系列协作,我们一起来看看。

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

与 Facebook 合作优化面向移动设备的机器学习

Facebook 利用各种先进技术帮助开发人员打造创新型移动体验,将全世界用户连接在一起,去年在 Facebook F8 会议上推出的Camera Effects Platform就是一例。

这些功能采用 Facebook 的机器学习技术来增强移动用户摄像头的智能和性能,Arm 与 Facebook 携手合作,共同优化 Arm Mali 图形处理单元 (GPU) 的 Caffe2 机器学习框架。

2017 年,两家公司共同优化了 Arm Mali GPU 的关键机器学习神经网络,我们荣幸地宣布这些代码现在可供开发人员免费下载。可从Compute Library直接获取这些代码,或与Caffe2 框架结合使用。

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

Caffe2 是一种轻型可扩展框架,用于机器学习模型的开发和部署。从数据中心到移动设备和嵌入式设备,Caffe2 的使用范围非常广泛,模块化和灵活性使其成为机器学习开发人员的理想之选。

多亏 Arm 和 Facebook 的协作,Caffe 2 开发人员现在能够在采用 Arm GPU 的移动设备上实现性能改进。这种协作还将通过 Compute Library 的现有 API 延伸到未来的 Arm ML 处理器。

Caffe2 框架可兼容新型Arm 机器学习平台,还能通过 Compute Library 的现有 API 以及新发布的Arm NN 软件,充分利用当前和未来的Arm 机器学习处理器。

此外,Arm 致力于打造开放标准,正因如此,我们加入了由 Amaz>更智能、更高能效的摄像头

多年以来,Arm 与ArcSoft密切协作,优化了多家移动设备 OEM 的摄像头技术。在今年的世界移动大会上,Arm演示ArcSoft PicSelfie 技术,该技术即得益于新的Google Android 神经网络 API。

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

ArcSoft PicSelfie 技术工作原理

1.拍照时,用户一般会将智能手机摄像头指向拍摄主体:拍摄主体可能是一个人、一群人、一件物体,甚至是风景。

2.ArcSoft PicSelfie 引擎通过智能化方式区分照片的拍摄主体,确定哪些要素构成背景,然后针对每个要素应用不同的处理技术。

3.对于背景,算法将应用 Bokeh 效果,让背景变得模糊,从而突出拍摄主体。

4.对于照片的主要拍摄主体,算法将自动应用美化。

所有这些工作实时进行,由软件通过智能化方式动态完成。这种技术适用于单镜头和双镜头设备,但在双镜头设备中,由于深度计算更加精确,因而性能和质量都得以改进。

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

ArcSoft PicSelfie - 该算法的双镜头版本

这种技术是独一无二的,因为该应用程序使用去年新推出的Google Android 神经网络 API (NNAPI),运行 Android 8.1(API 级别 27)或更高版本的设备都能支持。这种技术将适用于搭载了使用 Arm NE>在只有单个摄像头(无深度信息)的设备上,该算法使用传统的分割算法,将拍摄主体与背景隔离开。它使用 Mali GPU,通过 Google Android NNAPI 加快分隔阶段,该 API 已经可以充分利用 Arm NN 软件。

下图是单摄像头设备的各个处理阶段的概览,其中的分隔算法由使用 Arm NN 的 GPU 执行:

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

ArcSoft PicSelfie - 算法的单镜头版本(框图)

看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

ArcSoft PicSelfie - 算法的双镜头版本(框图)

ArcSoft 的初始分析表明,当使用 GPU 来加快机器学习工作负载时,通常可将性能提升 30%,同时将能耗降低 20%。

机器学习初学者必须知道的十大算法

Facebook 推出儿童专用聊天软件,让家长决定孩子和谁交朋友

Facebook专注人工智能,与慕尼黑联手,以推动德国汽车工业的发展

Facebook面经记

如何在未来的大数据和机器学习领域,获得一份不错的工作?

《中国计算机协会通讯》科普文章:基于机器学习的智能运维

谷歌用机器学习帮助研究人员找到了两个新的系外行星

谁家员工平均创造的利润最多?Facebook第四苹果第七

Facebook检测工具上线 用户可查询是否关注过敏感账户

全新Facebook工具将显示用户是否“点赞”俄罗斯2016年选举宣传内容