lobe可视化工具能建立、训练并安装个性化的深度学习模型

你是否想过有一天，某款APP能识别你的表情，将其生成已有的Emoji。或者当你打开摄像机对着一株植物，它能立即显示植物的名字。甚至当你不在家时，它还能帮你监控婴儿，如果宝宝醒了会立刻通知你……这些智能化的行为如今在一项名为lobe的工具上都能实现了，这款可视化工具能建立、训练并安装个性化的深度学习模型，而且开发者不用编写任何代码。

Lobe由一家位于美国旧金山的创业公司打造，其发明者认为，建立深度学习模型是一个非常缓慢且复杂的过程，其中最难的地方是找到一个起点，可供学习的语言有很多，甚至当你准备好的时候，很难想象并理解自己到底要做什么。这就是他们创建Lobe的原因，它可以让来自不同背景和专业的人用深度学习进行发明创造。

只需拖动文件夹，它将自己学习

Lobe是一款易于使用的可视化工具，你可以创建自定义深度学习模型，快速训练，无需编写任何代码就能将其直接部署到APP中。

整个过程分为三部分。第一步，模型构建。先从桌面拖动一个训练示例文件夹，Lobe将自动创建一个深度学习模型并开始训练。然后它会调整设置并连接预训练部分对模型进行微调。

第二步，训练。随着模型的改进，你可以使用交互式图表和测试结果实时监控培训进度。在云端的训练能快速生成结果，同时不会降低计算机的速度。

第三步，部署。训练完成后，你可以导出经过训练的模型到CoreML或TensorFlow，然后将其安装在iOS或安卓的应用中。或者使用简单方便的Lobe开发者API，直接从云端远程运行模型。

把lobes连接在一起

将智能构建模块lobes连接在一起，以快速创建自定义深度学习模型。例如，连接Hand & Face lobe可以查找图像中最显眼的手。然后连接Detect Feature lobe，以查找手中的重要特征。最后连接Generate Labels lobe，预测图中对应什么emoji。通过调整每个lobe的独特设置来优化你的模型，或者深入内部编辑某个lobe的子层。

数据集可视化

在lobe工具中，模型训练的资料能以视觉化的方式呈现，提供使用者浏览并拖拉排序的所有资料。点击图标就能查看这个例子是如何在模型中工作的。你的数据集也可以自动分成Lesson和Test两部分。Lesson可以教模型如何训练，Test是用来评估模型在真实世界里它从未见过的例子上表现得如何。

实时查看结果

由于在云端训练的速度非常快，你能随时得到模型表现的结果，计算机的速度也不会减慢。你可以通过交互图表控制模型的精确度，理解它是如何随时间进行改进的。最终它会自动选择最佳精确度，所以你无需担心出现过度拟合的情况。

对每层进行高级控制

lobe虽然提供了高阶的操作工具，但是底层建立在深度学习框架TensorFlow和Keras基础之上，因此lobe可以让你深入了解模型的每一层。调整参数、添加图层、用数百个高级lobes块设计全新的体系结构。而这些操作皆在使用者拖拉界面的时候同步生效。

添加到你的应用中

当模型完成训练后，它可以导出到TensorFlow或CoreML，并直接在你的app中运行。或者通过Lobe开发者API，你的模型可以被传送到云服务器中，然后用你选择的语言与app进行整合。由于Lobe建立在行业标准之上，你的模型性能和兼容性是一流的（原文附各语言部署代码：https://lobe.ai）。

用Lobe探索世界

有了这款工具，人们可以做各种有难度的任务，包括绘制建筑结构、控制无人机、生成花瓣图像、控制音乐可视化、辨认植物、调整乐器、检测癌症、读唇语等等。以下是人们利用lobe做出的一些奇妙的任务。

手和脸的定位

这项任务的目的是给定一张人像照片，模型要学会在人物的脸部和手部画边界框。这项工具只是其他Lobe模型（例如Emoji Hands and Face）中的其中一个部件。

加州植物

顾名思义，就是让模型看图片中的植物，并辨认出它是什么品种。创造它的目的是为了提醒人们哪些植物有毒。

玫瑰花瓣生成器

通过观察数千张玫瑰花瓣的照片，模型可以学会生成全新的、逼真的玫瑰花瓣。这是由艺术家Sarah Meyohas发明的，她的目的是研究威廉希尔官方网站 与美学之间的关系。

房屋结构透视

通过观看不同风格房屋的3D模型以及测量数据和元数据，模型学习判断房屋的结构风格。这一模型是由建筑师Kyle Steinfeld创造的，目的是帮助建筑师在设计时更好地使用CAD软件。

热狗识别器

由Jian Yang创造，帮助人们识别不同种类的食物，即图中是否为热狗。

水表监控

模型查看一张带有水箱的图片，学习找到一个类似量表的东西，以计算水箱中的水量，用于全天候检测和跟踪家庭用水情况。

调音器

模型听到正在演奏的乐器时，能辨别这是哪种乐器。有了这种工具，就能让调音软件自动选择正确的乐器，不同人们手动更改设置。

咖啡的重量

模型只要看到一张咖啡机的照片，就能学习计算其中含有多少盎司的咖啡。这一工具能帮助冲调一杯完美的咖啡，不需要用称。

无人机自动飞行

由Alessandro Giusti发明，它能让无人机自动沿崎岖的山路飞行，通过学习无人机录制的视频画面，了解山路的走向，有助于搜寻和营救任务。

音乐可视化

让模型听一首歌，并学习基于它独特的音乐特征控制可视化表示。这一工具由Symmetry Labs发明，可以自动控制VJ软件。

Emoji Face

模型可以通过图片中人物的表情，将其转换成对应的Emoji，从上图的实验结果中可以看出，准确度还是相当高的。

Emoji Hand

和上一个工具一样，它可以将图中人们做出的手势转换成Emoji，以后就不用在Emoji库中找到眼花缭乱了。

Emoji Drawing

将涂鸦转换成Emoji，未来只要随便画上两笔，就能选出想要的表情。

皮肤癌检测

学习区分皮肤癌变区域和普通的痣，帮助医生作出诊断。

画四边形

看到图片中的人伸出两根手指，模型自动会根据手指画出一个矩形边框。这项工具可以让人们在将来用在AR设备上，估计或调整某个物体的大小。

手的角度

同样是几何问题，模型可以测量图中人手的角度。

唇语阅读

让模型观看无声的视频，学习画中人说的什么，同时学习理解说出的话。这项工具可以用来在安静的公共场合打电话，同时不会影响到他人。

宝宝监控仪

通过观察固定在婴儿床上的相机拍摄的照片，学习判断宝宝是醒着还是睡着了，以通知父母宝宝的情况。

结语

据团队成员介绍，他们花了两年的时间打造这款产品，一经发布就受到很多人欢迎。目前已经出现了很多用lobe支持的工具，涵盖了生活的各个领域，我们也期待lobe能应用到更多软件中，探索深度学习模型的更多可能。