DeepDetect，一个专为深度学习的开源API和服务。DeepDetect的API简单直观、易用、通用和易扩展。
在其他贡献者的帮助下，他集成了Caffe，XGBoost和Tensorflow（很快将完成），并且未对原服务或者API修改。
XGBoost梯度提升法树是深度模型常用的算法。Tensorflow支持分布式训练模型和数据，并且能很好的支持LSTM和RNNs神经网络算法。Caffe擅长处理图像和文本数据。DeepDetect让你在这些深度学习框架间自由转换。
下面将介绍实现通用深度学习API的主要原则。同时也期待大家贡献出一些想法和评价来提高DeepDetect。
- 创业公司期待构建一个可认证的深度学习的SaaS API，可扩展，并能快速市场化、产品化；
- 企业期待与已有系统可以无缝衔接，刚开始数据流比较慢，后续模型需要随着数据的增加而进行优化。并且对应的技术可以复制到其他项目中或者部门。
符合上述两个要求的开源项目有搜索引擎Elasticsearch，可扩展搜索引擎，清晰的REST风格API和完全JSON化的输入／输出数据结构。
那深度学习API集成服务该怎样实现呢？下面给出几点：
- 无需重写：深度学习（机器学习）就像密码学，只需生成一次。无需重写对存在多种深度学习库是非要重要的；
- 无缝转换：开发和产品发布具有相同的环境会加快测试和发布周期，避免出现bug；
- 简化命令行：简单、人性化的输入／输出格式，比如JSON格式。简单即是王道；
- 产品化：专业的机器学习服务生命周期更期待在数据预测，而不是训练模型。
如果有一种通用机器学习服务能融合以上的点，简单且强悍的API，它将会同时满足开发人员和企业诉求，并且在开发和产品之间无缝切换。它将会采用JSON数据格式，用单一框架和API统一其他深度学习和机器学习开发库，并隐藏各代码间的内部复杂性。
DeepDetect机器学习API核心部分是资源和数据输入／输出格式。资源过去是指服务器资源，而不是指机器学习服务。此种设计的原因是GPU和内存在POST机器学习服务作业时是紧缺资源。让他们看看有哪些核心资源：
- 服务器信息：通过GET目录/info获取服务器信息；
- 机器学习服务管理：通过PUT（创建一个机器学习服务）、GET（获得一个机器学习服务状态）和POST（更新一个机器学习服务）目录/services进行机器学习服务的管理；
- 模型训练：通过POST（创建一个新的训练作业）、GET（获取一个训练作业的状态）和DELETE（取消一个训练作业）目录/train进行模型训练；
- 数据预测：通过POST（发送数据到服务）目录/predict进行数据预测。
所以服务包括机器学习服务、模型训练和数据预测，这些服务资源是统计模型上两种主要操作。在这个阶段监督学习服务和无监督学习服务没什么区别。
机器学习的主要参数是输入或预处理、统计学习和最终输出，映入脑海里的是：input，mllib和output三种。mllib指定支持的机器学习库，input和output不写自明。下面是一个例子，创建一个图像分类的服务：
PUT /services/imageserv
{
“description”: “image classification service”,
“mllib”: “caffe”,
“model”: {
“repository”: “/path/to/models/imgnet”,
“templates”: “../templates/caffe/”
},
“parameters”: {
“input”: {
“connector”: “image”
},
“mllib”: {
“nclasses”: 1000,
“template”: “googlenet”
},
“output”: {
}
},
“type”: “supervised”
}
参数一般包括input，mllib和output，监督学习服务和无监督学习服务通过调整输出connector设置。input connector处理输入格式，支持CSV、libsvm和text等格式，包括图像和特征。mllib部件指定的是服务创建、训练和预测模型的机器学习库，非常方便的引用各机器学习库的参数，并且保留了参数标志。
下面给出一个CSV格式的input connector例子：
“input”: {
“id”: “Id”,
“label”: “Cover”,
“separator”: “,”,
“shuffle”: true,
“test_split”: 0.1
}
下面是一个典型训练模型的output connector：
“output”: {
“measure”: [
“acc”,
“mcll”,
“f1”
]
}
接下来给出一个复杂点的输出，Mustache格式的输出模版（标准化的JSON格式可以转化成任意其他的格式）：
{
“network”: {
“http_method”: “POST”,
“url”: “http://localhost:9200/images/img"
},
“template”: “{ {{#body}}{{#predictions}} \”uri\”:\”{{uri}}\”,
\”categories\”: [ {{#classes}} { \”category\”:\”{{cat}}\”,\”score\”:
{{prob}} } {{^last}},{{/last}}{{/classes}} ] {{/predictions}}
{{/body}} }”
}
上述模版可以使监督学习分类结果直接输入Elasticsearch并生成索引，详情见www.deepdetect.com/tutorials/e… 。注意到network对象，其POST到输出服务器，这个对象也可以用在input connector连接远程输入源。
上面的模版是一个典型的DeepDetect服务器监督分类JSON输出：
“body”: {
“predictions”: {
“classes”: [
{
“cat”: “n03868863 oxygen mask”,
“prob”: 0.24278657138347626
},
],
“loss”: 0.0,
“uri”: “http://i.ytimg.com/vi/0vxOhd4qlnA/maxresdefault.jpg”
}
上述的例子在集成到已存项目管道是不需要“胶水”代码，这很好的满足了许多企业的需求。
下面快速浏览下mllib组件，包括Caffe和XGBoost：
// Caffe
“mllib”:{
"gpu":true,
"net":{
"batch_size":128
},
"solver: {
"test_interval":1000,
"iterations":16000,
"base_lr":0.01,
"solver_type":"SGD"
}
}
// XGBoost
"mllib": {
"iterations": 100,
"objective": "multi:softprob"
}
对于Caffe的例子，服务器使用了GPU，其他参数包括solver和learning rate等。对于XGBoost例子，参数iterations和objective被设置。
接下来重要的部分是数据预测，观察机器学习服务生命周期重要的是基于数据进行预测：
curl -X POST 'http://localhost:8080/predict' -d
'{"service":"covert","parameters":{"input":
{"id":"Id",”separator”:","}},"data":["test.csv"]}'
这里mllib部分省略掉了，有时在深度网络中抽取特征时mllib是有用的。在非监督学习中是相似的，输出是一个张量，而不是一个类或者回归对象：
"mllib":{"extract_layer":"pool5/7x7_s1"}
最后总结，这歌机器学习API的核心点：
- 可读性：所有的数据结构是简单、人性化的；
- 通用性：监督学习服务和无监督学习服务的通用API；
REST风格和可编程的API：这个API通过网络获取，但保留C++原有标志； - “虚构”性；能够很容易的学习增加的特征和资源，比如，为多个预测实现服务链。
【作者简介：作者在机器学习、深度学习、增强学习（reinforcement learning）和马尔卡夫决策过程（Markov decision process） 方面工作超过十年，并知道其中的苦与乐。他开发了自己的工具和系统，大部分开源了，工业级别的应用从NASA火星探测器的活动模型到空客网络安全系统，再到工业自动控制系统。一年前，他更多的聚焦在AI工具集、深度学习和神经网络等的商业化。最近惊奇的发现，许多非常棒的机器学习库开源了，对开发者透明、友好，并且版本更新及时。第一次见证了在学术论文未发布前就信任的贡献出代码。】
【译者简介：侠天，专注于大数据、机器学习和数学相关的内容，并有个人公众号：bigdata_ny分享相关技术文章。】
原 文：A Machine Learning API to rule them all: Caffe, XGBoost and Tensorflow are in a boat…
译 文：InfoQ
作 者：Emmanuel Benazera/侠天(译)
