基于微服务的深度学习模型服务系统

来源期刊：软件工程2021年第5期

论文作者：江宁远 张华熊

文章页码：22 - 25

关键词：Tensorflow Serving;微服务;第三方注册;

摘    要：Tensorflow Serving是Google开源的一个服务系统,针对Tensorflow Serving单体应用吞吐量低、服务调用烦琐、模型生命周期管理不完善等问题,本文设计了一种基于Tensorflow Serving的微服务软件架构方案,在部署Tensorflow Serving的Docker（开源的应用容器引擎）容器里添加本文研发的监控程序,该监控程序根据各个实例模型加载情况,将可用模型服务主动注册到微服务架构中的注册中心以实现对模型的编排管理。实验结果表明:采用本文的微服务架构方案,有效提升了Tensorflow Serving服务的吞吐量,降低了服务响应时间,简化了模型调用流程,从而满足Tensorflow Serving在生产环境中部署和运维的实际需求。