我有一台带有多个GPU的服务器，我想在Java应用程序内的模型推理期间充分利用它们。默认情况下，tensorflow占用所有可用的GPU，但仅使用第一个。我可以想到三个选项来解决这个问题:在进程级别限制设备可见性，即使用CUDA_VISIBLE_DEVICES环境变量。这将需要我运行java应用程序的多个实例并在它们之间分配流量。不是那种诱人的想法。在单个应用程序中启动多个session，并尝试通过ConfigProto为每个session分配一个设备:publicclassDistributedPredictor{privatePredictor[]nested;privateint

将1MM+行插入wideanddeeplearningmodel抛出ValueError:GraphDef不能大于2GB:Traceback(mostrecentcalllast):File"search_click.py",line207,intf.app.run()File"/usr/lib/python2.7/site-packages/tensorflow/python/platform/app.py",line30,inrunsys.exit(main(sys.argv))File"search_click.py",line204,inmaintrain_and_eval()

我正在使用tensorflow的imageNettrainedmodel提取最后一个池化层的特征作为新图像数据集的表示向量。模型对新图像的预测如下:pythonclassify_image.py--image_filenew_image.jpeg我编辑了main函数，这样我就可以获取一个图像文件夹并立即返回对所有图像的预测，并将特征向量写入csv文件中。这是我的做法:defmain(_):maybe_download_and_extract()#image=(FLAGS.image_fileifFLAGS.image_fileelse#os.path.join(FLAGS.model_

来自SavedModelDocs,SavedModel,theuniversalserializationformatforTensorFlowmodels.和SavedModelwrapsaTensorFlowSaver.TheSaverisprimarilyusedtogeneratethevariablecheckpoints.据我了解，如果有人想使用TensorFlowServing，SavedModel是必须的。但是，我可以在没有SavedModel的情况下将Tensorflow模型部署到服务服务器:卡住图形并将其导出为GraphDef，然后使用ReadBinaryProto