jjzjj

python - tensorflow 构建 - CPU/MKL/Windows

coder 2024-06-12 原文

有没有人成功地使用以下配置构建了 tensorflow python wheel:

  1. CPU(不是 GPU)
  2. 操作系统:Windows 7/服务器 2012
  3. 使用英特尔 MKL 和/或 mkl-dnn
  4. Python 3.6

几天来,我一直在努力尝试调整 bazel 文件和 cmake 文件,但没有成功。

想知道是否有人成功并愿意分享他所做的事情

谢谢,李奥

最佳答案

首先,从早期的 v1.x 版本到现在的 v2.x 版本,从源代码构建 tensorflow 一直是一项具有挑战性的壮举。然而,作为我工作的一部分,我不得不先用 cmake 构建它,然后再用 bazel 构建它。我强烈建议不要使用 cmake 进行构建。由于它没有得到官方支持,由于依赖版本不同,它不会生成与 bazel 版本相同的二进制文件,并且需要对 cmake 文件/脚本甚至源代码进行大量修改才能使其正常工作。

作为构建 tensorflow 的重要信息来源,我建议使用两个链接:

[1]: official build docs

[2]: .bazelrc file

第一个链接是来自 google 的官方构建文档,第二个链接经常被忽略,它包含对构建过程的各种有用提示。其中一个提示是,自从 2.0 版到最新版本(2.9,在撰写本文时),Windows/Mac 不支持 MKL。然而,正如@Lior-Cohen 在评论中正确指出的那样,MKL 是在 CPU/GPU 上运行许多运算符所必需的。

因此您需要使用支持 MKL 的 bazel 构建 tensorflow。因此,打开官方构建文档链接并按照说明准备您的环境(Visual Studio、CUDA/CUDNN,如果需要,msys、python,...)。从其 github repo 下载兼容的 bazel .要检查 bazel 兼容性,请参阅 the table .在运行 bazel build 命令之前,您可以设置 BAZEL_VC 环境变量,因为 bazel 可能难以找到您的构建工具。因此,根据预先在命令提示符下安装的构建工具的版本更改以下命令:

set BAZEL_VC=C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC

请注意,您在构建过程中可能会遇到许多错误。你必须一一阅读并解决它们。你的里程可能会有所不同,因为许多错误可能是由于下载尝试失败、互联网连接速度慢、在线资源停机、由于在线资源中的文件更改而导致的文件哈希更改等。所以请耐心等待,一次解决一个问题,阅读错误并按照错误堆栈检查源链接或脚本。 使用 MKL 构建 TF 的一个主要问题是出现以下错误:

MASM : warning A4018:invalid command-line option : -B
 Assembling: external/local_config_cuda/crosstool/windows/msvc_wrapper_for_nvcc.py
external/local_config_cuda/crosstool/windows/msvc_wrapper_for_nvcc.py(1) : error A2044:invalid character in file
external/local_config_cuda/crosstool/windows/msvc_wrapper_for_nvcc.py(2) : error A2044:invalid character in file
...

提出了两种解决方法,github上推荐了一种issue 25213另一种是创建一个可以处理预期程序集文件的假ML64.exe。这是一个 C# 片段的源代码,如果编译(作为带有 ML64.exe.config 文件的 exe)并替换为系统上的原始 ML64.exe 可以继续构建过程顺利。将原来的 ML64.exe 重命名为 ML64-org.exe。在 VS 中创建一个简单的 C# 控制台项目:

using System;
using System.Configuration;
using System.Diagnostics;
using System.Linq;

namespace ML64
{
    static internal class Program
    {
        static void Main(string[] args)
        {
            var apr = new AppSettingsReader();
            var dir = apr.GetValue("dir", typeof(string)) as string;
            var ml = apr.GetValue("ml", typeof(string)) as string;

            var importantArgs = args.Skip(2).Aggregate((a, b) => $"{a} {b}");
            var psi = new ProcessStartInfo(ml, importantArgs) { RedirectStandardOutput = true, UseShellExecute = false, WorkingDirectory = dir };
            using (var proc = Process.Start(psi))
            {
                proc.WaitForExit();
                Console.Write(proc.StandardOutput.ReadToEnd());
            }
        }
    }
}

并将 app.config 更改为以下内容:

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
    <startup> 
        <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.8" />
    </startup>
    <appSettings>
        <!--Path to your TF source where configure.py resides.-->
        <add key="dir" value="G:\2.9.0"/>
        <!--Path to your ML64 that TF build complains with errors.-->
        <add key="ml" value="C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.27.29110\bin\HostX64\x64\ml64-org.exe"/>
    </appSettings>
</configuration>

我在 C++ 项目中使用的 bazel build 是:bazel --output_base=g:/base build --config=cuda --config=mkl --config=numa - -config=monolithic tensorflow:tensorflow.dll

对于您的 Python 项目,您可以运行以下命令:bazel build --config=opt --config=cuda --config=mkl --define=no_tensorflow_py_deps=true//tensorflow/tools/pip_package: build_pip_package

关于python - tensorflow 构建 - CPU/MKL/Windows,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48009243/

有关python - tensorflow 构建 - CPU/MKL/Windows的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  3. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  4. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意,但是谷歌搜索||=并不是很有帮助;)Python中是否有与Ruby和Perl中的||=语句等效的语句?例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外,类似这样的东西的通用术语是什么?条件分配是我的第一个猜测,但Wikipediapage跟我想的不太一样。

  5. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi? - 2

    什么是ruby​​的rack或python的Java的wsgi?还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  6. ruby - 在 Ruby 中构建长字符串的简洁方法 - 2

    在编写Ruby(客户端脚本)时,我看到了三种构建更长字符串的方法,包括行尾,所有这些对我来说“闻起来”有点难看。有没有更干净、更好的方法?变量递增。ifrender_quote?quote="NowthatthereistheTec-9,acrappyspraygunfromSouthMiami."quote+="ThisgunisadvertisedasthemostpopularguninAmericancrime.Doyoubelievethatshit?"quote+="Itactuallysaysthatinthelittlebookthatcomeswithit:themo

  7. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  8. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  9. python - 如何读取 MIDI 文件、更改其乐器并将其写回? - 2

    我想解析一个已经存在的.mid文件,改变它的乐器,例如从“acousticgrandpiano”到“violin”,然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容,该乐器通过program_change或patch_change指令进行了更改,但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作,但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成,每个音轨是十六个channel中任何一个上的

  10. 「Python|Selenium|场景案例」如何定位iframe中的元素? - 2

    本文主要介绍在使用Selenium进行自动化测试或者任务时,对于使用了iframe的页面,如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候,可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签,如果直接查找是无法找到的,会抛出没有找到元素的异常。比如近在咫尺的例子就是,CSDN的登录窗体就是使用的iframe,大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素,会抛出NoSuchElementException异常。解决

随机推荐