最近,AIGC(即AI Generated Content,是指利用人工智能技术来生成内容)真的是火出了天际。除了被挤到服务器满负荷的chatGPT,另一个也颇受瞩目的领域当属AI作画了。利用开源的一类“扩散(diffusion)”模型,你可以随时用AI进行绘画创作。除了常见的网页版注册->输入文本->调用API->等待画作生成->截图或下载保存的流程,当然,作为一个不想被限制的开发者,相信一定有小伙伴想在自己的电脑上、畅行无阻的进行创作。那么就跟随我们下面的简单三个步骤,来看看怎么样在自己的电脑上就能方便快速地搭建好运行Stable Diffusion模型pipeline的环境、随心所欲的让AI来帮你作画吧。
由于Stable Diffusion的模型pipeline中包含了若干个尺寸不小的深度学习模型,对运行推理的硬件计算资源有一定的要求。在这里我们使用OpenVINO对原始PyTorch格式的Stable Diffusion模型进行转换,从而对模型pipeline进行优化及推理加速。
具体怎么操作呢?全部的代码我们开源在OpenVINO Notebooks仓库中,具体可参考(openvino_notebooks/notebooks/225-stable-diffusion-text-to-image at main · openvinotoolkit/openvino_notebooks · GitHub)。在这个代码示例中,我们采用了Stable Diffusion模型,将模型转换为 OpenVINO 中间表示 (IR) 格式,以便它在英特尔® GPU 上获得高效运行。另外,通过将 FP32 模型压缩到 FP16,我们将模型大小减少了一半(接近一半),而且运行所需的 RAM/VRAM 现在也少了很多。最重要的是,由于加入了英特尔® Xe 矩阵扩展(XMX),GPU 处理速度也获得了显著提升。
以下是我运行这个 Notebook 得到的一些结果,非常有趣。借助英特尔锐炫™ A770m独立显卡,我可以实现大约每秒 6.0 次的迭代(未使用调试模式)。这意味着生成一幅下面的高质量图像通常只需不到 10 秒钟。

如需安装 OpenVINO Notebooks,详细的安装步骤可以参考这里(适用于 Windows):Windows · openvinotoolkit/openvino_notebooks Wiki · GitHub
如果您是 Linux 用户,可点击此链接:https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu
python3 -m venv openvino_env
openvino_env\Scripts\activate
git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks
python -m pip install --upgrade pip wheel setuptools
pip install -r requirements.txt
使用以下的命令,加载所有的notebooks:
jupyter lab notebooks
在225-stable-diffusion-text-to-image 文件夹下可以找到AI作画的Notebook代码示例:

运行所有的单元格:

等待一会儿就能看到AI生成的画作啦~
来看看我生成的画作吧。

查看Notebook中的代码,我们切实地优化了 PyTorch 管道,并使用 OpenVINO 执行代码,加速推理及画作的生成。

首次下载Stable Diffusion PyTorch模型和转换可能需要一点时间。完成之后,你将得到一组OpenVINO IR 格式的模型文件。为了方便,我们已在这里将这些预训练的优化模型更新到 huggingface(https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino),大家可以直接下载使用。
OpenVINO可以非常方便的帮助开发者把模型部署在不同的硬件平台上运行推理。现在,如果你的设备中除了CPU,还有英特尔锐炫™独立显卡,您便可将下图中设备名称的代码改为“GPU”。默认情况下,它使用“ AUTO”,并会自动切换至检测到的 GPU。

让它在 GPU 上运行

自动插件。它先使用 CPU,然后自动切换至 GPU。
在这一步中,我把步骤设置为 30。理想情况下,我将使用 50,以提供最好看的结果。

通过修改输入文本,您可以在这里生成不同的场景。如果想得到非常酷的图像,您可以试试社区整理的一些实用提示。Best 100+ Stable Diffusion Prompts: The Most Beautiful AI Text-to-Image Prompts | Metaverse Post

除了Notebook中展示的Stable Diffusion模型外,以上Notebook代码示例经过几行代码的简单修改,也可以轻松扩展到更多模型,如中文版的Stable Diffusion “太乙”模型IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1 · Hugging Face
将这里的pre-trained模型名称修改为“IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1"
并相应修改这里的分词器

修改为
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1")
接着输入一些中文提示词,就能进行国风绘画的创作啦

当下,如果您想了解“Stable Diffusion”的工作原理,以及英特尔硬件的加速方式,OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果,请在这里或通过我们的 GitHub 讨论板发表评论! 祝大家编码快乐啦。
openvinotoolkit/openvino_notebooks · Discussions · GitHub · GitHub
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h