jjzjj

Elixir 和 Rust 是一个很好的组合

云昭 2023-08-04 原文

一、​问题

我们需要执行 CPU 密集型或系统级编程任务，而hex.pm中没有好的解决方案，在这个例子中，我们假设没有好的方法可以使用 Elixir 进行图像处理。

通常情况下，有一个名为image的高质量 Rust 库声称它就是解决方案！但是糟糕，我们的整个应用程序已经用 Elixir 编写了，我们真的不知道如何很好地使用Rust。

Elixir 如何转向 Rust 代码以实现高性能操作？

二、解决方案

输入rustler，这个库旨在使使用 Rust 及其包生态系统变得简单。让我们开始吧！

按照入门指南，首先将rustler添加到我们的mix.exs文件中：

{:rustler, "~> 0.27.0"}

一旦我们运行mix deps.get使用内置的 mix 任务来生成我们的空 rust 项目：

mix rustler.new

This is the name of the Elixir module the NIF module will be registered to.

Module name > MyApp.RustImage

This is the name used for the generated Rust crate. The default is most likely fine.

Library name (myapp_rustimage) > rust_image

* creating native/rust_image/.cargo/config.toml

* creating native/rust_image/README.md

* creating native/rust_image/Cargo.toml

* creating native/rust_image/src/lib.rs

* creating native/rust_image/.gitignore

Ready to go! See /Users/me/projects/my_app/native/rust_image/README.md for further instructions

你应该去打开它README.md，但我会帮你省去麻烦，我们需要制作一个 Elixir 模块，其中lib/my_app/rust_image.ex包含以下内容：

defmodule MyApp.RustImage do

use Rustler, otp_app: :my_app, crate: "rust_image"

# When your NIF is loaded, it will override this function.

def add(_a, _b), do: :erlang.nif_error(:nif_not_loaded)

end

从那时起，我们准备好做一些 Rust。默认的生成器给了我们一个add/2实现的函数让native/rust_image/src/lib.rs我们来看看

#[rustler::nif]

fn add(a: i64, b: i64) -> i64 {

a + b

}

rustler::init!("Elixir.MyApp.RustImage", [add]);

三、什么是 NIF？

Native Implemented Functions 是 BEAM 允许进程直接调用本地函数的方法。他们通常有大量的样板文件，你需要认真清理内存、处理错误和确保安全。幸运的是，这就是 Rust 的全部！例如这里是 Erlang NIF 教程。我们不需要做任何这些！

我们的超级优化代码将添加两个大小为 i64 的整数并返回结果。请注意此处 Rustler 的特定部分：

  • #[rustler::nif]是一个宏，告诉 Rustler 将此函数公开为 NIF。
  • rustler::init!("Elixir.MyApp.RustImage", [add]);这将初始化 Erlang NIF 运行时，以便 beam 可以将add/2函数放在模块上Elixir.MyApp.RustImage并替换我们留下的存根。

这太棒了。看看这是否有效，让我们开火iex -S mix

iex(1)> MyApp.RustImage.add(100, 20)

12

如果第一次一切正常，你应该已经看到 cargo 在发布模式下构建应用程序并在打开 iex 术语之前成功。如果你还没有安装 Rust，它会显示一个错误，你可以按照通常的方式安装 Rust 。

Rustler 甚至很聪明，会自动重新编译，保持 iex 打开并更改我们的lib.rs

#[rustler::nif]

fn add(a: i64, b: i64) -> i64 {

a + b + 1

}

保存然后再次打开正在运行的 iex 会话：

iex(2)> r(MyApp.RustImage)

... truncated output of cargo doing it's thing an maybe some beam warnings

{:reloaded, [MyApp.RustImage]}

iex(3)> MyApp.RustImage.add(1,1)

3

极好的！我们得到了相同的工作流程和与 Elixir 一起工作的好处，而对 Rust 的烦恼最少。

四、图片

首先将我们的图像依赖项添加到我们的Cargo.toml文件中：

[dependencies]

rustler = "0.27.0"

image = "0.24.6"

然后改变我们lib.rs创建一个函数，它接受一个input路径，一个output路径，quality并将任何图像更改为具有我们设置质量的 JPEG。

use image::io::Reader as ImageReader;

use image::codecs::jpeg::JpegEncoder;

use std::fs::File;

#[rustler::nif]

fn jpg(input: String, output: String, quality: i64) -> Result<String, String> {

let img = ImageReader::open(&input).unwrap().decode().unwrap();

let out_file = std::fs::File::create(&output).unwrap();

let mut jpg = JpegEncoder::new_with_quality(&out_file, quality as u8);

jpg.encode_image(&img).unwrap();

Ok(output.to_string())

}

// add code...

rustler::init!("Elixir.MyApp.RustImage", [add, jpg]);

我们还想更新我们的 RustImage 模块以包含一个存根jpg/3，但这留给读者作为练习。

现在让我们试试吧！iex -S mix

iex(1)> MyApp.RustImage.jpg("input.png", "output.jpeg", 75)

{:ok, "output.jpeg"}

和繁荣！我们已将 PNG 转换为 JPEG，质量为 75%。

五、做一个良好的 BEAM 公民

我们还应该在这里考虑一件事，那就是 CPU 负载。虽然此功能可能会在我们的笔记本电脑上立即运行，但在部署时可能需要更长时间才能共享 CPU/RAM。

而且因为 BEAM 直接运行我们的代码，它会锁定运行时直到它完成运行。我们所说的直接意思是，当使用 NIF 时，beam 会像对待任何其他代码一样对待它，主要的警告是它不能自动抢占 Rust 代码。

在 BEAM 上，这是一个大问题，因为整个运行时都希望能够随时在数百万个进程之间切换上下文。

幸运的是 Rustler 和 BEAM 团队已经想到了这一点并给了我们一个解决方案。只需将该宏更改为此jpeg即可

-- #[rustler::nif]

++ #[rustler::nif(schedule = "DirtyCpu")]

这告诉 Rustler 和 BEAM 以一种在它工作时不会阻塞整个世界的方式自动安排它。再次令人惊叹，这被称为 DirtyNif，当你通过 C 手动使用它时，使用起来会更加困难。

六、部署

使用 Docker 将其部署到 Fly.io 并不是那么自动，我们需要进行一些小的更改，以便我们的 Docker 环境可以构建 Rust。首先，通过在我们的 Elixir 构建步骤之前添加一个构建步骤来更新 Dockerfile：

#... ARG stuff..

FROM rust:1.68.0 as rust

# install build dependencies

RUN apt-get update -y && apt-get install -y build-essential git \

&& apt-get clean && rm -f /var/lib/apt/lists/*_*

workdir /app

COPY native/rust_images ./

RUN cargo rustc --release

#..Elixir builder.....

# compile assets

RUN mix assets.deploy

#NEW STUFF

COPY --from=rust /app/target/release/librust_images.so priv/native/librust_images.so

#/NEW

# Compile the release

RUN mix compile

然后更新我们config/prod.exs添加以下行：

config :my_app, MyApp.RustImage,

crate: :rust_image,

skip_compilation?: true,

load_from: {:my_app, "priv/native/librust_image"}

我们在这里所做的是在其自己的 Docker 构建器上下文中构建库，因此它与我们其余的 Docker 步骤并行运行并且可以轻松缓存。然后我们告诉 Rustler 跳过编译并直接从我们放置它的地方加载它。

我们都准备好了，fly deploy你就可以出发了！

七、讨论

关于结合使用 NIF 和 Rust 的强大功能，我们只是真正触及了皮毛。从加载海量数据集到做科学研究再到通过 WebRTC 进行连接，Rust 社区已经构建了一套令人印象深刻的包和工具，现在我们也可以使用这些包和工具。Rustler 使之成为可能！

原文链接：https://fly.io/phoenix-files/elixir-and-rust-is-a-good-mix/

ElixirRustspancolorstyle开发前端WebRTC

有关Elixir 和 Rust 是一个很好的组合的更多相关文章

  1. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  3. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  4. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  5. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

  6. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案

  7. Ruby——嵌套类和子类是一回事吗？ - 2

    下面例子中的Nested和Child有什么区别？是否只是同一事物的不同语法？classParentclassNested...endendclassChild 最佳答案 不，它们是不同的。嵌套:Computer之外的“Processor”类只能作为Computer::Processor访问。嵌套为内部类(namespace)提供上下文。对于ruby​​解释器Computer和Computer::Processor只是两个独立的类。classComputerclassProcessor#Tocreateanobjectforthisc

  8. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  9. ruby - 一个 YAML 对象可以引用另一个吗？ - 2

    我想让一个yaml对象引用另一个，如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗？ 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  10. ruby - Rails 关联 - 同一个类的多个 has_one 关系 - 2

    我的问题的一个例子是体育游戏。一场体育比赛有两支球队，一支主队和一支客队。我的事件记录模型如下:classTeam"Team"has_one:away_team,:class_name=>"Team"end我希望能够通过游戏访问一个团队，例如:Game.find(1).home_team但我收到一个单元化常量错误:Game::team。谁能告诉我我做错了什么？谢谢， 最佳答案 如果Gamehas_one:team那么Rails假设您的teams表有一个game_id列。不过，您想要的是games表有一个team_id列，在这种情况下

随机推荐