jjzjj

c++ - 对宽寄存器(特别是 Xeon Phi)进行未对齐数据访问的矢量化/优化循环

coder 2024-02-22 原文

这是我第一次向 Stackoverflow 社区提问。抱歉,如果我的问题不适合论坛的风格/大小 - 会随着经验的增加而改进。

我正在尝试使用英特尔编译器 14.0.1 对 C++ 中的循环进行矢量化,以更好地利用宽 512 位寄存器在英特尔至强融核上进行速度优化。 (受 https://software.intel.com/en-us/articles/data-alignment-to-assist-vectorization 启发)和谷歌上的大量引用资料表明,数据对齐在 Xeon Phi 上比在现代 Xeon 处理器上重要得多,在现代 Xeon 处理器上它仍然很重要(其中一个在第 18 页的漂亮概述 https://indico.cern.ch/event/238763/material/slides/6.pdf 中)。

这个问题有点类似于unaligned memory accesses ,但涵盖了一个更简单/更广泛的示例,并希望有一个更明确的答案。

一段代码示例:

#include <malloc.h>


void func(float *const y, float  *const x, const int & N, const float & a0, const float & a1, const float & a2, const float & a3)
{
    __assume(N%16 == 0); // aim is to let compiler know that there is no residual loop (not sure if it works as expected, though)

    int i;
#pragma simd // to assume no vector dependencies
#pragma loop count min=16, avg=80, max=2048 // to let compiler know for which cases to optimize (not sure if it is beneficial)
//#pragma vector aligned // to let compiler know that all the arrays are aligned... but not in this case
    for (i = 0; i < N; i++)
    {
        y[i] = fmax(x[i + 1] * a0 + x[i] * a1, x[i] * a2 + a3);
    }

}

int main{

...
//y and x are _mm_malloced with 64 byte alignment, e.g.

float * y = (float *)_aligned_malloc(int_sizeBytes_x_or_y + 64, 64); //+64 for padding to enable vectorisation without using mask on the residual loop
float * x = (float *)_aligned_malloc(int_sizeBytes_x_or_y + 64, 64);
...
//M = 160 to 2048, more often 160 (a multiple of 16 - floats per register)
for (int k = 0; k < M; k++)
{
...
//int N = ceil(k / 16.0) * 16; // to have no residual loop, not sure if beneficial
...


func(y, x, N, a0, a1, a2, a3);


...
}
...
_aligned_free(x);
_aligned_free(y);
}

func() 在主体中被调用了 150-2000 次,重新使用 x 和 y 的预分配空间(以避免持续的内存分配,据推测,这在 Phi 上比在正常情况下更耗时至强)。 body 在每个核心上重复数百万次。

问题是 x[i] 和 x[i+1] 对于 512 位 vector 引擎来说本质上是未对齐的,由于 x[i+1] 部分的内存访问未对齐,使得向量化次优。

在 k++ 循环之前预先分配一个 64 字节对齐的 _x 一次,在 k++ 循环的每次迭代中执行 memcpy 以使用 x 的前向值填充预分配的内存是否有任何好处? (相当于 for (int j=0; j<N; j++) _x[0]=x[i+1]; with memcpy ) 以便#pragma vector aligned 可以在 func() 中使用 y[i] = fmax(_x[i] * a0 + x[i] * a1, x[i] * a2 + a3);

是否有一些好的方法可以有效地处理这个相当普遍的标准问题,以充分利用 vector 引擎?

关于如何优化宽寄存器处理器矢量化的任何建议也非常受欢迎(这似乎是一个非常有趣的话题,最近英特尔的趋势是增强数据和任务并行性)

最佳答案

即使在这种情况下,也最好让编译器知道数组是对齐的。如: __assume_aligned(x,64) __assume_aligned(y,64)

至于 __assume(N%16 == 0),这有时会有所帮助,但您会发现它最常用于具有内循环和外循环的代码中。 N%16 不等于 0 时产生的残差循环,如果只命中一次,代价很小。但是在这种情况下,您将重复调用该函数。因此,它可能有助于获得更大的 M 值。

分配第二个数组并用从 x[1] 开始的值填充它不是一个好主意。与稍微未对齐的内存访问相比,memcpy 过于昂贵。

您可以尝试重写您的代码以使用 _mm512_alignr_epi32 内在函数。我试图找到一个很好的例子来指出你,但还没有找到。但是在这种情况下,使用 _mm512_alignr_epi32 可能不会给你带来太多好处,因为你只使用了 2 个 vector 。

关于c++ - 对宽寄存器(特别是 Xeon Phi)进行未对齐数据访问的矢量化/优化循环,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23328288/

有关c++ - 对宽寄存器(特别是 Xeon Phi)进行未对齐数据访问的矢量化/优化循环的更多相关文章

  1. ruby-on-rails - Ruby on Rails : . 常量化 : wrong constant name error? - 2

    我正在使用这个:4.times{|i|assert_not_equal("content#{i+2}".constantize,object.first_content)}我之前声明过局部变量content1content2content3content4content5我得到的错误NameError:wrongconstantnamecontent2这个错误是什么意思?我很确定我想要content2=\ 最佳答案 你必须用一个大字母来调用ruby​​常量:Content2而不是content2。Aconstantnamestart

  2. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  3. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用?a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法,而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

  4. ruby - 如何计算 Liquid 中的变量 +1 - 2

    我对如何计算通过{%assignvar=0%}赋值的变量加一完全感到困惑。这应该是最简单的任务。到目前为止,这是我尝试过的:{%assignamount=0%}{%forvariantinproduct.variants%}{%assignamount=amount+1%}{%endfor%}Amount:{{amount}}结果总是0。也许我忽略了一些明显的东西。也许有更好的方法。我想要存档的只是获取运行的迭代次数。 最佳答案 因为{{incrementamount}}将输出您的变量值并且不会影响{%assign%}定义的变量,我

  5. arrays - Ruby 数组 += vs 推送 - 2

    我有一个数组数组,想将元素附加到子数组。+=做我想做的,但我想了解为什么push不做。我期望的行为(并与+=一起工作):b=Array.new(3,[])b[0]+=["apple"]b[1]+=["orange"]b[2]+=["frog"]b=>[["苹果"],["橙子"],["Frog"]]通过推送,我将推送的元素附加到每个子数组(为什么?):a=Array.new(3,[])a[0].push("apple")a[1].push("orange")a[2].push("frog")a=>[[“苹果”、“橙子”、“Frog”]、[“苹果”、“橙子”、“Frog”]、[“苹果”、“

  6. += 的 Ruby 方法 - 2

    有没有办法让Ruby能够做这样的事情?classPlane@moved=0@x=0defx+=(v)#thisiserror@x+=v@moved+=1enddefto_s"moved#{@moved}times,currentxis#{@x}"endendplane=Plane.newplane.x+=5plane.x+=10putsplane.to_s#moved2times,currentxis15 最佳答案 您不能在Ruby中覆盖复合赋值运算符。任务在内部处理。您应该覆盖+,而不是+=。plane.a+=b与plane.a=

  7. ruby - Sinatra + Heroku + Datamapper 使用 dm-sqlite-adapter 部署问题 - 2

    出于某种原因,heroku尝试要求dm-sqlite-adapter,即使它应该在这里使用Postgres。请注意,这发生在我打开任何URL时-而不是在gitpush本身期间。我构建了一个默认的Facebook应用程序。gem文件:source:gemcuttergem"foreman"gem"sinatra"gem"mogli"gem"json"gem"httparty"gem"thin"gem"data_mapper"gem"heroku"group:productiondogem"pg"gem"dm-postgres-adapter"endgroup:development,:t

  8. ruby - Ruby 中字符串运算符 + 和 << 的区别 - 2

    我是Ruby和这个网站的新手。下面两个函数是不同的,一个在函数外修改变量,一个不修改。defm1(x)x我想确保我理解正确-当调用m1时,对str的引用被复制并传递给将其视为x的函数。运算符当调用m2时,对str的引用被复制并传递给将其视为x的函数。运算符+创建一个新字符串,赋值x=x+"4"只是将x重定向到新字符串,而原始str变量保持不变。对吧?谢谢 最佳答案 String#+::str+other_str→new_strConcatenation—ReturnsanewStringcontainingother_strconc

  9. ruby - rails 3.2.2(或 3.2.1)+ Postgresql 9.1.3 + Ubuntu 11.10 连接错误 - 2

    我正在使用PostgreSQL9.1.3(x86_64-pc-linux-gnu上的PostgreSQL9.1.3,由gcc-4.6.real(Ubuntu/Linaro4.6.1-9ubuntu3)4.6.1,64位编译)和在ubuntu11.10上运行3.2.2或3.2.1。现在,我可以使用以下命令连接PostgreSQLsupostgres输入密码我可以看到postgres=#我将以下详细信息放在我的config/database.yml中并执行“railsdb”,它工作正常。开发:adapter:postgresqlencoding:utf8reconnect:falsedat

  10. ruby - 在 Ruby + Chef 中检查现有目录失败 - 2

    这是我在ChefRecipe中的一blockRuby:#ifdatadirdoesn'texist,moveoverthedefaultoneif!File.exist?("/vol/postgres/data")execute"mv/var/lib/postgresql/9.1/main/vol/postgres/data"end结果是:Executingmv/var/lib/postgresql/9.1/main/vol/postgres/datamv:inter-devicemovefailed:`/var/lib/postgresql/9.1/main'to`/vol/post

随机推荐