jjzjj

seo - Robots.txt，加密字符？不允许 :/azr94v2hh2lg/

coder 2024-02-29 原文

有人知道这是什么吗？我在我的 robots.txt 中找到了这个。这是某种加密字符吗？

Disallow: /azr94v2hh2lg/

最佳答案

Is this some kind of encrypted characters?

不，robots.txt 不支持加密。显然，它的目的是成为一个不存在的 URL，以抵消一些网络爬虫在多年前就应该出现的错误。

我不知道这个的原始来源是什么，它完全有可能不再在线，但这里有一个关于这个问题的来源，它反过来引用了另一个似乎不再有这个内容的网站。

摘自http://seoserviceguide.com/what-is-indexing-and-pagerank/ :

User-agent: *
Disallow: /azr94v2hh2lg/

Note: this “/azr94v2hh2lg/” “tells Google as well as any other robot type search engine to stay out of your “/azr94v2hh2lg/” directory. Of course you do not have this directory on your Web server. By doing this we’re providing a real disallow directive which will keep search engines happy and not deliver any errors. You can replace the “/azr94v2hh2lg/” with any other directory name you wish just as long as the directory does not and will never be part of your Website and it will have the same effect.” – www.scrubtheweb.com.

如果 robots.txt 文件至少包含一个非空的 Disallow 条目，一些爬虫可能无法正常爬取网站，而这一字符序列是伪造的-有人想出的随机字符串来实现这个目的。

至于这种说法的有效性，我无法发表评论。当涉及到 SEO 建议时，我发现有大量可疑的谣言和未经证实的说法。

但是，如果这是真的，我非常怀疑这个问题是否仍然相关。

关于seo - Robots.txt，加密字符？不允许 :/azr94v2hh2lg/，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35422949/

Robotsv2hhsectioncodeblockquoteseorobots.txt

有关seo - Robots.txt，加密字符？不允许 :/azr94v2hh2lg/的更多相关文章

  1. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

  2. arrays - 为什么 Dir.glob ("*.txt").sort 也需要 .each？ - 2

    Dir.glob("*.txt"){|f|pf}打印文件名。Dir.glob("*.txt").sort{|f|pf}因ArgumentError失败。Dir.glob("*.txt").sort.each{|f|pf}按字母顺序打印文件名。为什么第二个失败了？更好的是，为什么第一个工作，有或没有.each？Dir.glob和Dir.glob.sort都是数组。Dir.glob.methods==Dir.glob.sort.methods。(受AlphabetizeresultsofDir.glob启发。不是Dir.globwithsortissue的副本，因为“第三个”已经回答了那个

  3. ruby-on-rails - rails 中子域的多个 robots.txt - 2

    我有一个包含多个子域的网站，我希望命名的子域robots.txt与www不同。我尝试使用.htaccess，但FastCGI没有查看它。所以，我试图设置路由，但似乎你不能直接重写，因为每条路由都需要一个Controller:map.connect'/robots.txt',:controller=>?,:path=>'/robots.www.txt',:conditions=>{:subdomain=>'www'}map.connect'/robots.txt',:controller=>?,:path=>'/robots.club.txt'解决这个问题的最佳方法是什么？(我正在为子域

  4. ruby-on-rails - 知道@vendor.name 后如何使 Ruby on Rails 中的 URL 对 SEO 友好？ - 2

    我的应用程序在RoR中我有一个名为showsummary的操作/View，其中ID已传递到URL，并且Controller使用它来实例化@vendor，其中@vendor.name是公司的名称。我希望URL是showsummary/1/而不是在URL中包含/vendor-name。我该怎么做？ 最佳答案 所有这些解决方案都使用find_by_name，这肯定需要在该列上有一个索引并且要求它们是唯一的。我们使用的一个更好的解决方案是在供应商名称前加上其ID，但牺牲了一点美观。这意味着您不必在名称列上有索引和/或要求唯一性。供应商.rb

  5. ruby - 在 Ruby 中获取 DNS TXT 记录 - 2

    我需要从DNS记录中获取txt字段。是否有任何ruby​​api可以做这样的事情？nslookup-q=txtxxxx.com 最佳答案 尝试安装dnsrubygem。代码得到积极维护，并在一些重要的生产系统中使用。require'rubygems'require'dnsruby'includeDnsruby#Usethesystemconfigurednameserverstorunaqueryres=Dnsruby::Resolver.newret=res.query("google.com",Types.TXT)printre

  6. Ruby 的 File.open 给出 "No such file or directory - text.txt (Errno::ENOENT)"错误 - 2

    我在我的Win7机器上安装了Ruby1.9.2。创建了一个简单的analyzer.rb文件。它有这一行:File.open("text.txt").each{|line|putsline}当我运行代码时，它给我这个错误:analyzer.rb:1:in`initialize':Nosuchfileordirectory-text.txt(Errno::ENOENT)fromanalyzer.rb:1:in`open'fromanalyzer.rb:1:in`'Exitcode:1我不明白。在与analyzer.rb文件相同的目录中有一个text.txt文件。我还尝试输入文件的绝对路径C

  7. javascript - 使用 jquery 从 javascript 加载 .txt 文件 - 2

    很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭12年前。我想加载本地.txt文件并使用javascript中的内容。我的本地文件就像C:\Users\Who\Desktop\file.txt谢谢

  8. javascript - 跨浏览器另存为.txt - 2

    是否有允许将字符串保存为txt文件并跨浏览器工作的JavaScript库？过去，我一直在使用Downloadify，但出于以下几个原因，我正在考虑另一种选择:我希望找到一个纯JavaScript的解决方案，而不需要Flash似乎Downloadify不再更新了(过去18个月没有更新)我在IE9中遇到Downloadify问题，字符串被chop 最佳答案 Hereis你需要什么。但它还不是跨浏览器。适用于谷歌浏览器。Downloadready维基百科也有很好的articleaboutDataURI

  9. javascript - 将 txt 上传到 Amazon S3 - 2

    我正在使用s3sdk上传一个字符串(这将被更改为一个txt文件)。使用sdk是可以的。但由于sdk仅适用于新浏览器(例如:ie10+)我需要用另一种方式上传我的文件(对于旧浏览器)对于图像文件，我使用输入(类型文件)和上传表单此解决方案仅适用于输入类型文件。出于安全原因，我无法使用jquery更改输入的值。是否有另一种上传文本的方法(也许使用restapi)？ 最佳答案 我很好奇您为什么要使用URL表单将此提交给亚马逊...这是非常不安全的，因为您要将您的AWS访问key分发给每个人。首先，您需要研究使用AmazonSDKforJa

  10. javascript - node.js readFile txt 在内容顶部添加问号 - 2

    我正在使用fs.readFile()函数从.txt中获取一些数据，但内容的顶部类似于“?Alexlibman”我的全部代码；fs.readFile(__dirname+"/txts/generate/titles0.txt","utf-8",function(ex,titles){vartitlesArr=titles.split("\r\n");console.log(titlesArr);});结果；["?Alexlibman","KroyaBarzo","DeliahKrbo"]总是，内容顶部有问号注意:我的titles0.txt是逐行数据 最佳答案

随机推荐