我们正在做一个白标签网站，它不能被谷歌索引。有谁知道一种工具可以检查googlebot是否会为给定的url编制索引？我输入了在所有页面上，因此不应将其编入索引-但是我宁愿通过测试来110%确定。我知道我可以使用robots.txt，但是robots.txt的问题如下:我们的主站点应该被索引，它是IIS(ASP.Net)上与白标签站点相同的应用程序-唯一的区别是url。我无法根据传入的url修改robots.txt，但我可以从我的代码隐藏中向所有页面添加元标记。 最佳答案 您应该添加一个Robots.txt到您的网站。但是，防止搜索引
我有一个围绕文档数据库的drupal网站。按照设计，您只能通过搜索站点找到这些文档。但是我希望所有结果都被Googlebot和其他爬虫索引，所以我在想，如果我制作一个列出所有文档的页面，然后告诉机器人访问该页面以索引我的所有文档会怎样？这可能吗，或者有更好的方法吗？ 最佳答案 也许是SitemapGoogleintroducedGoogleSitemapssowebdeveloperscanpublishlistsoflinksfromacrosstheirsites.Thebasicpremiseisthatsomesitesha
我有一个angular.js应用程序。我已经遵循了基于ajax的应用程序的谷歌指南。我已经这样做了:元标记angular.js配置$locationProvider.html5Mode(true);$locationProvider.hashPrefix('!');我的html链接看起来像这样(有错吗？):Login我将站点地图提交到谷歌搜索控制台(x个月前)我发现我不应该使用escaped_fragment，对吗？难道我做错了什么？它仍然没有索引。Google仅索引主页。当我运行fetchasgoogle工具时，它会正确呈现所有页面。 最佳答案
我正在寻找一些关于Google如何抓取和索引内容的文档。我阅读了许多关于如何提高排名和确保内容被正确编入索引的“简单”论文和文章，但我正在寻找一些关于Google如何抓取和索引内容的更高级的技术文档。我想了解更多的事情:Google在抓取时寻找哪些元素:页面内容、URL格式、关键字、描述等...索引是如何更新的？基本上，我试图理解为什么有些页面被编入索引，而其他页面却没有被编入索引，即使格式相似也是如此。为什么当我在整个域中进行搜索时，即使我可以在我的服务器日志中看到Google抓取了每个链接，我的网站页面也只有10%出现。 最佳答案
想象一下，我需要为句子编制索引。让我更深入地解释一下。例如我有这些句子:美丽的天空。美丽的天空梦想。美丽的梦。据我所知，索引应该是这样的:alttexthttp://img7.imageshack.us/img7/4029/indexarb.png但我也想通过这些词中的任何一个进行搜索。例如，如果我按“the”进行搜索，它应该显示给我与“beautiful”的联系。如果我按“美丽”搜索，它应该会给我与(上一个)“The”、(下一个)“sky”和“dream”的联系。如果我按“天空”搜索，它应该给出(以前的)与“美丽”等的联系......有什么想法吗？也许您知道解决此类问题的现有算法？
我已经将sitemap.xml文件提交给谷歌网站管理员工具，它说我拥有整个页面，但在“索引”下它说“--”？Google需要多长时间才能开始编制索引？这是几天前的事。 最佳答案 站点地图是网站管理员帮助搜索引擎轻松地从他们的网站发现更多页面的一种方式。站点地图应被视为一种帮助，而不是一种职责。即使您提交了Sitemap，也不能保证Sitemap中列出的URL会被读取或包含在搜索引擎索引中。通常需要几小时到几天才能编入索引。来自Google来源的引述"Wedon'tguaranteethatwe'llcrawlorindexallof
Googlebot偶尔会使用错误的查询字符串参数为我们的网站之一编制索引。我不确定它是如何获取此查询字符串参数的(似乎没有任何网站通过错误链接链接到我们，并且我们网站中没有任何内容插入错误值)。如我们所料，错误的参数会导致站点抛出500错误。我的印象是Google不会为返回500错误的页面编制索引，但事实证明确实如此。所以现在我有两个问题:1)为什么Googlebot会随机插入错误的查询字符串值？(我真的不关心这个问题的答案，但如果我们能做些什么来避免这种情况，它就会解决我们的问题。)2)为什么Google会将返回500错误的页面编入索引？这是Googlebot创建并已编入索引的错误链
是否可以将对Google的指令微调到忽略页面的一部分但仍将其余部分编入索引的程度？我们遇到了几个不同的问题，这些问题会得到帮助，例如:页面上显示外部来源内容的RSS提要/新闻行情类型文本输入联系电话等详细信息的用户希望他们在网站上可见但不希望他们无法通过谷歌搜索我知道以上两个问题都可以通过其他技术解决(例如用JavaScript编写内容)，但我想知道是否有人知道Google是否已经提供了更简洁的选项？我一直在对此进行一些挖掘，并提到了googleonandgoogleofftags，但这些似乎是GoogleSearchAppliances独有的。有谁知道是否有一组类似的标签可供Goog
我有我的主要申请网站https://drchrono.com，我在http://blog.drchrono.com下有一个博客子域.一些博主告诉我，您网站的博客子域有助于提高主网站的网页排名。您的博客子域的流量是否有助于您网站的GooglePageRank并计入您的主网站的流量？ 最佳答案 我认为Google不会对名为“blog”的子域给予任何特殊待遇。如果他们这样做了，那将为虐待敞开大门，而且他们足够聪明，可以意识到这一点。我曾一度认为将您的博客放在一个单独的子域中是有好处的。如果您的博客的网页排名不错，那么从您的博客到主站点的链
我定义了一个像这样的指针双端队列:std::dequemydeque;我想在我的双端队列中使用基于范围的for循环:for(BoardSquare*b:mydeque){//dosomethinginvolvingtheindexofb}是否可以从基于范围的for循环中获取项目的索引？ 最佳答案 不，不是(至少不是以合理的方式)。当您确实需要索引时，您可能根本不应该使用基于范围的for循环，而应该使用一个很好的旧迭代器或基于索引的for循环://non-idiomaticindex-iteration,randomaccesscon
