最近看到一个网站的robots.txt如下:User-agent:*Allow:/loginAllow:/register我只能找到Allow条目，没有找到Disallow条目。来自this，我可以理解robots.txt几乎是一个黑名单文件，用于Disallow页面被抓取。因此，Allow仅用于允许已被Disallow阻止的域的子部分。类似这样:Allow:/crawlthisDisallow:/但是，robots.txt没有Disallow条目。那么，这个robots.txt是不是让Google抓取了所有的页面呢？或者，它是否只允许使用Allow标记的指定页面？
我使用ASP.NETMVC编写了一个站点，虽然此时它还没有完全优化SEO，但我认为这是一个好的开始。我发现，当我使用Google的网站站长工具获取我的网站(以查看GoogleBot看到的内容)时，它会看到这个。HTTP/1.1200OKCache-Control:public,max-age=1148Content-Type:application/xhtml+xml;charset=utf-8Expires:Mon,18Jan201018:47:35GMTLast-Modified:Mon,18Jan201017:07:35GMTVary:*Server:Microsoft-IIS/
我最近开始使用GoogleWebmasterTools.我很惊讶地看到谷歌试图索引多少链接。http://www.example.com/?c=123http://www.example.com/?c=82http://www.example.com/?c=234http://www.example.com/?c=991这些都是以来自合作伙伴网站的链接形式存在的所有事件。目前它们都被我的机器人文件拒绝，直到网站完成-网站上的每个页面都是如此。我想知道处理这样的链接的最佳方法是什么-在我减少robots.txt文件的限制之前。我担心它们会被视为不同的URL，并开始出现在谷歌的搜索结果中。
我的网站上有登录/注册弹出窗口，默认情况下位于隐藏的div中。根据GoogleSEOandhiddenelementsgooglebot不应该看到它。但Google网站管理员工具表示关键字“email”和“password”是该网站的热门关键字。为什么会这样？为什么Google机器人会看到它们？我是否应该担心热门关键字的相关性？ 最佳答案 是的，Googlebot会看到文本，因为它在HTML中。然而，它可能知道它是隐藏文本，因此可能不会给它很高的优先级。在隐藏元素中搜索文本的用户不太可能看到您的页面。
我有一堆URL目前已在Google中编入索引。给定这些URL，有没有办法弄清楚Google上次抓取它们是什么时候？如果我手动检查Google中的链接并检查“缓存”链接，我会看到它被抓取的日期。有没有办法自动执行此操作？某种GoogleAPI？谢谢你:) 最佳答案 Google不为此类数据提供API。跟踪最后爬取信息的最佳方法是挖掘服务器日志。在您的服务器日志中，您应该能够通过其典型的用户代理来识别Googlebot:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.googl
Googlebot(Googlebot/2.1)似乎按照与URL长度相对应的顺序在新添加的网站上抓取URL:s:..GET/ivjwiej/HTTP/1.1"200.."Mozilla/5.0(compatible;Googlebot/....GET/voeoovo/HTTP/1.1"200.."Mozilla/5.0(compatible;Googlebot/....GET/zeooviee/HTTP/1.1"200.."Mozilla/5.0(compatible;Googlebot/....GET/oveizuee/HTTP/1.1"200.."Mozilla/5.0(compa
如果我有一个带有元标记的页面(“dontFollowMe.html”):...然后我链接到那个页面...我需要在a元素中包含nofollowrel属性吗？:signin谢谢 最佳答案 不，您不一定需要在没有索引的页面上使用nofollow(出于技术原因，如您的问题所述)。nofollow="不要将链接汁传递到此页面。就假装它不存在"。当然，这只是对搜索引擎的一个建议。noindex="不要将此页面编入索引。我不在乎其他链接到它的页面是否可关注，只是不要将它编入索引。"出于SEO的原因:如果这个问题假设您链接到一个内部页面，那么您问题
我正在建立一个网站，允许卖家:在我的网站上列出他们的产品将每个产品链接回卖家的网站为点击的每个链接付费我现在需要做的是以某种方式确保我只记录点击卖家网站链接的实际人类用户。如果是机器人在抓取网站，我不应该为此向卖家收费。有没有办法让我告诉机器人不要点击某个链接？我不认为它是nofollow，因为它并不是为了阻止对内容的访问。 最佳答案 告诉机器人不要跟踪链接的方法就是将rel=nofollow添加到您的标记中。假设您在转发到外部url之前也在本地登录，您还可以检查用户代理字符串。事实上，如果您打算要求人们根据推荐数量付费，那么记录每
出于某种原因，Google机器人似乎经常点击我的动态页面之一，将%2letter%发送到get参数，即。%zy%,%zn%,%xp%,%yu%,等等我的访问日志中充满了数千个这样的条目，其中Google机器人正在搜索2个字母的各种组合，一些组合被发送了很多次。这是什么行为？ 最佳答案 可能是您的网站被假冒的谷歌机器人编入了索引。这是包含更多信息的网站:http://stopmalvertising.com/security/fake-google-bots.html.另外，请查看以下文章:HowtoverifyGooglebot.
我刚刚注意到我网站上的一些页面就像......controlpanelbuild.aspx。出于SEO目的，我知道最好在基于URL的关键字之间使用连字符。所以我只是将文件重命名为control-panel-build.aspx并在我的global.asax文件中设置了301重定向，一切正常。如果您单击一个显示controlpanelbuild.aspx的链接，它会重定向到control-panel-build.aspx。我的问题是我是否应该浏览我的5个母版页以及所有12个资源文件(12种不同的语言)并更改其中的内部链接(菜单链接、站点地图链接等)？SE机器人会看到没有301的URL吗？
