最近和一朋友讨论robots.txt中disallow和nofollow的区别，他非常喜欢用nofollow，想某个页面不被收录的时候就用这个属性。

这样能做到不浪费权重，nofollow的作用是让蜘蛛抓取而不传递权重。而robots.txt这个东西是个协议，其中disallow是禁止这个网站中的某个页面不被抓取。这是disallow和nofollow的第一个区别。

另外，由于nofollow是某一个链接的属性，他只能做这个链接的主，如果需要禁止传递权重的页面，有多个导入链接，只要有一个链接没带NOFOLLOW，那么都会有一定权重传递过去；而如果robots.txt中禁止了收录，不管你的网站中有几个链接导入到该页面，都不会抓取，甚至站外来的链接，也受他的影响。

可以看出，如果你要禁止站内某个页面不被收录，你用robots.txt中disallow比较方便，或者不传递权重到该页面的情况下，你也可以用它，因为很少有需要收录，而不需要传递权重的页面。如果你要给自己网站创造一个站外的站外蜘蛛入口（外链），那么你有nofollow的地方还是可以的，而robots.txt文件禁止的，就完全没效果了。