如何提升网站核心资源被搜索引擎爬取的几率？

引导爬虫抓取网站核心资源
 
     为什么网站的核心资源要让搜索引擎爬取呢？因为核心资源往往意味这是自己网站的重点，而搜索引擎也只有了解到你的这个站主要是做什么的，才能接下来的排名。我们之前说到，网站如果采取站点扁平结构，往往有利于搜索引擎对整个网站的爬取。不过对于大型网站来说，这一点实施起来会比较难，不过我们可以重点来优化面包屑导航。还有就是自己的 sitemap每天要全量更新，补充到搜索引擎蜘蛛的spider URL库。还有就是页面部分推荐模块异步改同步加载，核心资源URL部署到权重高的页面。为了能让蜘蛛爬虫抓取核心的网站资源，在网站建设的时候，我们要减少那些无效URL的抓取我们可以使用robotst.txt禁止无效URL被抓取及被索引，通过noindex meta标签禁止URL被索引 (百度暂不支持noindex)等等，这样的目的是为了突出网站的重点，不要让这些非有效的资源冲淡了自己网站的主体而造成相关页面的权重下降。