爬虫能爬到哪些数据 搜索引擎爬虫在不知道域名的情况下如何搜索到网站？
2023-11-20 09:04:12
来源：
阅读：
搜索引擎爬虫在不知道域名的情况下如何搜索到网站？
这个做不到吧？我们以在国内最主要的百度爬虫为例。你有一个新网站，你希望他来抓取你，需要先到百度站长平台提交你的网站。这就要满足一些要求，比如有域名，域名要完成备案。百度爬虫通过多种维度对你的网站进行评级，来决定抓取的频次，评级越高越会经常来抓取你的网站。所以没有域名没有完成备案应该是不满足最基本的要求的。还有，那你现在只能用ip访问网站呗，等以后有了域名，又改用域名访问导致链接变化，这样很不好会掉权重的。
Python爬链接爬虫怎么写？
首先我们要清晰一点是，所有的网页我们能看到的不管是文字还是图片还是动画，都是以html标记的，然后浏览器把这些标记可视化的美观的展示给我们，如果我们要做网络爬虫，那么我们的爬虫是没有视觉的，只有逻辑，在爬虫眼里只有html标签，其他的样式在爬虫眼里都是浮云，所以爬虫其实就是读取html标签(这里涉及一个知识点就是要能得到html标签，需要用到一个库是request库，通过网络请求拿到html元素)，然后把html标签中自己想要的东西给提取出来，这个就是一个网络爬虫了。 逻辑就这么简单。 如果有python使用经验的，建议使用爬虫框架scrapy
微信公众号
