头条搜索站长平台-sitemap异常原因解释
sitemap异常原因解释解决方法
爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封，第二天重新抓取之后会恢复正常
sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件
sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交sitemap地址
站点服务不可用我们请求您的网站3次后发现您的网站仍旧不可访问会暂时停止抓取，则返回该原因请您检查服务器是否可正常运转，如果正常，等正常调度后正常抓取
sitemap地址不存在可能是您的地址无法访问，返回404，我们获取不了任何信息请您排查sitemap地址链接，等正常调度后可恢复正常抓取
txt文件未发现有效链接可能是您的txt文件链接并非按照要求提供html链接请您按照我们的规范格式提交
xml文件数据量过大可能是您的xml文件大小超过10M，item数目超过1W个建议您拆分几个小的xml文件
来源：头条搜索站长平台
Public @ 2021-01-02 16:09:47