解决网址规范化问题有以下几点方法：
1.确保使用的CMS系统只产生规范化网址，无论是否有静态化。
2.在Google管理员工具中设置首选域。
3.所有内部链接保持统一，都指向规范化网址。
4.使用canonical标签。
5.使用301转向，把不规范化URL全部转向到规范化URL。
6.提交给搜索引擎的XML网站地图中全部使用规范化网址。
来源：搜外网
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
除了解决网址规范化问题，还有很多需要做301转向的情形。比如，为保护版权，公司拥有不同TLD的多个域名：?seowhy.com?seowhy.net?seowhy.org?seowhy.com.cn?seowhy.cn为避免造成大量复制内容，应该选定一个为主域名，如seowhy.com，其他域名做301转向到seowhy.com。网站改版经常需要用到301转向，如页面删除、改变地址、URL命名系统
网站出现多个不规范网址会给搜索引擎收录和排名带来很多麻烦。网址规范化造成的几个问题：?CMS系统在不同地方链接到不同的URL，分散了页面权重，不利于排名。?复制内容过多，搜索引擎可能认为有作弊嫌疑。?外部链接也可能指向不同URL，分散权重。?搜索引擎把资源花在收录不规范的网址上，留下给独特内容的资源就减少了。?搜索引擎判断的规范化网址不是站长想要的那个网址。来源：搜外网
网站如果出现多个不规范的网址，分散了页面权重，影响搜索引擎爬行和排名。如何设置网站地址URL规范化？1、使用301转向，很多用户习惯搜索带www，把不带www的301转向到带www的页面即可。2、URL网址规范化，链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向，区别在于用户并不被转向，还是停留在原网址上面，而搜索引擎会把他当做是301转向处理，把页面权重集中
