QQ登录

只需一步,快速开始

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 2701|回复: 0

[讨论] robots.txt问题

[复制链接]

4

主题

16

帖子

2143

积分

授权 · VIP贵宾

Rank: 9

铁矿
1742 块
银矿
298 块
金矿
104 块
钻石
113 颗
金币
0 枚
发表于 2020-4-16 17:08:26 | 显示全部楼层 |阅读模式

你还在看吗?马上注册,钻石狂送,领到手软,轻轻松松兑换授权码...

您需要 登录 才可以下载或查看,没有帐号?注册

x
如果用对方网站来引流, 可是对方网站刚好设置了robots.txt 是禁止所有搜索引擎. 那这样子一来的话. 做引流意义就不大了了.因为蜘蛛无法爬行.

所以我想到是是否可以让克隆网站的robots.txt文档不执行远程的. 直接用本地的?
[发帖际遇]: troyok为本论坛做广告,获得盈利38 块铁矿。 幸运榜 / 衰神榜
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ
QQ咨询
扫一扫 用手机浏览

© 2016 PHP采集网 GMT+8, 2020-8-6 20:22 , Processed in 0.228558 second(s), 32 queries .

快速回复 返回顶部 返回列表