百度搜索资源平台移动专区平台任务,详细阅读robots文档,阅读完毕后可完成测验题,全部答对可获得加分。
1、如果想要网站全部被百度收录,该不该建立 robots.txt 文件
A:应该
B:不应该
2、robots.txt 文件的作用是什么?
A:能够更好的吸引搜索引擎抓取页面
B:能够指定 spider 在你网站上的抓取范围
C:能够提供搜索结果出图效果
D:没有什么用
3、robots.txt 文件应该放在哪个位置?
A:放置在网站根目录下
B:放置在对应页面中
4、下面 robots.txt 文件内字段描述错误的是:
A:User-agent:描述自己站点和页面的名称
B:Disallow:描述不希望被访问的一组 URL
C:allow:描述希望被访问的一组 URL
D: * 匹配 0 或多个任意字符
5、robots 工具目前支持 48K 的文件检测,最长不超过 250 个字符
A:正确
B:错误