对一个网站来说，搜索引擎是否会检索其子目录下的网页？譬如对于http://www.admin5.com/google/archives/000062.html ，搜索引擎是否会索引？敷衍了事的答案是“会”。对一个站点中包含的子目录，只要链向该层子目录的链接提供有搜索引擎能够跟进的导航配置和URL结构，那么所有的搜索引擎都会对子目录提供遍历。网络目录结构 理想情况下，尤其对于一个规模比较小的站点来说，其目录结构应该是单一的(flat)，即对实际的网页不存在或只有一层子目录。而对规模大一些的站点来说，两到三层子目录是最理想的。从搜索引擎的角度看，一个单一的目录结构为最佳。图形、脚本、CGI-BIN和样式表除外。它们应被放入子目录中而不是根目录下。
URL结构同时向搜索引擎和你的访问者清晰地表明了在你的网站中，你认为哪些网页是最重要的。换言之，如果你觉得有一个页面是非常重要的，则该网页的URL就应使用顶级URL而不应将其放在子目录下。
顶级网页的URL结构一般如下所示：
http://www.admin5.com/google/google.htm
含一层子目录的URL结构一般为：
http://www.admin5.com/google/archives/000063.html 其中：admin5.com/google是域名，archives一级子目录名，000063.html是网页名。
含两层子目录的URL的结构一般为：
http://www.wuyue.cn/curtain/2/product1.html 其中：wuyue.cn是域名，curtain是一级子目录名，2是二级子目录名，product1.html是二级子目录下网页名，等等，依此类推。
在对一个网站的检索中，只要你的网站提供有搜索引擎能够跟进的导航配置和URL结构，则搜索引擎通常会遍历至少三层子目录。不过，比子目录的层次数更为重要的一点却是：在你的子目录下是否有来自其它网站的外部链接。假如你的网站有第四层目录，且在该目录下提供了非常重要的内容，同时又包含了大量的外部链接，那么你尽可以放心，搜索引擎照样会对你的这个第四层目录进行检索的。
搜索引擎营销的小伎俩
在搜索引擎的营销中，有很多搜索引擎营销商都喜欢使用这样一个小伎俩：由于他们知道搜索引擎会自动检索多层子目录，于是他们就有意用复合关键词/短语专门创建一个子目录，以确保搜索引擎能够看到这个目标关键词。但在我看来，这种伎俩其实不会有什么实际的效果，因而并不可取。
例如，一个销售有机茶的公司，如果使用以上策略，则可能有如下的URL和目录结构：
http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html
其中：
1. tranquiliteasorganic.com是域名。
2. Oolong-tea是一级子目录名，在其域名中包含了关键词“oolong tea”，以连字符分开。
3. Oolong.html是二级目录下的网页名。
对使用了子目录的URL结构http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html ]和顶级URL http://www.tranquiliteasorganic.com/Oolong.html ，哪一种要更好呢？对我来说，我是不会纯粹为了能够在搜索引擎中取得好排名而去更改子目录结构的。原因就在于在域名或URL中使用关键词这个办法或者压根不重要，或者效果微乎其微。
我的答案要取决于这是一个什么样的网站。如果有机乌龙茶有很多种，而且这个网站提供了相当数量的关于乌龙茶的内容独特和质量高的网页，那么我推荐使用子目录结构。同样，为了保证网站的一致性和易用性，我还希望他们能够为提供的所有类型的茶都设立子目录。可是既然我很难相信会有大量关于乌龙茶的内容独特和质量高的网页，因而我怀疑这个子目录是否有必要。
使用Robots Exclusion Protocol协议(拒绝Robots访问协议)
在一个用数据库驱动的网站上，在不同子目录中放入类似或完全相同的内容是颇为普遍的，因为这样可以提高用户体验。
我们再以上面的那个茶叶站点为例，假设该站点对每种茶叶都设立了不同子目录，并提供有大量内容独特和高质量的网页，那么对乌龙茶(oolong tea)，绿茶(green tea)和茶具这三者，它们的URL结构分别如下：
