最近在公司一边自学一边写PHP程序，由于公司对程序的运行效率要求很高，而自己又是个新手，一开始就注意程序的效率很重要，这里就结合网上的一些资料，总结下php程序效率优化的一些策略：1.在可以用file_get_contents替代file、fopen、feof、fgets等系列方法的情况下，尽量用file_get_contents，因为他的效率高得多！但是要注意file_get_contents在打开一个URL文件时候的PHP版本问题；(对这于这一点kimi不敢苟同，详细请查阅http://www.ccvita.com/index.php/163.html)2.尽量的少进行文件操作，虽然PHP的文件操作效率也不低的；3.优化Select SQL语句，在可能的情况下尽量少的进行Insert、Update操作(在update上，我被恶批过)；4.尽可能的使用PHP内部函数（但是我却为了找个PHP里面不存在的函数，浪费了本可以写出一个自定义函数的时间，经验问题啊！）；5.循环内部不要声明变量，尤其是大变量：对象(这好像不只是PHP里面要注意的问题吧？)；6.多维数组尽量不要循环嵌套赋值；7.在可以用PHP内部字符串操作函数的情况下，不要用正则表达式；8.foreach效率更高，尽量用foreach代替while和for循环；9.用单引号替代双引号引用字符串；10.“用i+=1代替i=i+1。符合c/c++的习惯，效率还高”；11.对global变量，应该用完就unset()掉

class FtpGet {    private $config;    private $retry = 15;    private $errors = array();        function __construct($config = array()) {        if (empty ( $config )) {            $this->config = array (                 ‘path_local’ => ‘/local/path’,                  ‘path_remote’ => ‘/remote/path’,                  ’server’ => ‘ftp.server.com’,            [...]

　　云理论是实现概念的定性值与数字的定量值之间自然转换的有力工具。
 
　　本文在云理论的基础上，提出了实现概念计算（也叫简化计算）的云计算方法。概述了云模型与不确定推理；给出了计算的逻辑描述，将计算过程抽象成 为推理过程；运用机器学习的方法，给出了计算云化的过程，并且采用不确定推理的方法，给出了云的计算过程；简单阐述了云化计算的系统实现。
 
　　随着网络的日益普及，“网络存储”这样的服务也日益深入人心，有了众多的使用者，网络服务业方面的开发商自然不会错过这个大市场。几天前，微软 推出了Windows Live SkyDrive，并已经在互联网上全面进行测试，虽然容量仅仅为500MB，但是毕竟是免费的，使用的人数量极为可观。而谷歌也不是等闲之 辈，SkyDrive刚刚登场就推出了自己的超大容量网络存储方案，不过收取的费用上还需要商榷。另外，苹果公司开发的.Mac平台也瞄准了“网络存储” 这块大蛋糕，随时准备加入这场 “战争”。
 
　　近日，arstechnica等国外各大网站发表了一篇名为《Google, Microsoft and Apple building online storage havens: you win》的文章，引起了全球范围内网友的热烈讨论，微软、谷歌、苹果的“粉丝”在各大论坛议论纷纷，强烈支持各自的“阵营”，一时间硝烟四起，网络存储三 强鼎立的局面已经日渐明显。
 
　　微软公司的SkyDrive走的是纯免费路线，不过不排除这只是微软公司的“鱼饵”，毕竟天上还是不会掉馅饼的。谷歌公司则直接与美元挂钩，要 想用我的服务，当然可以，而且非常欢迎，但是容量的大小是要用美元来衡量的。从2.8GB升级到2.8GB+6GB也许我们都还可以接受，但是500美元 直接买下 250GB的空间则有些奢侈了，而且仅局限于谷歌本身的服务拓展性也太小了。苹果公司的.Mac平台之前就已经有网络存储的服务了，不过现在容量却已经从 当时极不起眼的1GB升级到了10GB，同样是99美元的.Mac平台使用年费，加量不加价是感觉还是不错的。
 
　　竞争必然会引起降价和服务质量的提升，相信这也是我们普通用户希望看到的，而网络存储全面普及的时代也将来临，希望从“云计算”（Cloud computing）的“云存储”发展起来的网络存储能够带给我们更多的惊喜，正如目前的IM即时通讯软件那样百花齐放。

大家比较熟悉使用各种搜索引擎，但是，还有一种更主动和专门的搜索技术：网络爬虫。
1 爬虫技术研究综述
引言
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：
(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。
(2) 通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
(3) 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
为 了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关 的链接，获取所需要的信息。与通用爬虫(generalpurpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。
1 聚焦爬虫工作原理及关键技术概述
网 络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，如图1(a)流程图所示。聚焦爬虫的工作流程较为复 杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步 要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，如图1(b)所示。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过 滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。
2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1） 预先给定的初始抓取种子样本；
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3） 通过用户行为确定的抓取目标样例，分为：
a) 用户浏览过程中显示标注的抓取样本；
b) 通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。
基 于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容 特征，也可以是网页的链接结构特征，等等。
作者： [...]

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获 得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根 据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网 页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查 询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。
2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1） 预先给定的初始抓取种子样本；
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3） 通过用户行为确定的抓取目标样例，分为：

用户浏览过程中显示标注的抓取样本；
通过用户日志挖掘得到访问模式及相关样本。

其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。
基 于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容 特征，也可以是网页的链接结构特征，等等。
基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。
3 网页搜索策略
网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
3.1 广度优先搜索策略
广 度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广 度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外 一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量 的无关网页将被下载并过滤，算法的效率将变低。
3.2 最佳优先搜索策略
最佳优先搜索策略按照一定的网页分 析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网 页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改 进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。
4 网页分析算法
网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。
4.1 基于网络拓扑的分析算法
基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
4.1.1 网页(Webpage)粒度的分析算法
PageRank 和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户 访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个 关键的概念：权威型网页（authority）和中心型网页（hub）。
基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很 多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分 层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外 层网页指向内层网页的链接称为反向链接。
4.1.2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更 简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是 需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨 论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同 时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的 SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
4.1.3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些 链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区 分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Blocklevel)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网 页分为不同的网页块(page block)，然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。于是，在 pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为 Wb=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。
4.2 基于网页内容的网页分析算法
基 于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为 Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly [...]

Crawler和Searcher两部分尽量分开的目的主要是为了使两部分可以分布式配置在硬件平台上，例如将Crawler和Searcher分别放在两个主机上，这样可以提升性能。
爬虫，Crawler：
Crawler的重点在两个方面，Crawler的工作流程和涉及的数据文件的格式和含义。数据文件主要包括三类，分别是 web database，一系列的segment加上index，三者的物理文件分别存储在爬行结果目录下的db目录下webdb子文件夹内， segments文件夹和index文件夹。那么三者分别存储的信息是什么呢？
Web database，也叫WebDB，其中存储的是爬虫所抓取网页之间的链接结构信息，它只在爬虫Crawler工作中使用而和 Searcher的工作没有任何关系。WebDB内存储了两种实体的信息：page和link。Page实体通过描述网络上一个网页的特征信息来表征一个 实际的网页，因为网页有很多个需要描述，WebDB中通过网页的URL和网页内容的MD5两种索引方法对这些网页实体进行了索引。Page实体描述的网页 特征主要包括网页内的link数目，抓取此网页的时间等相关抓取信息，对此网页的重要度评分等。同样的，Link实体描述的是两个page实体之间的链接 关系。WebDB构成了一个所抓取网页的链接结构图，这个图中Page实体是图的结点，而Link实体则代表图的边。
一次爬行会产生很多个segment，每个segment内存储的是爬虫Crawler在单独一次抓取循环中抓到的网页以及这些网页的索引。 Crawler爬行时会根据WebDB中的link关系按照一定的爬行策略生成每次抓取循环所需的fetchlist，然后Fetcher通过 fetchlist中的URLs抓取这些网页并索引，然后将其存入segment。Segment是有时限的，当这些网页被Crawler重新抓取后，先 前抓取产生的segment就作废了。在存储中。Segment文件夹是以产生时间命名的，方便我们删除作废的segments以节省存储空间。
Index是Crawler抓取的所有网页的索引，它是通过对所有单个segment中的索引进行合并处理所得的。Nutch利用Lucene 技术进行索引，所以Lucene中对索引进行操作的接口对Nutch中的index同样有效。但是需要注意的是，Lucene中的segment和 Nutch中的不同，Lucene中的segment是索引index的一部分，但是Nutch中的segment只是WebDB中各个部分网页的内容和 索引，最后通过其生成的index跟这些segment已经毫无关系了。
Crawler工作流程：
在分析了Crawler工作中设计的文件之后，接下来我们研究一下Crawler的抓取流程以及这些文件在抓取中扮演的角色。Crawler的 工作原理主要是：首先Crawler根据WebDB生成一个待抓取网页的URL集合叫做Fetchlist，接着下载线程Fetcher开始根据 Fetchlist将网页抓取回来，如果下载线程有很多个，那么就生成很多个Fetchlist，也就是一个Fetcher对应一个Fetchlist。 然后Crawler根据抓取回来的网页WebDB进行更新，根据更新后的WebDB生成新的Fetchlist，里面是未抓取的或者新发现的URLs，然 后下一轮抓取循环重新开始。这个循环过程可以叫做“产生/抓取/更新”循环。
指向同一个主机上Web资源的URLs通常被分配到同一个Fetchlist中，这样的话防止过多的Fetchers对一个主机同时进行抓取造 成主机负担过重。另外Nutch遵守Robots Exclusion Protocol，网站可以通过自定义Robots.txt控制Crawler的 抓取。
在Nutch中，Crawler操作的实现是通过一系列子操作的实现来完成的。这些子操作Nutch都提供了子命令行可以单独进行调用。下面就是这些子操作的功能描述以及命令行，命令行在括号中。
1.       创建一个新的WebDb (admin db -create).
2.       将抓取起始URLs写入WebDB中 (inject).
3.       根据WebDB生成fetchlist并写入相应的segment(generate).
4.       根据fetchlist中的URL抓取网页 (fetch).
5.       根据抓取网页更新WebDb (updatedb).
6.       循环进行3－5步直至预先设定的抓取深度。
7.       根据WebDB得到的网页评分和links更新segments (updatesegs).
8.       对所抓取的网页进行索引(index).
9.       在索引中丢弃有重复内容的网页和重复的URLs (dedup).
10.   将segments中的索引进行合并生成用于检索的最终index(merge).
Crawler详细工作流程是：在创建一个WebDB之后(步骤1), “产生/抓取/更新”循环(步骤3－6)根据一些种子URLs开始启 动。当这个循环彻底结束，Crawler根据抓取中生成的segments创建索引（步骤7－10）。在进行重复URLs清除（步骤9）之前，每个 segment的索引都是独立的（步骤8）。最终，各个独立的segment索引被合并为一个最终的索引index（步骤10）。
其中有一个细节问题，Dedup操作主要用于清除segment索引中的重复URLs，但是我们知道，在WebDB中是不允许重复的URL存在 的，那么为什么这里还要进行清除呢？原因在于抓取的更新。比方说一个月之前你抓取过这些网页，一个月后为了更新进行了重新抓取，那么旧的segment在 没有删除之前仍然起作用，这个时候就需要在新旧segment之间进行除重。
另外这些子操作在第一次进行Crawler运行时可能并不用到，它们主要用于接下来的索引更新，增量搜索等操作的实现。这些在以后的文章中我再详细讲。
个性化设置：
Nutch中的所有配置文件都放置在总目录下的conf子文件夹中，最基本的配置文件是conf/nutch-default.xml。这个文 件中定义了Nutch的所有必要设置以及一些默认值，它是不可以被修改的。如果你想进行个性化设置，你需要在conf/nutch-site.xml进行 设置，它会对默认设置进行屏蔽。
Nutch考虑了其可扩展性，你可以自定义插件plugins来定制自己的服务，一些plugins存放于plugins子文件夹。Nutch 的网页解析与索引功能是通过插件形式进行实现的，例如，对HTML文件的解析与索引是通过HTML document parsing plugin,  parse-html实现的。所以你完全可以自定义各种解析插件然后对配置文件进行修改，然后你就可以抓取并索引各种类型的文件了。

介绍网上银行支付原理

WordPress系统本身，默认安装的情况下使用默认模板，实际上对搜索引擎并不友好，并没有针对搜索引擎进行很好的设计，下面我介绍一些技巧和方法可以使得WordPress能否对搜索引擎更为友好。
1、文章URL链接结构的优化
Permalink里面要包含postname.一般的服务器都支持mod_rewrite功能，使用这个功能可以优化Permalink（永 久链接），在Option-Permalink里的Common options里进行设置，我比较倾向于使用/%year%/%monthnum%/%postname%.html这种链接结构，一来链接目录只有两 级，利于索引，二来这种链接结构和Blogspot和Movable Type的链接结构一致，比较利于系统平滑迁移或切换。postname使用英文，如果是写英文Blog的话，系统会自动将标题的post slug做为postname.
2、文章Post Slug的优化
文章标题中最好包含文章最关键的关键字，不要使用一些没有意义的标题，对于英文Blog来讲，最好启用一个名叫SEO Slugs的插件，该插件能够自动将post slug中的the、in等“没用”的单词删除，有利于SEO.
3、文章Title的优化
WordPress默认的Title是“博客名-文章名”，这对SEO很不好，我觉得应该使用“文章名-博客名”的形式，建议安装一个名叫 All in One SEO Pack的插件，可以自动将Title进行优化，并增加Descriptions和Keywords的Meta.
4、robots.txt的优化
在博客根目录下放置一个robots.txt的文件，可以指定搜索引擎只收录指定的内容。 对于WordPress来说，有一些地址是不应该被搜索引擎索引的，比如后台程序、日志文件、FEED地址等，一个针对WordPress的robots.txt的例子如下：
User-agent： * Disallow： /wp- Disallow： /feed/ Disallow： /comments/feed Disallow： /trackback/
5、Sitemap的优化
对于Google搜索引擎来讲，使用Sitemap可以让搜索引擎更为有效的进行索引，安装一个名叫Sitemap Generator的插件可以自动完成Google Sitemap的生成，然后将这个地址提交到Google Webmaster即可。
6、防止垃圾留言评论
垃圾留言评论会影响Blog在搜索引擎中的表现，因此需要安装一个自动过滤垃圾留言评论的的插件，推荐使用Akismet.
7、相关文章
通过tag的标记来实现相关文章，不过我建议使用WordPress 2.3里面的tag系统来实现，那样效率会更高一些。
8、搜索引擎来源的优化
安装一个名叫Landing sites的插件，可以让那些从搜索引擎搜索过来的用户体验更好，通过这个插件能够选择显示给用户搜索关键字相关的文章。
9、不要轻易做变动
不要总是草率的变动自己的域名、博客名、链接结构、链接地址等，早期应该做全局的规划，中途进行大的变动是非常不明智的。

10、更新你的博客
记着经常更新，并且写出高质量的内容，这才是SEO中最关键的地方，写出高质量的文章，将会更容易实现SEO的目标。

作者:李功健
来源:JavaWorld
摘要:
像JBoss、Tomcat和Apache Geronimo这样的开源JavaEE应用服务器轻松地立足于同类商业产品之中，并且真正地在技术革新中处于市场领先地位。但是这些开源JavaEE应用服务器并不完全等同。在这篇文章中作者将从特性、部署和性能方面对JBoss 4.2，Geronimo 2和Tomcat6三种服务器进行了比较。

    当搜索引擎访问一个网站时，它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。Robots.txt文件用于限定搜索引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。下面我们简称RES。 Robots.txt文件的格式：Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成： 　　 1) 一个User-Agent(用户代理)字符串行； 　　 2) 若干Disallow字符串行。 　　 记录格式为：<Field> “:” <value> 　　 下面我们分别对这两个域做进一步说明。 User-agent(用户代理)： 　　 User-agent行(用户代理行) 用于指定搜索引擎robot的名字，以Google的检索程序Googlebot为例，有：User-agent: Googlebot 　　 一个robots.txt中至少要有一条User-agent记录。如果有多条User-agent记录，则说明有多个robot会受到RES标准的限制。当然了，如果要指定所有的robot，只需用一个通配符”*”就搞定了，即：User-agent: * Disallow(拒绝访问声明)： 　
　在Robots.txt文件中，每条记录的第二个域是Disallow:指令行。这些Disallow行声明了该网站中不希望被访问的文件和(或)目
录。例如”Disallow:
email.htm”对文件的访问进行了声明，禁止Spiders下载网站上的email.htm文件。而”Disallow:
/cgi-bin/”则对cgi-bin目录的访问进行了声明，拒绝Spiders进入该目录及其子目录。Disallow声明行还具有通配符功能。例如
上例中”Disallow:
/cgi-bin/”声明了拒绝搜索引擎对cgi-bin目录及其子目录的访问，而”Disallow:/bob”则拒绝搜索引擎对/bob.html和
/bob/indes.html的访问(即无论是名为bob的文件还是名为bob的目录下的文件都不允许搜索引擎访问)。Disallow记录如果留空，
则说明该网站的所有部分都向搜索引擎开放。 空格 & 注释 　　 在robots.txt文件中，凡以”#”开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。但大家需要注意两个问题： 　
　 1)
RES标准允许将注解内容放在指示行的末尾，但这种格式并不是所有的Spiders都能够支持。譬如，并不是所有的Spiders都能够正确理解
“Disallow: bob
#comment”这样一条指令。有的Spiders就会误解为Disallow的是”bob#comment”。最好的办法是使注解自成一行。 　　 2) RES标准允许在一个指令行的开头存在空格，象”Disallow: bob #comment”，但我们也并不建议大家这么做。 Robots.txt文件的创建： 　
　需要注意的是，应当在UNIX命令行终端模式下创建Robots.txt纯文本文件。好的文本编辑器一般都能够提供UNIX模式功能，或者你的FTP客
户端软件也“应该”能够替你转换过来。如果你试图用一个没有提供文本编辑模式的HTML编辑器来生成你的robots.txt纯文本文件，那你可就是瞎子
打蚊子——白费力气了。 对RES标准的扩展： 　　 尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。 附录I. Robots.txt用法举例： 　　 使用通配符”*”，可设置对所有robot的访问权限。 　　 User-agent: * 　　 Disallow: 　　 [...]