搜狐网站
搜狐 ChinaRen 17173 焦点房地产 搜狗
搜狐IT-搜狐网站
IT频道 > IT业界 > 国内IT

探秘龙芯盒子在搜索服务器领域的应用

  导 读

  近日,某网站使用龙芯CPU (2E) 作为搜索引擎服务器稳定运行的消息引起了读者广泛的关注,但随之而来的也有一些误解与质疑的声音。该网站负责人于今日对其网站的服务器架构以及龙芯搜索服务器在其中的角色给出了详细的说明。

下面,就让我们一起去探寻龙芯盒子在“服务器”领域的应用到底是如何实现的。

  近日,某网站使用龙芯CPU (2E) 作为搜索引擎服务器稳定运行的消息引起了读者广泛的关注,但随之而来的也有一些误解与质疑的声音。该网站负责人于今日对其网站的服务器架构以及龙芯搜索服务器在其中的角色给出了详细的说明。下面,就让我们一起去探寻龙芯盒子在“服务器”领域的应用到底是如何实现的。

  据介绍,该网站是一个租房信息的垂直搜索引擎。其实不管是垂直搜索引擎,还是通用的搜索引擎,技术原理基本都是类似的,请看下面的原理图:

  搜索引擎系统简化后一般情况下由4部分组成:Spider(或Crawler,即蜘蛛程序)、数据处理系统、数据库和文件处理系统、Web服务器。

  (1)Spider(或Crawler,即蜘蛛程序):就是抓取整个互联网上的所有信息

  (2)数据处理系统:对抓取的信息进行处理,提取有用信息同时建立索引

  (3)数据库和文件处理系统:处理后的信息保存到数据库和分布式文件系统中

  (4)Web服务器:提供用户访问的接口

  这4个部分中只有Web服务器是用户可以访问的,其他的3个系统都在后台运行,用户无法访问。这4个部分中Spider和数据处理的负荷最重,一般是使用很多台计算机分布处理的方式(一台计算机也会使用多线程/进程技术来提高处理效率)。例如Google的50万台服务器,只有非常少的服务器用作Web服务器,绝大多数服务器都是用于Spider、数据处理、文件和数据库系统。我们说的“搜索引擎服务器”指的是Spider及其数据处理系统。

  这家租房网站的系统也一样,整个系统中只有Web服务器是用户可以访问的,也就是用户输入网址后访问到的计算机,这个计算机是Web服务器,不是搜索引擎服务器。为了让大家有一个更清楚的认识,下面给一个整个系统的计算机分布图:

  从图2我们可以看出,上半部分有3台服务器放在网通机房,全部为基于Intel的Windows服务器,这也就解释了为什么有的网友访问网站发现是Windows操作系统的原因;下半部分有6台搜索引擎服务器,分布在6个不同的地点,使用ADSL接入,这些搜索引擎服务器全部采用Linux操作系统,最初全部采用Intel CPU,后来节点2和节点6换成了龙芯的CPU。

  有的网友可能有疑问,为什么你不把所有的计算机都放在网通机房?这里主要是出于成本的考虑,在网通机房放一台服务器,一年需要大约1万元,而放在ADSL接入的节点,费用可以大大降低,同时通过多台计算机的分布式备份,也保证了整体的可靠性。

  这里需要解释一下,搜索引擎服务器并不要求很高的CPU运行速度,搜索引擎服务器的瓶颈在于从第三方网站获取页面的速度,而不是自身处理的速度。所以搜索引擎服务器主要要求有一个好的网络性能,一般采用普通PC机即可。例如:Google就是采用收购的废弃二手电脑作为他们的服务器。这家租房网站则是采用普通龙芯盒子(2E)作为节点2和节点6的搜索引擎服务器的。

  这6个搜索引擎服务器出于成本考虑,分别放在6个工程师的家里,每个地点的条件都很简陋,请看下面的这个照片。

  这里可没有什么定制的机架,龙芯服务器就和ADSL MODEM以及路由器胡乱放在一个鞋架下面,运行了半年多。由于是基于Linux操作系统,所有的维护都可以远程完成。

  有的网友可能有疑问,为什么你把Intel服务器换成更慢的龙芯服务器?我们开始采用的确实全部是Intel PC机,后来有两个工程师抱怨说家里放一个PC机24小时开机,晚上噪音很大,影响休息。当时碰巧在同学那里看到非常安静的龙芯计算机,就抱着试试看的心情买了一台,没想到程序移植非常顺利,一个上午程序就顺利的跑起来了,后来就把这两个工程师家里的PC机全部用龙芯计算机替换了。除了噪音的问题,龙芯计算机的体积也小的多,也很省电,这些因素都是在家里放一个24小时运行的计算机需要考虑的因素。

  需要说明的是,龙芯CPU的运行速度确实离Intel CPU还有不小的差距,所以我们仅仅把龙芯CPU用在了搜索引擎服务器,而没有用于数据库系统和Web服务器。不同的应用有不同的需求,除了速度的因素外,价格、噪音、体积、功率这些都是我们作为用户需要考虑的因素。在一些特定的领域和场合,龙芯确实已经满足了我们的要求。

(责任编辑:romp)

我要发布

用户:  匿名  隐藏地址  设为辩论话题

*搜狗拼音输入法,中文处理专家>>

新闻 网页 博客 音乐 图片 说吧  
央视质疑29岁市长 邓玉娇失踪 朝鲜军事演习 日本兵赎罪
石首网站被黑 篡改温总讲话 夏日减肥秘方 日本瘦脸法
宋美龄牛奶洗澡 中共卧底结局 慈禧不快乐 侵略中国报告



说 吧更多>>

说 吧 排 行

茶 余 饭 后更多>>