分布式系统

分布式系统的定义

　　当讨论分布式系统时，我们面临许多以下这些形容词所描述的 同类型： 分布式的、删络的、并行的、并发的和分散的。分布式处理是一个相对较新的领域，所以还没有‘致的定义。与顺序计算相比、并行的、并发的和分布式的计算包括多个PE问的集体协同动作。这些术语在范围一卜相互覆盖，有时也交换使用。

　　*“并行的”意味着从一个单一控制线程对数据集的锁步(1ockst ep)动作。

　　在并行计算机级别上， 指令流多数据流(SIMD)计算机就是一个使用多个数据处理单元在许多数据项上同时进行相同或相似操作的例子。

　　*“并发的”意味着某些动作可以以任意次序执行。例如，在史岛级别，卜和在多指令流多数据流(MIMD)并行计算机上进行部分独立的操作。

　　*“分布式的”意味着计算的成本或性能取决于数据和控制的通信。

　　如果 个系统的部件局限在一个地方，它就是集中式的：如果它的部件在不同地l20方，部件之间要么不存在或仅存在有限的合作，要么存在紧密的合作，它是分散式的。

　　当一个分散式系统不存在或仅存在有限的合作时，它就被称作网络的；否则它就被称作分布式的，表示在不同地方的部件之间存在紧密的合作。在给出分布式系统具体定义的模型中，分布式系统可以用硬件、控制、数据这三个维度加以检验。

　　分布式系统=分布式硬件+分布式控制+分布式数据

　　分布式系统有很多不同的定义，但其中没有一个是令人满意或者能够被所有人接受的。介绍分布式系统，对它的特点的下列大致的描述足够了：

　　“一个分布式系统是一些独立的计算机的集合，但是对这个系统的用户来说，系统就象一台计算机一样。”

　　这个定义有两个方面的含义：第一，从硬件角度来讲，各个计算机都是自治的；第二，从软件角度来讲，用户将整个系统看作是一台计算机。这两者都是必需的，缺一不可。在简要介绍有关硬件、软件的一些背景材料之后，我们将再回到这两点上来进行讨论。

　　由于给出分布式系统的一些实例可能要比进一步的深入研究定义更有帮助，下面就给出一些分布式系统的例子。第一个例子，设想一个大学或公司部门内的工作站网络。除了每个用户的个人工作站外，机房中可能还有一个共享的处理机池(pool of processor)，这些处理机并没有分配给特定的用户，而是在需要的时候进行动态分配。这样的系统可能会有一个单一的文件系统，其中所有的文件可以从所有的计算机上以相同的方式并且使用相同的路径名存取。另外，当一个用户输入一条命令时，系统能够找到一个最好的地方执行该命令。这可能是在用户自己的工作站上，可能是在别人空闲的工作站上，也可能在机房里一个未分配的处理机上。如果这个从系统整体上看以及运行起来看都像一个典型的单处理机分时系统，那么就可以称它为一个分布式系统。

　　第二个例子，考虑一个到处是机器人的工厂。每个机器人都有一台功能强大的计算机用于处理视觉、进行计划、通信以及其它任务。当装配线上的某个机器人发现一个它要安装的零件有缺陷时，它就要求该零件供应部门的另一个机器人给它送一个替代品。如果所有的机器人都如同连接于同一中心计算机上的外设一样工作，而且系统的程序也是以这种方式进行编制的话，那么它也是一种分布式系统。

　　最后一个例子是一个在世界各地有数百个分支机构的大银行。每个分支机构有一台主计算机存储当地帐目和处理本地事务。此外，每台计算机还能通过串口服务器与其他分支机构的计算机及总部的计算机对话。如果交易不管顾客和帐目在哪里都能够进行，而且用户也不会感到当前这个系统与被替代的老的集中式主机有何不同，那么这个系统也被认为是一个分布式系统。

分布式系统的优势

　　分布式系统与集中式系统相比较而言的优点

　　系统倾向于分布式发展潮流的真正驱动力是经济。25年前，计算机权威和评论家Herb Grosch指出CPU的计算能力与它的价格的平方成正比，后来成为Grosch定理。也就是说如果你付出两倍的价钱，就能获得四倍的性能。这一论断与当时的大型机技术非常吻合，因而使得许多机构都尽其所能购买最大的单个大型机。

　　随着微处理机技术的发展，Grosch定理不再适用了。现在人们只需花几百美元就能买到一个CPU芯片，这个芯片每秒钟执行的指令比80年代最大的大型机的处理机每秒钟所执行的指令还多。如果你愿意付出两倍的价钱，将得到同样的CPU，但它却以更高的时钟速率运行。因此，最节约成本的办法通常是在一个系统中使用集中在一起的大量的廉价CPU。所以，倾向于分布式系统的主要原因是它可以潜在地得到比单个的大型集中式系统好得多的性能价格比。实际上，分布式系统是通过较低廉的价格来实现相似的性能的。

　　与这一观点稍有不同的是，我们发现微处理机的集合不仅能产生比单个大型主机更好的性能价格比，而且还能产生单个大型主机无论如何都不能达到的绝对性能。例如，按目前的技术，我们能够用10,000个现代CPU芯片组成一个系统，每个CPU芯片以50 MIPS（每秒百万指令）的速率运行，那么整个系统的性能就是500,000 MIPS。而如果单个处理机（即CPU）要达到这一性能，就必需在2×10-12 秒（2 微微秒，0.002纳秒）的时间内执行一条指令，然而没有一个现存的计算机能接近这个速度，从理论上和工程上考虑都认为能达到这一要求的计算机都是不可能存在的。理论上，爱因斯坦的相对论指出光的传播速度最快，它能在2 微微秒内传播0.6毫米。实际上，一个包含于边长为0.6 毫米大小的立方体内的具有上面所说的计算速度的计算机产生大量的热量就能将它自己立即熔掉。所以，无论是要以低价格获得普通的性能还是要以较高的价格获得极高的性能，分布式系统都能够满足。

　　另一方面，一些作者对分布式系统和并行系统进行了区分。他们认为分布式系统是设计用来允许众多用户一起工作的，而并行系统的唯一目标就是以最快的速度完成一个任务，就像我们的速度为500,000 MIPS的计算机那样。我们认为，上述的区别是难以成立的，因为实际上这两个设计领域是统一的。我们更愿意在最广泛的意义上使用“分布式系统”一词来表示任何一个有多个互连的CPU协同工作的系统。

　　建立分布式系统的另一原因在于一些应用本身是分布式的。一个超级市场连锁店可能有许多分店，每个商店都需要采购当地生产的商品（可能来自本地的农场）、进行本地销售，或者要对本地的哪些蔬菜因时间太长或已经腐烂而必须扔掉作出决定。因此，每个商店的本地计算机能明了存货清单是有意义的，而不是集中于公司总部。毕竟，大多数查询和更新都是在本地进行的。然而，连锁超级市场的高层管理者也会不时地想要了解他们目前还有多少甘蓝。实现这一目标的一种途径就是将整个系统建设成对于应用程序来说就像一台计算机一样，但是在实现上它是分布的，像我们前面所描述的一个商店有一台机器。这就是一个商业分布式系统。

　　另一种固有的分布式系统是通常被称为计算机支持下的协同工作系统（CSCW，Computer Supported Cooperative Work）。在这个系统中，一组相互之间在物理上距离较远的人员可以一起进行工作，例如，写出同一份报告。就计算机工业的长期发展趋势来说，人们可以很容易的想像出一个全新领域--计算机支持的协同游戏（CSCG：Computer Supported Cooperative Games）。在这个游戏中，不在同一地方的游戏者可以实时的玩游戏。你可以想像，在一个多维迷宫中玩电子捉迷藏，甚至是一起玩一场电子空战，每个人操纵自己的本地飞行模拟器去试着击落别的游戏者，每个游戏者的屏幕上都显示出其飞机外的情况，包括其它飞入它的视野的飞机。

　　同集中式系统相比较，分布式系统的另一个潜在的优势在于它的高可靠性。通过把工作负载分散到众多的机器上，单个芯片故障最多只会使一台机器停机，而其它机器不会受任何影响。理想条件下，某一时刻如果有5%的计算机出现故障，系统将仍能继续工作，只不过损失5%的性能。对于关键性的应用，如核反应堆或飞机的控制系统，采用分布式系统来实现主要是考虑到它可以获得高可靠性。

　　最后，渐增式的增长方式也是分布式系统优于集中式系统的一个潜在的重要的原因。通常，一个公司会买一台大型主机来完成所有的工作。而当公司繁荣扩充、工作量就会增大，当其增大到某一程度时，这个主机就不能再胜任了。仅有的解决办法是要么用更大型的机器（如果有的话）代替现有的大型主机，要么再增加一台大型主机。这两种作法都会引起公司运转混乱。相比较之下，如果采用分布式系统，仅给系统增加一些处理机就可能解决这个问题，而且这也允许系统在需求增长的时候逐渐进行扩充。表1-1中总结了以上这些优点。

项目

描 述

经济

微处理机提供了比大型主机更好的性能价格比

速度

分布式系统总的计算能力比单个大型主机更强

固有的分布性

一些应用涉及到空间上分散的机器

可靠性

如果一个机器崩溃,整个系统还可以运转

渐增

计算能力可以逐渐有所增加

　　从长远的角度来看，主要的驱动力将是大量个人计算机的存在和人们共同工作与信息共享的需要，这种信息共享必需是以一种方便的形式进行的，而不受地理或人员、数据，机器的物理分布的影响。

　　分布式系统与独立PC机相比较的优点

　　既然使用微处理机是一种节省开支的办法，那么为什么不给每个人一台个人计算机，让他们各自独立地工作呢？一则，许多用户需要共享数据。例如，机票预订处的工作人员需要访问存储航班以及现有座位信息的主数据库。假如给每个工作人员都备份整个数据库，那么在实际中这是无法工作的，因为没有人知道其他工作人员已经卖出了哪些座位。共享的数据是上例和许多其它应用的基础，所以计算机间必须互连。而计算机互连就产生了分布式系统。

　　共享并不只是仅仅涉及数据。昂贵的外设，例如彩色激光打印机，照相排版机以及大型存储设备（如自动光盘点唱机）都是共享资源。

　　把一组孤立的计算机连成一个分布式系统的第三个原因是它可以增强人与人之间的沟通，电子邮件比信件、电话和传真有更多的诱人之处。它比信件快的多，不像电话需要两人同时都在，也不像传真，它所产生的文件可在计算机中进行编辑、重排和存储，也可以由文本处理程序来处理。

　　最后，分布式系统可能比给每个用户一个独立的计算机更灵活。尽管一种可能的模式是给每个人一台个人计算机并把它们通过LAN联在一起，但这种方式并不是唯一的。另外还存在一种模式是将个人计算机和共享计算机混合连接在一起（这些机器的型号可能并不完全相同），使工作能够在最合适的计算机上完成，而并不总是在自己的计算机上完成。这种方式可以使工作负荷能更有效地在计算机系统中进行分配。系统中某些计算机的失效也可以通过使其工作在其它计算机上进行而得到补偿。表1-2总结了以上所介绍的各点。

项目

描 述

数据共享

允许多个用户访问一个公共的数据库

设备共享

允许多个用户共享昂贵的外围设备(如彩色打印机)

通信

使得人们之间的通信更加容易,如通过电子邮件

灵活性

用最有效的方式将工作负荷分配到可用的机器上

分布式系统的缺点

　　尽管分布式系统有许多优点，但也有缺点。本节就将指出其中的一些缺点。我们前面已经提到了最棘手的问题：软件。就目前的最新技术发展水平，我们在设计、实现及使用分布式系统上都没有太多的经验。什么样的操作系统、程序设计语言和应用适合这一系统呢？用户对分布式系统中分布式处理又应该了解多少呢？系统应当做多少而用户又应当做多少呢？专家们的观点不一（这并不是因为专家们与众不同，而是因为对于分布式系统他们也很少涉及）。随着更多的研究的进行，这些问题将会逐渐减少。但是目前我们不应该低估这个问题。

　　第二个潜在的问题是通信网络。由于它会损失信息，所以就需要专门的软件进行恢复。同时，网络还会产生过载。当网络负载趋于饱和时，必须对它进行改造替换或加入另外一个网络扩容。在这两种情况下，一个或多个建筑中的某些部分必须花费很高的费用进行重新布线，或者更换网络接口板（例如用光纤）。一旦系统依赖于网络，那么网络的信息丢失或饱和将会抵消我们通过建立分布式系统所获得的大部分优势。

　　最后，上面我们作为优点来描述的数据易于共享性也是具有两面性的。如果人们能够很方便地存取整个系统中的数据，那么他们同样也能很方便地存取与他们无关的数据。换句话说，我们经常要考虑系统的安全性问题。通常，对必须绝对保密的数据，使用一个专用的、不与其它任何机器相连的孤立的个人计算机进行存储的方法更可取。而且这个计算机被保存在一个上锁的十分安全的房间中，与这台计算相配套的所有软盘都存放在这个房间中的一个保险箱中。分布式系统的缺点如表1-3所示。

项目

描 述

软件

目前为分布式系统开发的软件还很少

网络

网络可能饱和和引起其它的问题

安全

容易造成对保密数据的访问

　　表 1-3. 分布式系统的缺点

　　尽管存在这些潜在的问题，许多人还是认为分布式系统的优点多于缺点，并且普遍认为分布式系统在未来几年中会越来越重要。实际上，在几年之内许多机构会将他们的大多数计算机连接到大型分布式系统中，为用户提供更好、更廉价和更方便的服务。而在十年之后，中型或大型商业或其它机构中可能将不再存在一台孤立的计算机了。

分布式系统的应用

　　分布式系统被用在许多不同类型的应用中。以下我们列出了一些应用。对这些应用而言，使用分布式系统要比其他体系结构如处理机和共享存储器多处理机更优越：

　　并行和高性能应用

　　原则上，并行应用也可以在共享存储器多处理机上运行，但共享存储器系统不能很好地扩大规模以包括大量的处理机。HPCC(高性能计算和通信)应用一般需要一个可伸缩的设计，这种设计取决于分布式处理。

　　容错应用

　　因为每个P E是自治的，所以分布式系统更加可靠。一个单元或资源(软件或硬件)的故障不影响其他资源的正常功能。

　　固有的分布式应用

　　许多应用是固有分布式的。这些应用是突发模式(burstmode)而非批量模式(bulk mode)。这方面的实例有事务处理和Internet Javad,程序。

　　这些应用的性能取决于吞吐量(事务响应时阳J或每秒完成的事务数)而不是一般多处理机所用的执行时间。

　　对于一组用户而言， 分布式系统有一个特别的应用称为计算机支持的协同工作(computer supported Cooperati veworking，CSCW)或群件(groupware)， 支持用户协同工作。另一个应用是分布式会议， 即通过物理的分布式网络进行电子会议。同样，多媒体远程教学也是一个类似的应用。由于在不同的平台上如：Pc、工作站、局域网和广域网上可获得非常多样的应用，用户希望能超出他fliP c的限制以获得更广泛的特十牛、功能和性能。不同网络和环境(包括分布式系统环境)下的q 操作性变得越来越重要。为了达到互操作性，用户需要一个标准的分布式计算环境，在这个环境里，所有系统和资源都可用。

　　DCE (分布式计算环境)是OSF (开放系统基金会)开发的分布式计算技术的工业标准集。它提供保护和控制对数据访问的安全服务、容易寻找分布式资源的名字服务、以及高度可伸缩的模型用于组织极为分散的用户、服务和数据。D C E可在所有主要的计算平台上运行， 并设计成支持异型硬件和软件环境下的分布式应用。

　　DCE已经被包括TRANSVARL在内的一些r一商实现。TRANSVARL是最早的多厂商组(multi vendor team)的成员之一，它提出的建议已成为DC E体系结构的基础。在中可以找到利用DCE开发分布式应用的指南。具有标准接口和协议的系统也叫做开放系统。一些其它标准基于一个特别的模型，比如CORBA (公用对象请求代理程序体系结构)，它是由OMG (对象管理组)和多计算机厂商联盟开发的一个标准。CORBA使用面向对象模型实现分布式系统中的透明服务请求。工业界有自己的标准，比如微软的分布式构件对象模型(DCOM)和Sun Microsystem公司的Java Beans。

分布式系统的测试

　　在测试执行过程中，对测试结果的分析是一个需要进行深入思考的重点问题。分布式系统测试的重点在于对后端服务器集群的测试，而判定系统中是否存在Bug则是我们需要解决的重要问题。那么应该如何确定是否存在Bug呢？

　　对于测试结果的分析，我们通常观察下面几种情况。

　　观察前端应用的返回结果。这里需要分两种情况来考虑：第一，按照前端应用业务功能点及流程进行操作，观察返回结果是否符合业务方的需求预期；第二，操作后端的服务器（通常是重启、宕机、断网等操作），观察前端应用的返回结果是否符合系统的设计需求。

　　分析服务器日志。在功能测试过程中，当我们在启动服务器的时候，需要将日志级别定义为Debug级别（最低级别）。这样做的主要目的是为了能便于测试工程师来分析日志和定位问题。为了能更好地定位问题，常常需要在服务器程序代码中进行日志打桩，把程序中的一些重要数据通过日志的方式展现出来。通常情况下，我们需要对日志的格式进行约定，在日志行中增加一些关键字来进行分类，这将便于测试工程师进行日志分析，也有利于开展分布式系统的自动化测试。另外，值得注意的是，我们尽可能地将打桩代码放在Debug代码中，避免影响系统代码，引入新问题。

　　分析操作系统的一些重要信息。我们测试的分布式系统绝大多数是基于Linux操作系统开发的，在测试的过程中，除了详细分析程序日志以外，还需要对操作系统的一些重要数据信息进行分析，从而来诊断服务器程序是否存在异常。以Linux操作系统为例，我们常常会使用top命令、netstat命令及sar命令来查看操作系统的一些数据信息。例如，可以通过netstat命令检查服务器程序是否正确地监听了指定的端口等。

　　借助其他分析工具。例如，如何判断服务器程序是否产生了内存泄漏？通常需要借助于内存检测工具来进行分析。在Linux环境下，我们常用Valgrind来进行内存检测。这是一款非常好用、功能强大的分析工具，可以帮助测试或者开发工程师快速发现很多隐藏的程序Bug，尤其是在内存检测方面（同时它还具有很多其他优秀的功能，读者可以自己查看官网中的使用手册）。

　　分布式系统压力测试与性能测试

　　对于分布式系统而言，压力测试和性能测试非常重要。在进行压力测试和性能测试的时候，可能会碰到下面一些难点。

　　数据准备。如何准备海量的测试数据并保证模拟数据的真实性？以一个分布式的文件系统为例，预先存入100GB的数据还是存入100TB的数据、存入的文件是大小基本一致差别不大还是各不相同甚至差异很大（例如，从几十字节至几十兆字节不等），这些因素对于分布式系统的性能影响是有很大差异的。另外，如果需要预先存入100TB的数据，若按每秒写入100MB数据来计算，写入100TB数据需要100×1024×1024/100=1048576秒=291.27小时=12天。我们是否能忍受这么长时间的数据准备工作？为了解决这样的问题，我们需要对系统架构设计进行深入分析，设计好测试场景，并提前进行测试用例的设计，以尽早开始准备测试数据。

　　性能或压力测试工具。通常来说，分布式系统的测试需要开发一些测试工具来满足性能测试的需求。如果可以的话，建议这样的测试工具最好由测试工程师自己来实现，因为测试工程师更清楚自己的测试需求。当需要自己开发测试工具的时候，有两个关键问题需要重点关注：第一，一些关键数据的收集方式与计算将成为性能测试工具的关键，例如，TPS（每秒请求数）、Throughput（吞吐量）计算的准确性；第二，要保证性能测试工具的性能，如果工具本身的性能不好，将无法给予分布式系统足够强大的压力来进行测试。另外，当考虑到多并发（例如有10万客户端同时并发连接）时，如果性能测试工具在一台测试机器上只能运行50个或者更少的话，那么需要的测试机器数量也将会很庞大（例如2000台测试机），这个成本或许是许多公司不能承受的。因此，性能测试工具本身的性能必须要足够好才能满足需求、降低测试成本。

　　分布式系统自动化测试

　　自动化测试是测试行业发展的必然趋势，对于分布式系统测试而言也不例外。在实施分布式系统自动化测试的过程中，我们可能会碰到下面两个难点问题。

　　涉及平台多且硬件杂，测试流程控制困难。在实施自动化测试的过程中，测试脚本需要控制的操作系统和应用程序很多，而且存在跨平台的特性，同时还有可能需要控制一些网络设备。因此，选择一个优秀的自动化测试框架成为了非常重要的工作之一。以我们的实践经验来看，STAF是一个不错的选择，它的平台（Windows及Linux各版本）支持及开发语言的支持都很全面。

　　测试结果验证复杂。对于分布式系统的自动化测试来说，我们需要通过测试脚本来收集各种测试结果数据以验证测试结果的正确性。在实施自动化测试的过程中，我们可以将测试结果数据收集部分模块化，通过各子模块来检测各项数据是否正确。例如，我们会设计一个日志分析模块，主要负责从服务器应用程序的日志中收集相应数据进行对比验证（本文前面提到的在打桩日志中增加关键字部分就显得格外重要）。

　　随着互联网的发展，大型分布式系统也越来越多、越来越复杂、越来越重要。如何有效地保证大型分布式系统7×24小时全天候持续稳定地运行也就成为了一个重要课题。