13518219792
根据您的个性需求进行定制 先人一步 抢占小程序红利时代
负载均衡是指，将请求/数据分摊到多个操作单元上执行，关键在于均衡。
成都创新互联公司专业为企业提供鲤城网站建设、鲤城做网站、鲤城网站设计、鲤城网站制作等企业网站建设、网页设计与制作、鲤城企业网站模板建站服务，10多年鲤城做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。
然而，后端的服务器有可能硬件条件不同：
能否根据异构服务器的处理能力来动态、自适应进行负载均衡，以及过载保护呢?
负载均衡通常是怎么做的?
service层的负载均衡，一般是通过service连接池来实现的，调用方连接池会建立与下游服务多个连接，每次请求“随机”获取连接，来保证访问的均衡性。
负载均衡、故障转移、超时处理等细节也都是通过调用方连接池来实现的。
调用方连接池能否，根据service的处理能力，动态+自适应的进行负载调度呢?
(1) 方案一：可以通过“静态权重”标识service的处理能力。
最容易想到的方法，可以为每个下游service设置一个“权重”，代表service的处理能力，来调整访问到每个service的概率，如上图所示：
Nginx就具备类似的能力。
(2) 方案二：通过“动态权重”标识service的处理能力。
如何来标识一个service的处理能力呢?
服务能不能处理得过来，该由调用方说了算：
如何来设计动态权重?
可以这么玩：
画外音：
权重下降，会比权重上升更快。
为了方便权重的处理，可以把权重的范围限定为[0, 100]，把权重的初始值设为60分。
举例说明：
假设service-ip1，service-ip2，service-ip3的动态权重初始值：
刚开始时，请求分配给这3台service的概率分别是60/180，60/180，60/180，即负载是均衡的。
随着时间的推移：
随着动态权重的增减，权重会发生变化：
那么此时，请求分配给这3台service的概率分别是100/200，60/200，40/200，即处理能力强的service会被分配到更多的流量。
那什么是过载保护?
如上图所示，如果没有过载保护：
画外音：这就是所谓的“掉底”。
过载保护，是指当外部负载超过系统处理能力时，系统会进行自我保护，依然能对外提供有损的稳定服务。
如上图所示，如果进行了过载保护：
画外音：外部负载***大，系统也不会“掉底”。
那如何进行过载保护?
(1) 方案一：可以通过“静态权重”标识service的处理能力。
这是最简易的方式，服务端设定一个负载阈值，超过这个阈值的请求压过来，全部抛弃。
画外音：这个方式不是特别优雅。
(2) 方案二：借助“动态权重”来实施过载保护。
如同异构服务器负载均衡，仍然通过：
这种动态权重，来标识后端的处理能力。
画外音：仍然是在连接池层面实现的。
当一个服务端屡次处理超时，权重不断降低时，连接池只要实施一些策略，就能够对“疑似过载”的服务器进行降压，而不用服务器“抛弃请求”这么粗暴的实施过载保护。
应该实施什么样的策略，来对“疑似过载”的服务器进行降压保护呢?
可以这么玩：
(1) 如果某一个服务器，连续3个请求都超时，即连续-10分三次，就可以认为，服务器处理不过来了，得给这个服务器喘一小口气，于是设定策略：接下来的若干时间内，例如1秒，负载不再分配给这个服务器;
画外音：休息1秒后，再分给它。
(2) 如果某一个service的动态权重，降为了0(休息了3次还超时)，就可以认为，服务器完全处理不过来了，得给这个服务器喘一大口气，于是设定策略：接下来的若干时间内，例如1分钟，请求不再分配给这个服务器;
画外音：根据经验，此时服务器一般在fullGC，差不多1分钟能回过神来。
这样的话，不但能借助“动态权重”来实施动态自适应的异构服务器负载均衡，还能在客户端层面更优雅的实施过载保护，在某个下游服务器快要响应不过来的时候，给其喘息的机会。
过载保护要注意什么问题?
要防止过载保护引起服务器的雪崩，如果“整体负载”已经超过了“服务器集群”的处理能力，怎么转移请求也是处理不过来的。这时，还是得通过抛弃请求来实施自我保护。
总结
【本文为专栏作者“58沈剑”原创稿件，转载请联系原作者】
