过载保护
过载保护
2012-06-26 13:04 by zhenjing, 115 阅读, 1 评论, 收藏 , 编辑
缘起
某个线上系统平时非常稳定，当大量更新数据时，系统的服务就会严重超时。问题存在了一段时间，基本猜测系统超时和大量写入数据有关，但却无法给出确切的解释。为此已经写了2篇文章：
linux性能监控
linux的IO调度算法和回写机制
问题的解释很简单：系统过载。由于系统定期更新大量数据，更新期间磁盘读IO性能很差，导致每个服务的时延极大增加，整个系统的吞吐量大幅降低。该系统没有采用合理的过载保护策略，导致后续的包全部超时！！！
什么情况会导致系统过载？ 系统处理能力 < 请求量 = 系统过载 。设计系统时都需要系统的处理能力，比如每秒的处理能力、请求峰值、平均处理时延等。这3个指标可很好地估计系统最大处理能力、需要多少机器提供服务、是否需要扩容等。但评估容易只关注 请求量峰值，而忽略系统处理能力的变化。从公式上看，系统处理能力降低同样会造成过载。
过载成因基本就2种：超过硬件系统极限能力、超出软件系统的极限能力。超出硬件能力比较少见，重点关注软件系统：操作系统和应用软件。操作系统负责统一调配和管理硬件资源，应用系统通过系统调用使用机器的硬件资源，当对资源的使用超过操作系统所能承受的上限，将导致整体处理能力急剧下降。应用系统一般包括下列四种类型的瓶颈，某些应用系统可能同时包含2个及2个以上的瓶颈因素：
CPU（计算密集型）
MEMORY（内存消耗型）
LOAD（大并发型）
IO（包括两类，磁盘IO密集型如DISK、DB；网络IO密集型：流量、连接数等）
系统瓶颈理论上是系统中最慢的系统资源，比如上述诸多资源中的一种，在突破瓶颈阀值时系统出现拐点，性能会急剧下降（底层原因比如进程调度频繁、网络拥塞、随机磁盘IO导致文件系统cache命中率下降及磁盘物理IO频繁---机械臂移动、SWAP换入换出频繁等等），因此识别系统各环节处理能力及其瓶颈至关重要。
问题的解决解决该问题大概有以下几种思路：
1）分散写；
2）写时不提供服务；
3）过载保护：丢弃超时的请求。
一种简单的过载保护
linux的网络包带有时间戳，可通过ioctl获取网络包的时间戳。该时间戳表示网络包 接收时的时间戳(本机)。因此比较当前时间和网络包的时间戳即可判断请求是否超时，若超时，直接丢弃。这个办法可快速清空超时的请求，避免由于处理超时请求，导致后续的请求无法被正常响应。
示例代码：
int GetPkgTime( int sockfd, struct timeval * pkgTv)
{
struct timeval tv;
int iRet;
iRet = ioctl(sockfd, SIOCGSTAMP, & tv);
if (iRet < 0 )
{
return - 1 ;
}
*pkgTv = tv;
return 0 ;
}
int IsPkgTimeout( int sockfd, int ms )
{
struct timeval tv;
if ( GetPkgTime( sockfd, &tv) != 0 ){
return - 1 ;
}
long pastTime = PostTime(& tv);
if ( pastTime >= ms * 1000 ){
return 1 ;
}
return 0 ;
}
相关文章
如何定位系统性能瓶颈和调优，参考： 性能调优攻略
更多的过载保护，参考： 浅谈过载保护
作者： zhenjing.chen
出处： http://www.cnblogs.com/zhenjing/
未注明转载的文章，版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
分类: Linux/Unix , 网络与Web开发
标签: 海量服务 , 过载保护 , ioctl
作者： Leo_wl
出处： http://www.cnblogs.com/Leo_wl/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
版权信息