目前很多网站都使用Squid作为前端缓存服务器并取得了很好的效果,成都全搜索也分别在网通和电信部署了专门的前端缓存服务器用于缓存图片,视频,静态页面,js等静态资源。
(全搜索系统架构逻辑示意图)
网站进行内容更新是常有的事情,当被缓存的资源更新时,前端Squid缓存服务器内容也必须要相应的更新,否则用户就可能会看到过期的数据。当没有程序支持时就需要每次登录到服务器上执行刷新操作,在服务器数量小的的时候这种方式还可行,如果服务器数量上了一定的规模,这就是一种非常笨重的处理方式,以下分别介绍通过编程方式实现刷新Squid的三种方法:
1. refresh_pattern用于配置Squid的刷新策略,当Squid没有配置ignonre-reload来忽略客户端no-cache和reload头的时候。
ignore-reload - ignores a client no-cache or reload header. Doing this VIOLATES the HTTP standard. Enabling this feature could make you liable for problems which it causes.(ignore-reload,忽略客户端no-cache或reload头,这是违反HTTP标准的做法,允许此特性可能导致相关问题.)
在这种情况下可以通过模拟客户端向服务器发送no-cache头(ctrl + f5就完成此功能)来实现刷新操作。发送的请求头如下:
(httpwatch关于no-cache请求头的截图)
<?php
/**
* 刷新Squid缓存
*
*/
interface Flush_Cache
{
/**
* 执行刷新操作
*
* @param void $url 待刷新的URL地址
*/
public function flush($url);
}
/**
* 通过发送HTTP Header头实现刷新功能
*
*/
class Flush_Cache_HTTP_Header_Impl implements Flush_Cache
{
/**
* @see Flush_Cache::flush()
*
* @param void $url
*/
public function flush($url)
{
if(empty($url))
{
return;
}
$url_component = parse_url($url);
global $g_squid_servers;
foreach ($g_squid_servers as $server)
{
$squid_params = split(':' , $server);
$fsocket = fsockopen($squid_params[0], intval($squid_params[1]), $errono, $errstr, 3);
if(FALSE != $fsocket)
{
$head = "HEAD {$url_component['path']} HTTP/1.1\r\n";
$head .= "Accept: */*\r\n";
$head .= "Host: {$url_component['host']}\r\n";
$head .= "Cache-Control: no-cache\r\n";
$head .= "\r\n";
echo $head;
fwrite($fsocket , $head);
while (!feof($fsocket))
{
$line = fread($fsocket , 4096);
echo $line;
}
fclose($fsocket);
}
}
}
}
$g_squid_servers = array('192.168.2.88:80');
$flush_cache = new Flush_Cache_HTTP_Header_Impl();
$flush_cache->flush('http://ent.cdqss.com/index.html');
?>
2. 通过PURGE头刷新缓存,这需要Suqid配置ACL以允许PURGE请求头,实例如下:
acl AdminBoxes src 127.0.0.1 172.16.0.1 192.168.0.1
acl Purge method PURGE
http_access allow AdminBoxes Purge
http_access deny Purge
打开配置之后可以使用如下的请求头来完成删除操作
PURGE http://www.lrrr.org/junk HTTP/1.0
Accept: */*
上个例子代码中,把HEAD修改为PURGE即可,如下:
$head = "PURGE {$url_component['path']} HTTP/1.1\r\n";
$head .= "Accept: */*\r\n";
$head .= "Host: {$url_component['host']}\r\n";
$head .= "Cache-Control: no-cache\r\n";
$head .= "\r\n";
3. 通过使用多播HTCP包来完成Squid清理,这是MediaWiki目前正在使用的方法,当wiki更新时用于更新全球的Squid缓存服务器,实现原理为:发送PURGE请求到特定的多播组,所有Squid服务器通过订阅该多播组信息完成删除操作,这种实现方式非常高效,避免了Squid服务器处理响应和建立TCP连接的开销。参考资料:Multicast HTCP purging
发送no-cache头的方式在很多情况下不适用,因为大多数站长都会配置ignore-reload来阻止no-cache和reload头以提高Squid的命中率;通过适当的权限控制PURGE清理将是一种非常简单可行的方式,考虑到安全问题我们可以仅允许特定的主机进行PURGE清理操作,对第1,2种方式进行简单的变通就可以用于管理较大规模数量的前端缓存服务器 - 我们可以在被允许的主机上提供一个专门的后台刷新队列,这个刷新队列在接收到刷新操作时就多线程的向前端服务器发送删除指令,这样就达到了同步刷新的效果。第3种方式没有进行过尝试,因为需要安装相应的补丁,并进行配置,操作成本相对较高,在服务器数量特别巨大的情况下这无疑是一种非常高效的实现方式。
<!--EndFragment-->
- 大小: 30.1 KB
- 大小: 28.6 KB
分享到:
- 2009-05-31 20:25
- 浏览 1269
- 评论(0)
- 论坛回复 / 浏览 (0 / 7229)
- 查看更多
相关推荐
suqid 缓存服务器整理的相关内容,可以参考的。适合于centos7系统的
清理squid缓存,直接执行sh 脚本名,不过还需要知道要清理的squid服务器列表和需要清理的url列表
squid缓存服务器的配置,一般运营商所使用的代理服务器
NULL 博文链接:https://baobeituping.iteye.com/blog/1331539
Squid是一个高性能的代理缓冲服务器,也许你已经用过Windows平台下的WinGate,MS Proxy Server等功能类似的产品。Squid是一个应用级代理,在保证客户端主机和服务器主机网络连通后,需要客户端软件做相应的设置后...
文档为squid缓存服务的配置文档,系统为CentOS部署,本人自己部署成功后整理的文档,绝对清晰。
搭建一个大型网站架构的实验环境(Squid缓存服务器篇).pdf
Squid 代理服务器.ppt Squid 代理服务器.ppt
Squid缓存代理服务器的安装与配置(普通代理 透明代理 反向代理)
利用Linux和Squid建立缓存代理服务器的优化方案研究.pdf
Squid代理服务器原理
网络管理与维护 实验报告(九):squid代理服务器.doc
Squid cache(简称为Squid)是一个流行的自由软件(GNU通用公共许可证)的代理服务器和Web缓存服务器
web缓存技术,cache Squid 配置 安装
squid缓存网站数据教程.zip
缓存服务器+代理服务器Squid使用教程.zip
对于Web用户来说,Squid是一个高性能的代理缓存服务器,可以加快内部网浏览Internet的速度,提高客户机的访问命中率。Squid不仅支持HTTP协议,还支持FTP、gopher、SSL和WAIS等协议。和一般的代理缓存软件不同,Squid...
构建Linux下的Squid代理服务器.pdf
基于linux的Squid代理服务器的架设分析.doc