很天用两年前用过的的一台Mac电脑,结果忘了密码,找到了一种无需光盘去掉密码的方法。让系统还原。
开机按command+s 不知道什么时候按,反正你多按几次
/sbin/mount -uaw rm /var/db/.applesetupdone reboot
然后重新设置你的电脑吧,就像第一次开机一样。
经过一天的努力,终于将Varnish缓存服务器部署到线上服务器了。趁着热乎劲儿,赶紧给大家分享一下。Varnish是一个轻量级的Cache和反向代理软件。先进的设计理念和成熟的设计框架是Varnish的主要特点。下面是Varnish的一些特点:
-
基于内存进行缓存,重启后数据将消失;
-
利用虚拟内存方式,I/O性能好;
-
支持设置0~60秒精确缓存时间;
-
VCL 配置管理比较灵活;
-
32位机器上缓存文件大小为最大2GB;
-
具有强大的管理功能;
-
状态机设计巧妙,结构清晰;
-
利用二叉堆管理缓存文件,可达到积极删除目的;
在安装Varnish之前,系统如果没有安装pcre,在编译Varnish 2.X以上版本时,会提示找不到PCRE库,而pcre库是为了兼容正则表达式,所以必须先安装pcre库。下面是pcre的安装过程:
首先,下载pcre软件包:
进行加压缩软件包,进行编译安装:
至此,pcre库已经安装完成。接着,建立Varnish用户以及用户组,并创建Varnish缓存目录和日志目录。
现在可以进行安装Varnish,这里将Varnish安装到/usr/local/目录下,操作如下:
下载最新Varnish-3.0.3软件包:
设置安装参数,然后进行编译安装:
将varnish配置文件和服务写入到系统:
至此,Varnish安装完成。现在开始配置Varnish,在配置Varnish之前首先了解一下Varnish处理流程:
Varnish处理HTTP请求的过程大致分为如下几个步骤:
1> Receive状态:请求处理入口状态,根据VCL规则判断该请求应该Pass或Pipe,还是进入Lookup(本地查询)。
2> Lookup状态:进入此状态后,会在hash表中查找数据,若找到,则进入Hit状态,否则进入Miss状态。
3> Fetch状态:在Fetch状态下,对请求进行后端获取,发送请求,获得数据,并进行本地存储。
4> Deliver状态:将获取到的数据发送给客户端,然后完成本次请求。
现在Varnish的处理原理现在大家都明白了,那么下面来进行配置一个实例。由于版本不同,Varnish配置文件的写法也存在一定的差异,本配置文件以Varnish 3.x版本为基准。
Varnish安装完成后,默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl,此文件内容默认全部被注释掉。这里以这个文件为模板,创建一个新的文件vcl.conf,并且将其放到/usr/local/varnish/etc目录下。配置完成的vcl.conf文件如下:
在安装Varnish时,已经将Varnish的管理脚本复制到相应的目录下,这里稍作修改即可。首先修改/etc/sysconfig/varnish文件。配置好的文件如下:
这里需要说明的是,在32位操作系统下,最大只能支持2GB的缓存文件Varnish_cache.data,如果需要更大的缓存文件,则需要安装64位的操作系统。
接下来修改的文件是/etc/init.d/varnish,找到如下机房,修改相应的路径即可:
其中,exec用于指定Varnish的路径,只需要修改为Varnish安装路径下赌赢的Varnishd文件即可;config 用于指定Varnish守护进程配置文件路径。
两个文件修改完毕,就可以授权、运行/etc/init.d/varnish脚本了。执行过程如下:
最后启动varnish,如下所示:
查看运行状态:
如上图,可得知Varnish已经成功启动。现在可以测试是Varnish的作用了,可通过Curl进行测试:
通过上图,可得知该URL链接已经被缓存,缓存命中率的高低直接说明了Varnish的运行状态和效果,较高的缓存命中率说明Varnish运行状态良好,Web服务器的性能也会提高很多;反之,过低的缓存命中率说明Varnish的配置可能存在问题,需要进行调整。因此,从整体上了解Varnish的命中率和缓存状态,对于优化和调整Varnish至关重要。
Varnish提供了一个Varnishstat命令,通过它可以获得很多重要的信息。下面是一个Varnish系统的缓存状态:
由于执行完varnishstat命令之后,会自动跳转到一个画面,就无法看到执行命令。为方便大家理解,将命令放在执行结果最底部。这里需要注意一下几点:
- "Client connections accepted":表示客户端向方向代理服务器成功发送HTTP请求的总数量。
- "Client requests received":表示到现在为止,浏览器向反向代理服务器发送HTTP请求累计次数。由于会使用长连接,因此这个值一般会大于"Client connections accepted"的值。
- "Cache hits":表示方向代理服务器在缓存区中查找并且命中缓存的次数。
- "Cache misses":表示直接访问后端主机请求数量,也就是非命中数。
- "N struct object":表示当前被缓存的数量。
- "N expired objects":表示过期的缓存内容数量。
- "N LRU moved objects" :表示被淘汰的缓存内容个数。
Varnish的安装和配置基本上完成了。安装之后Varnish是否能稳定、快速地运行,与Linux本身的优化及Varnish自身参数的设置有很大关系。在安装配置完Varnish后,还必须从操作系统和Varnish配置参数两个方向对Varnish服务器进行性能优化,从而最大限度地发挥Varnish的性能优势。
内核参数是用户系统内核之间交互的一个接口,通过这个接口,用户可以在系统运行的同时动态更新内核配置,而这些内核参数是通过Linux proc文件系统存在。因此,可以通过调整proc文件系统达到优化Linux性能的目的。
修改/etc/sysctl.conf文件进行优化,具体参数如下:
修改ulimit设置,默认情况下Ulimit设置完成之后会临时生效。当下次重启机器之后,Ulimit会失效。为了下次机器启动之后,还会生效。将ulimit设置放到/etc/rc.d/rc.local文件下。具体参数如下:
至此,LINUX系统方面优化就算完成了。现在还是优化Varnish。打开/etc/sysconfig/varnish启动脚本,优化参数如下:
至此,Varnish的安装、配置以及优化基本上完成了。希望David分享的内容对大家有用,如果有什么问题,还望大家指正!今天就到此为止了!
我就职于一家互联网企业,主要工作是网络管理,准确的说是面向IDC生产网络的设计与维护,架构勉强有一些吧,距离自己心中的架构还远得很。专职做网络差不多快5年了,之前系统、开发都涉及一点,但过于肤浅毫无建树以至于浪费了大好时光,如果早点进入专项的技术方向就好了,当然这只是个人看法,因人而异。
公司大大小小几十个机房分布在全国各地,网络结构比较简单,只是多年积累下来的陈年旧账、面对特殊情况产生的特殊问题,给网络维护、发展带来一些麻烦,也遇到不少有意思的问题、挑战,加上网络团队的同事都是真正做技术的人,因此几年下来感觉有了不小的收获。
在工作中遇到的很多问题,很多企业在其网络发展过程中,很多网络工程师在其成长过程中,都会遇到,因此我想聊一聊自己遇到的有意思的事情,希望可以在分享的过程中有所收获。
OK,切入正题:我是如何实现AAA、NTP和SYSLOG的。
为什么我会比较重视这三项服务呢?
公司网络发展,初期是比较缓慢的,中期随着关键业务的快速发展,要求所有相关基础服务也快速跟进,这时因为不得不保证速度和规模,而没有考虑太多细节。当前,不但要求网络规模增长快速,互联网业务类型也多样化发展,由先前的南北向流量为主,变成了东西向流量占据了半壁江山,高密度万兆接入、低延时高可靠数据交换、中大规模分布式应用、跨地域的复杂网络应用、大数据等等。
但不管有多少问题,首先要解决的是处理故障。
处理故障,最起码要能够登录设备,而我在早期遇到的问题是,某台设备上有哪些帐号、可以从哪儿登录,拥有什么权限还是个大麻烦。即使登录到设备上,会发现无法得知谁在什么时间做了什么事、设备在什么时间发生了什么事,或者获得的数据不完整、不准确。这些都极大地影响了故障处理效率,也是必须解决的基本问题。
同时,这三项服务是网络管理自动化的基础。
通过两期工作实现了让我满意的上述三项服务。
一期是对已有服务的整理,主要解决的问题是
1)确保所有网管服务器上都运行这三项服务。
2)确保软件版本、配置、数据一致。
3)确保服务可用性,降低服务中断时间。
在实施过程中遇到很多问题,如操作系统不一致导致的软件版本无法统一不得不分化为两套标准,如软件过于复杂导致配置和数据同步的复杂化,如配置变更带来的巨大工作量和操作失误引起的服务不可用,网管服务器双机HA可用性及主备切换后带来的配置有效性、数据差异消除问题等等。
最终一期完成,基本实现了上述目标。但却推动我下定决心,一定要从根本上解决问题。
*注:
一期使用的tacacs+软件tac_plus来自 http://www.networkforums.net/ ,更新缓慢、安装配置复杂、需要额外数据库和web支持、支持文档极少。web使用apache,数据库为mysql4(不支持5.0以上版本)。ntp使用系统自带ntp程序,受操作系统类型、版本影响较大。syslog使用syslog-ng 2.1.4。
二期是服务重构。
1)软件重新选型
tacacs+ 使用 http://www.pro-bono-publico.de/projects/tac_plus.html 的 tac_plus。优点是功能强大,配置简单,方便同步,稳定可靠,更新及时,对新设备支持好。
ntp 对比了 http://www.openntpd.org 和 http://www.ntp.org 选择了后者。优点是短小精悍,可靠稳定。
syslog 仍然使用 http://www.balabit.com/network-security/syslog-ng/ 的 open-source 3.x 版本。优点是功能强大,可靠稳定。
2)统一环境
操作系统全部更新为CentOS 5,tac_plus、ntp、syslog-ng全部统一版本。
最重要的是,除ntp外,tac_plus和syslog-ng在所有网管服务器上都使用同一配置文件,这极大地简化了配置同步和服务管理。其实ntp也可以使用一份配置文件,但考虑到ntp配置变化极少、安全风险小,故未实现。
3)服务监护和配置同步
通过shell脚本对tac_plus、ntp和syslog-ng服务检查,确保服务正确运行。
通过shell脚本实现tac_plus和syslog-ng的配置自动下发和更新,以及配置更新后的服务重启。以及对网管服务器上的服务检查脚本、监控脚本等各类保障程序的自动下发和更新。
通过rsync将分散在不同IDC的网管服务器收集的网络设备的syslog集中到备份服务器归档。
4)维护服务搭建文档,提供统一的安装文件
在对全网网管服务器更新时,根据文档搭建环境不超过30分钟,当然需要对情况有一定了解。
5)实现了syslog-ng配置文件的程序化创建,实现了tac_plus配置文件的动态部分的程序化创建
由于公司的公网、私网网段就有上千个,并且变更频繁,靠人工去维护syslog-ng配置文件,不但工作量巨大,也非常容易出错,并且不易排错,因此达成此事。这件事的重点是,要维护一套靠谱的网络信息库,每家公司都面临cmdb的各种问题,有机会单独聊一聊。
6)实现了对所有IDC重要交换机和路由器的配置自动备份,以及对配置自动分析和报警。
配置分析还很基础,但的确帮了大忙,人总是会出错的。
在二期实现过程中,我放弃原有的HA双机结构,因为相比其带来的好处,给管理带来了很多麻烦,在系统和网络的精力投入分配上,必须有所取舍。
但是,网管服务器的容错是必须解决的问题,我的备选方案是在网络设备上指向多个不同的网管服务器,从网络设备配置上实现冗余的效果。另外一个思路,是在虚拟机上搭建网管环境(aaa+ntp+syslog),发生问题时在冷备服务器上快速启用虚拟机,并且由于已经实现了全网单一配置文件,那么只要维护一个虚拟机版本,基本就可以无限地扩展网管服务器的部署了。
以上就是我实现AAA(tac_plus)、NTP和SYSLOG的过程,并没有讲很具体的实现细节,我想更重要的是想法和思路吧。如果有需要,我会再分享具体的实现方法。