www.aorustv.com

 　　這篇文章是一位管理人員在對linux服務(wù)器集群時對它們進(jìn)行運行維護(hù)的一些技術(shù)經(jīng)驗，中技特意讓大家一起學(xué)習(xí)。

　　1. 構(gòu)建專屬于自己的內(nèi)網(wǎng)DNS

　　2. 服務(wù)器型號的區(qū)分，為以后的統(tǒng)一化和標(biāo)準(zhǔn)化作硬件上的準(zhǔn)備，很多人忽視這一點，其實如果這一點做得好會使后面的運維工作輕松很多，根據(jù)應(yīng)用我們主要把服務(wù)器分為3中，cpu密集型，主要用于大量計算應(yīng)用，比如p2p;內(nèi)存密集型，用于cache類應(yīng)用，比如squid,varnish緩存服務(wù)器;磁盤密集型，用于大存儲類應(yīng)用，比如視頻存儲服務(wù)器，hadoop日志存儲集群。

　　3. 服務(wù)器型號的區(qū)分，為以后的統(tǒng)一化和標(biāo)準(zhǔn)化作硬件上的準(zhǔn)備，很多人忽視這一點，其實如果這一點做得好會使后面的運維工作輕松很多，根據(jù)應(yīng)用我們主要把服務(wù)器分為3中，cpu密集型，主要用于大量計算應(yīng)用，比如p2p;內(nèi)存密集型，用于cache類應(yīng)用，比如squid,varnish緩存服務(wù)器;磁盤密集型，用于大存儲類應(yīng)用，比如視頻存儲服務(wù)器，hadoop日志存儲集群。

　　4. 統(tǒng)一的yum源和定制化的rpm包， 并集成至yum源站，為后續(xù)的環(huán)境初始化做軟件上的準(zhǔn)備

　　5. 標(biāo)準(zhǔn)化的統(tǒng)一的命名方式(標(biāo)準(zhǔn)化基礎(chǔ))，便于使用puppet管理，并且減少操作的錯誤，如果每個機(jī)器的hostname都為localhost，那將是一個多么可怕的事。。。在我們的生產(chǎn)環(huán)境中主要使用下面這種命名方式

　　機(jī)房-主業(yè)務(wù)-應(yīng)用程序-IP后兩位-公司域名，這樣一眼就可以看出是哪臺服務(wù)器，應(yīng)用于什么業(yè)務(wù)，報警也可以直接定位。

　　6.自動化的配置管理和環(huán)境部署工具：puppet,puppet的模塊編寫要盡量減少模塊直接的耦合度，并使用class繼承的方式來減少運維的工作量，定制化的facter變量會使軟件的配置環(huán)境更加靈活，由于puppet暫時不支持群集，所以在實際應(yīng)用中需要部署多套，根據(jù)經(jīng)驗，1500臺左右的server時puppet會出現(xiàn)性能問題。

　　7. 強(qiáng)大有效的監(jiān)控系統(tǒng)，在生產(chǎn)環(huán)境中我們使用了zabbix proxy+zabbix master的群集結(jié)構(gòu)，zabbix可以實現(xiàn)有效的系統(tǒng)和應(yīng)用級別的監(jiān)控，應(yīng)用監(jiān)控同時也使用了ppmon來實現(xiàn)多點監(jiān)控。

　　選擇zabbix有一個最大的好處，就是監(jiān)控數(shù)據(jù)是存放在數(shù)據(jù)庫中的，這樣就可以利用數(shù)據(jù)庫中的數(shù)據(jù)做很多操作，比如可以分析一段時間內(nèi)服務(wù)器的各個性能指標(biāo)，查看服務(wù)器的資源利用率，可以對數(shù)據(jù)進(jìn)行聚合操作，從而分析全網(wǎng)的指標(biāo)，比如總的流量，總的http code分布情況。

　　8. 統(tǒng)一的yum源和定制化的rpm包， 并集成至yum源站，為后續(xù)的環(huán)境初始化做軟件上的準(zhǔn)備

　　9.

　　9. 構(gòu)建冗余的結(jié)構(gòu)，消除單點，在生成環(huán)境中對于一些重要節(jié)點都采用keepalived-ha的方案來提高冗余度。對于resin,php等應(yīng)用服務(wù)器則在前端使用nginx做反向代理，同時nginx使用keepalived-ha

　　10. 日志收集服務(wù)器群集 和qos分析系統(tǒng)，構(gòu)建 有效的日志收集系統(tǒng)可以有效地對用戶的訪問數(shù)據(jù)進(jìn)行整合和分析，可以快速的分析qos，對應(yīng)重要的節(jié)點我們采用本地分析并導(dǎo)入mongodb,最后導(dǎo)入zabbix的方式，非重要節(jié)點則直接將日志打包壓縮，通過ftp上傳至hadoop數(shù)據(jù)倉庫集群中。

重慶中技互聯(lián)網(wǎng)信息咨詢有限公司 www.aorustv.com