运维线上操作规范步骤

运维线上操作规范步骤

前言:从事运维三年半，遇到过各式各样的问题，数据丢失，网站挂马，误删数据库文件，黑客攻击等各类问题。

今天简单整理一下，分享给各位小伙伴。

一、线上操作规范

1. 测试使用

关于rm -rf / var 这种错误，我相信手快的人，或者网速比较慢的时候，出现的几率相当大 当你发现执行完之后，你的心至少是凉了半截。大家可能会说，我按了这么多次都没出过错，不用怕，我只想说 当出现一次你就明白了，不要以为那些运维事故都是在别人身上，如果你不注意，下一个就是你。

3. 切忌多人操作

我在的上一家公司，运维管理相当混乱，举一个最典型的例子吧，离职好几任的运维都有服务器root密码。通常我们运维接到任务，都会进行简单查看如果无法解决，就请求他人帮忙，可是当问题焦头烂额的时候，客服主管(懂点linux)，网管，你上司一起调试一个服务器，当你各种百度,各种对照，完了发现，你的服务器配置文件，跟上次你修改不一样了，然后再改回来，然后再谷歌，兴冲冲发现问题，解决了，别人却告诉你，他也解决了，修改的是不同的参数……这个，我就真不知道哪个是问题真正的原因了，当然这还是好的，问题解决了，皆大欢喜，可是你遇到过你刚修改的文件，测试无效，再去修改发现文件又被修改的时候呢?真的很恼火，切忌多人操作。

4. 先备份后操作

养成一个习惯，要修改数据时，先备份，比如.conf的配置文件 另外，修改配置文件时，建议注释原选项，然后再复制，修改 再者说，如果第一个例子中，有数据库备份，那rsync的误操作不就没事了吧 所以说丢数据库非一朝一夕，随便备份一个就不用那么惨。

二、涉及数据

1. 慎用rm -rf网上的例子很多，各种rm -rf /，各种删除主数据库，各种运维事故…… 一点小失误就会造成很大的损失。如果真需要删除，一定要谨慎。

2. 备份操作大于一切

本来上面都有各种关于备份，但是我想把它划分在数据类再次强调，备份非常之重要哇 我记得我的老师说过一句话，涉及到数据何种的谨慎都不为过 我就职的公司有做第三方支付网站和网贷平台的 第三方支付是每两个小时完全备份一次，网贷平台是每20分钟备份一次 我不多说了，大家自己斟酌吧

3. 稳定大于一切

其实不止是数据，在整个服务器环境，都是稳定大于一切，不求最快，但求最稳定，求可用性 所以未经测试，不要在服务器使用新的软件，比如nginx+php-fpm，生产环境中php各种挂啊 重启下就好了，或者换apache就好了。

4. 保密大于一切

现在各种艳照门漫天飞，各种路由器后门，所以说，涉及到数据，不保密是不行的。

三、涉及安全

1. ssh

更改默认端口(当然如果专业要黑你，扫描下就出来了)

禁止root登录

使用hostdeny类似的防爆破解软件(超过几次尝试直接拉黑)

筛选/etc/passwd中login的用户

2. 防火墙

防火墙生产环境一定要开，并且要遵循最小原则，drop所有，然后放行需要的服务端口。

3. 精细权限和控制粒度

能使用普通用户启动的服务坚决不使用root，把各种服务权限控制到最低，控制细粒度要精细。

四、日常监控

1. 系统运行监控

2. 服务运行监控

服务监控一般就是各种应用，web，db，lvs等，这一般都是监控一些指标 在系统出现性能瓶颈的时候就能很快发现并解决。

3. 日志监控

这里的日志监控跟安全的日志监控类似，但这里一般都是硬件，os，应用程序的报错和警报信息 监控在系统稳定运行的时候确实没啥用，但是一旦出现问题，你又没做监控，就会很被动了

五、性能调优

1. 深入了解运行机制

其实按一年多的运维经验来说，谈调优根本就是纸上谈兵，但是我只是想简单总结下，如果有更深入的了解，我会更新。在对软件进行优化之前，比如要深入了解一个软件的运行机制，比如nginx和apache，大家都说nginx快，那就必须知道nginx为什么快，利用什么原理，处理请求比apache，并且要能跟别人用浅显易懂的话说出来，必要的时候还要能看懂源代码，否则一切以参数为调优对象的文档都是瞎谈。

2. 调优框架以及先后

熟悉了底层运行机制，就要有调优的框架和先后顺序，比如数据库出现瓶颈，好多人直接就去更改数据库的配置文件，我的建议是，先根据瓶颈去分析，查看日志，写出来调优方向，然后再入手，并且数据库服务器调优应该是最后一步，最先的应该是硬件和操作系统，现在的数据库服务器都是在各种测试之后才会发布的 适用于所有操作系统，不应该先从他入手。

3. 每次只调一个参数

每次只调一个参数，这个相比大家都了解，调的多了，你就自己就迷糊了。

4. 基准测试

六、运维心态

1. 控制心态

很多rm -rf /data都在下班的前几分钟，都在烦躁的高峰，那么你还不打算控制下你的心态么 有人说了，烦躁也要上班，可是你可以在烦躁的时候尽量避免处理关键数据环境 越是有压力，越要冷静，不然会损失更多。大多人都有rm -rf /data/mysql的经历，发现删除之后，那种心情你可以想象一下，可是如果没有备份，你急又有什么用，一般这种情况下，你就要冷静想下最坏打算了，对于mysql来说，删除了物理文件，一部分表还会存在内存中，所以断开业务，但是不要关闭mysql数据库，这对恢复很有帮助，并使用dd复制硬盘，然后你再进行恢复 当然了大多时候你就只能找数据恢复公司了。试想一下，数据被删了，你各种操作，关闭数据库，然后修复，不但有可能覆盖文件，还找不到内存中的表了。

2. 对数据负责

生产环境不是儿戏，数据库也不是儿戏，一定要对数据负责。不备份的后果是非常严重的。

3. 追根究底

很多运维人员比较忙，遇到问题解决就不会再管了，记得去年一个客户的网站老是打不开，经过php代码报错 发现是session和whos_online损坏，前任运维是通过repair修复的，我就也这样修复了，但是过了几个小时，又出现了 反复三四次之后，我就去谷歌数据库表莫名损坏原因：一是myisam的bug，二是mysqlbug，三是mysql在写入过程中 被kill，最后发现是内存不够用，导致OOM kill了mysqld进程 并且没有swap分区，后台监控内存是够用的，最后升级物理内存解决。

4. 测试和生产环境

在重要操作之前一定要看自己所在的机器，尽量避免多开窗口。