linux实用命令

袁亮,2014-03-01,linux实用命令

一、基本输出
1、屏幕上正常显示
2、【>文件名】 覆盖写入文件
3、【>>文件名】 追加的方式将内容写入到文件中
二、查看文件
1、cat和tac
说明:将多个文件拼接后传到基本输出,tac是倒序显示文件内容
要求:了解
注意:该命令一次性读取整个文件,当读取大文件的时候可能会卡
使用:cat -n textfile1 textfile2
2、vim
说明:用vim编辑器打开一个文件
要求:非常熟练
3、more和less
说明:类似cat,以一页一页的形式展现,空格键往下翻页,按b往上翻页。less类似,但是以行未基本阅读单位,用上下方向键控制
要求:熟练
注意:less不会一次性加载整个文件,所有打开大文件也不会出现性能问题,所以打开不熟悉的文件,一般都会先用这个命令
4、tail和head
说明:从指定点读取文件,并输出,tail从文件末尾开始查看,head从文件头部开始查看
要求:掌握
使用:tail -f 文件名,查看一些正在修改的日志文件很有用,当文件在修改的时候,不用刷新运行命令即可看到结果
三、文件格式化处理
1、grep
说明:在指定的文件中搜索指定内容(可用正则搜索),并按行显示,
要求:熟练
使用:grep "test" *.php,在当前目录下的所有.php文件中搜索保护test的地方
2、sed
说明:以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作
要求:了解
使用:编辑或者分析一些大的日志文件时使用
3、awk
说明:把文件逐行读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理
要求:熟练
使用:awk '{print $1}' yl.log|sort|uniq -c|sort -nr|wc -l
先打印第一项,sort进行初次排序,使相同的记录排列在一起
uniq -c合并重复的行,并记录重复次数
sort -nr 按重复数倒序排列
head -n 10:取前10名
wc -l记录行数

awk '$8 ~/from=message/ {print $1 "\t" $8 "\t" $13}' accesslog>tmp/log1.txt
只匹配第八项,第八项中有from=message的,并且打印第1,8,13项到tmp/log1.txt中
四、搜索
1、find
说明:搜索功能
要求:熟练
使用:find . -name "*.php"|xargs grep 'function test(){'|less
在当前目录(.)下搜索所有的.php文件,并将这些文件作为下次的输入(xargs),对这些文件使用grep搜索包好'function

test(){'字符串的,并用less输出

ps:linux下的命令有很多其他参数,不需要都会,只要会常用的几个即可,很多时候我们都会组合使用各个命令,通过|来组合,大家都有各

自的虚拟机,对感兴趣的命令可以自己上去测试下,然后查下资料,或者用man 命令名来查看帮助

根据域名查找项目程序位置

根据域名查找项目程序位置:13:38 2014-1-14-袁亮

一、查询dns最终解析结果(dig方法,比较强大)
1、上任意一台linux服务器

2、从根服务器开始追踪一个域名的解析过程
dig bbs.ci123.com +trace|less

ps:查询出来每列的数据
域名    缓存时间    dns类型    IP或者根域名

3、查看最后的A记录,即dns的最终解析到的服务器地址(可能会有多个,需要多次执行后续操作才可得到完整的路由情况)

ps:也可以用nslookup方法,比较简易,好处是在windows下也可用

二、登陆dns解析获得的相应linux服务器,查看内部路由情况
1、访问的时候默认访问的是80端口
2、查找80端口对应的服务软件(squid、nginx、apache)
root下可以使用netstat -tupln|grep :80或者lsof -i:80查看是是哪个服务监听的80端口
ci123dev下,分别查看squid、nginx、apache,看lister监听的是否80端口
3、查看相应配置文件,找到对应域名的路由情况
/opt/ci123/squid/etc/squid.conf
/opt/ci123/nginx/conf/vhost/*.com
/opt/ci123/apache/conf/httpd.conf
4、配置文件如何查看
squid 配置文件,直接搜索到对应域名,看上一行,看其对应的ip以及端口
nginx 配置文件,查看其相应的location,看代理到个服务器的什么端口(注意看静态文件的缓存目录,修改前端的用)
apache 配置文件,找相应的DocumentRoot 以及Rewrite

三、php程序的rewrite
1、根据apache Rewrite 的结果,找到相应的php接受文件
2、查看该php文件,看其正则匹配情况,再定位相应的程序位置

http工作简单流程

17:38 2014-6-26,袁亮
一、基本流程
1、在浏览器输入网址
2、浏览器根据网址,封装http请求头数据包
3、数据包根据地址查找到相应服务器
4、服务器根据头信息进行相应处理并返回返回头信息以及body内容
5、浏览器接收到返回数据,展示body部分内容,并根据头消息进行相应设置,比如cookie等
6、浏览器根据内容进行相应的排版现实,并且运行其中的js交互脚本
7、一次完整的交互完成

二、查找服务器过程
1、根据域名查找本地hosts文件,看是否有对应ip
2、发送到代理,代理去请求数据
3、如果没有,则发送请求到公务dns查询该域名对应的服务器地址
4、cdn加速访问
5、前端代理转发
6、http服务器接收请求,并交给php解析运行
7、服务器将返回的数据再传输回用户的浏览器

三、http常用状态码
200:正常返回
301:永久跳转
302:临时重定向
304:资源未修改,直接使用本地缓存
403:权限不够
404:找不到文件
500:服务器错误,一般是程序语法错误等
502:代理服务器未能接受到正确响应
504:响应超时

开发部署上线流程

袁亮,15:37 2014-2-13,开发部署上线

说明:
1、本流程主要适用于工作一年内的新人,半个小时内就能搞定的,可以不用按完整的流程来,其他的都需要遵守
2、时间不是太急的情况下,老员工也尽量按该流程来,以降低风险
3、另外,每个程序员都是这么一路犯错下来的,你的水平基本上跟你犯过的错误是成正比的(同一个问题一犯再犯那就另说),所以我们需要学会犯错之后学会去避免它,并且善于从别人的错误教训中吸取经验。

一、需求确定
1、开发之前,必须要明确本次开发的目的,以及实现的方法
a、每个人提出需求的时候,一般都会根据自己的理解、现有的水平,给出相应的解决方案,至于这个方案好还是不好,那就很难说了,所以开发之前,涉及到的相关人员必须要清楚,这次做的根本原因是什么?有没有更好的方法?
b、需求的确定决定了这次开发是否能顺利完成的80%,很多时候,一个很小的改动,可能会减少你们50%以上的工作量。

2、需求的分期完成
a、我们有太多的工作是做的差不多了没上线,或者做着做着就没音讯了,大部分的原因都是因为需求不合理,以及任务分期不合适,总想着事情能一步到位,这会导致开发成本过高,系统太复杂,不敢上线(影响太大),复杂度上升导致bug过多,或者达不到预期,从而导致一堆人花了很长时间的努力全部白费。
b、要学会将一件大的事情,分割成多个小的、可快速完成的事情来实施,快速迭代开发。
c、开发的工作日尽量不要超过3天,1个星期的工作量的就已经是很容易半途而废的了。

3、需求确定之后,开发过程中,不要随意更改、添加
a、在需求讨论的时候,可以把以后可能会扩展的尽量想到,最终的目标等都可以讨论,这个时候需要尽量的详细
b、但在一期开发的时候,只做最核心、最急的几件事情,要做的东西太多,最终只会导致什么都做不了
c、达成共识之后,请需求发起方将讨论确定下来的内容通过邮件的形式发送给相关人员,邮件标题需要有统一前缀,例如【违禁词汇后台改版】- 第一期需求

二、开发过程
1、线上项目修改,必须要有svn,并确认正式版上的相应文件是否已经提交到svn中,并在测试版进行同步
2、开发新功能,必须先在测试机上开发,严禁在正式服务器直接修改
3、需要有相应的测试版数据库,可以找运维组的同学帮忙
4、开发过程中,有不清楚的,需要及时跟需求方进行沟通、反馈
5、必须有修改记录,修改记录里需含有:
a、数据库结构变化,注释
b、新增了哪些文件,做什么
c、修改了哪些文件,分别是为什么
d、各个功能对应哪些文件
6、开发完成之后,需要发送测试确认邮件给需求方,测试之后需要通过邮件回复正式确认,例如【违禁词汇后台改版】- 测试确认

三、部署上线
1、发送邮件,请求运维组同学帮忙备份程序、数据库,并帮忙观察下监控情况,例如【违禁词汇后台改版】- 上线前备份监控
2、将上线步骤通过邮件形式发送给相关人员,没有异议之后,开始下述上线操作。【违禁词汇后台改版】- 上线部署步骤
3、备份完成之后,部署程序到正式版,所有文件更改必须通过svn来更新,不允许直接copy过去上线
4、数据库结构修改部署,先于程序,更改之后马上看下页面以及相应监控是否正常
a、新增:一般不影响旧程序,可以在程序上线之前改,特殊情况自己考虑
b、修改:改了数据库结构之后,旧程序会报错,怎么办?
c、删除:可以在程序上线运行正常之后再删
5、程序文件部署
a、确认正式版的对应文件没有人直接在服务器上修改,如果有,则将正式版的提交,然后在测试版up,再重新进行测试
b、文件新增的,可以在程序上线前更新到正式版
c、更改旧有文件的,如果是后台的,可以先更新后台的,观察没问题之后,前台的如果耦合度不高,可以一个模块一个模块的上线测试
6、上述几步没问题之后,让相关人员在正式版把各个功能都测试一下,并看看其他地方是否会受影响
7、查看相应的数据统计及监控(页面访问、51yes统计、cnzz统计、运维监控、用户反馈)

四、部署出错处理
1、出现问题之后,立即通知相关人员,特别是需要告知自己的leader,协助修复,如果预估修复的时间超过10分钟,项目较重要,则请运维组的同事帮忙进行恢复
2、恢复到旧版本之后,在测试版排查是什么原因导致
3、重新发送新的上线部署步骤邮件,再重新部署
4、没问题之后,邮件告知大家,什么原因导致部署失败,以及如何避免

五、上线后的观察、维护
1、将整个开发过程的开发记录添加到tech后台
2、上线后的一周内,都要时不时的抽时间去了解下相应情况(使用情况、效果如何、用户反馈、有什么不足等)
3、将收集到的情况做相应记录,并记录到后台,为后续开发做准备

php代码规范以及项目开发规范

袁亮,2014-08-26,php代码规范以及项目开发规范,mysql规范

一、命名
1、文件夹、文件名
1.1 只允许小写字母,数字,下划线组成,不允许出现其他字符
1.2 以统一的功能模块名加操作类型命名
1.3 比如:user_add.php,sub/user_add_sub.php
1.4 add_user.php sub/add_user_sub.php 这种写法是不友好的,不要这么写
2、类名
2.1 只允许英文字母,数字组成
2.2 驼峰规则,每个单词的首字母大写
2.3 比如:class BlogPosts{}
3、函数名
3.1 只允许英文字母,数字组成
3.2 驼峰规则,同类名,第一个单词首字母小写
3.3 比如:function postAdd();
3.4 命名以模块名+动作类型命名,比如postDetailGet();而不是getPostDetail,并且将同一个模块的函数尽量放一起
4、变量名
4.1 只允许小写字母,数字,下划线组成
4.2 单词之间以_连接,除循环中之后,不允许出现单字母变量
4.3 善于临时变量,有些变量使用1-2次之后,马上就没用的,可以使用$tmp来命名,减少想变量名的苦恼
4.4 所以的sql语句,都用$sql命名,并且最好是定义完就使用,后面不会再次用到
4.5 常用变量名:
$page:分页页码
$limit:每页显示多少条
$ip:用户ip地址
$dated:当前时间
$ms:mysqls操作类实例
$pager:存放分页的html代码
$data:当前页面主要的数据
$user_id:用户id
$username:用户名
$nickname:用户昵称
5、全局变量
5.1 命名规范同变量,但加前缀g_标示这是一个全局变量
5.2 比如:global $g_username; $g_username = 'yuanliang847';
6、常量名
6.1 只允许大写字母,下划线,数字组成
6.2 比如 define("USER_PASS_MDSTR",'D123#!@ax?DSAD');
#7、session名称

二、php最后结束符
1、不要使用短标签<??>
2、每行后面必须加;号结束
3、纯php文件,最后不要加?>结束符,防止因为最后的空行等输出导致bug

三、单引号、双引号
1、纯字符串的时候,使用单引号
2、字符串中有变量的时候,使用双引号,并且变量必须以{}包含起来,比如$show = "你好{$nickname}!";
3、数组中,非数组下标,一定要加单引号,比如$data['username'] = 'yuanliang847';
4、sql语句中的变量值,以单引号包含起来,比如$sql = "select * from `users` where `username`='{$username}' limit 1";

四、括号使用
1、所有大括号的开始部分都跟在关键字的后面,没有例外,比如:
function getRow($sql){

}
foreach($data as $k=>$v){

}
class Mysqls{

}
2、小括号跟关键词相连,不需要额外的空格
if(1 == $a){

}else if(2 == $b){

}else{

}
3、函数参数左右不需要额外空格
function test($a,$b = 1){

}

五、空格、缩进、大数组缩进
1、所有缩进,均以tab进行缩进,不要使用多个空格
2、空格使用情况:
2.1 $username = 'yuanliang';变量赋值,前后加空格
2.2 比较操作符、算术操作符、逻辑操作符,前后加空格
+= , >= , <= , ==
+ , - , * , %
&& , ||
2.3 一元运算符,不需要空格
++ , -- , ! , &
2.4 对象运算符,不需要空格
$this->test();
parent::test();
3、大数组缩进方式,前面通过tab缩进到 同一层次,=>后面的是一个空格,数组只有1-2个值的时候,不需要写成这样
$data = array(
'user_id'    => 1535917,
'username'    => 'yuanliang847',
'nickname'    => '暗夜御林',
'head'        => 'http://i.ci123.com/153/1535917.png',//这种最后一定要加逗号,否则容易出错
);
$uinfo = array('username'=>'yuanliang847','nickname'=>'暗夜御林');

四、安全
1、需要过滤的外部数据:$_GET,$_POST,$_COOKIE,$_SESSION(session因为有可能存储了用户输入的内容,从而导致危险)
2、如果接收的是整形数据,一律以intval强制转为整形
2.1 比如 $user_id = isset($_GET['user_id'])?intval($_GET['user_id']):0;
3、如果是字符型,则需要调用防止sql注入的函数,进行过滤,该函数,在通用的function.php中就有
3.1 比如 $username = isset($_POST['username'])?stripSql($_POST['username']):'';
3.2 stripSql第二个参数,默认会调用stripTags,防止xss攻击,如果内容允许html等,则给定第二个参数
3.3 如果大串用户输入的内容,是会显示在页面的,比如文字内容等,可以使用htmlspecialchars将html实体化
4、接受外部参数的地方要在页面头部,或者函数开始位置全部获取所有可能接受的外部参数,该段代码之后,不允许再直接使用外部数据
5、如果是旧项目,需要改的地方太多,可以引入360的过滤文件,对所有外部危险输入进行过滤,并记录
该文件慎用,特别是在重要项目中,容易导致误判

五、功能块

六、注释

其他:
1、不要使用复杂的异或等逻辑判断(考验运算优先级的)
2、三元表达式只用做最简单的不赋值,不要做复杂的代码
3、不要让代码读起来有歧义,尽量简洁明了
4、不要写非常“巧妙”的代码,而是要让很二的人一眼就能读懂
5、不要使用or and,使用&&和||代替,优先级不同
6、少用while循环,太容易造成死循环
7、switch case 每个环节必须有break,否则会出错
8、理解清楚return continue break的意思,不要乱用
9、包含文件,一律使用include_once
10、嵌套层次最多4层,消除嵌套方法
11、循环中不要计算数量,有些计算能放在循环外面就不要放在循环里计算
11、大括号不可省略
12、使用construct 和 destruct,不要用与类同名的函数初始化 __get __set __autoload禁用
13、只用die,不要使用exit
14、不要使用嵌套式的赋值
if($a = ($c = getName())

做事优先级

dear tech4:

一、多件事情,怎么确定优先级
1、5分钟内就能搞定的事情,优先搞定,不要拖着
2、其他事情,按事情的重要程度来安排处理
3、更上级安排的事情,优先处理,比如员工群里,程总发现的问题或者南哥直接安排的事情
4、安全漏洞以及服务器出问题,需要迁移,请务必当成最重要的事情去做

二、同一件事情的处理优先级
1、第一优先级,东西是可用的
2、第二优先级,东西是好用的,包括代码的健壮、高效、易维护等
3、最后,才是自己是搞的很清楚的
因此,做事情前,必须要先去看看别人是怎么做的,不要想着什么都从头开始做,包括我们自己网站的内部资源,其他比较好的网站是怎么做的,百度或者google找到别人的demo,然后开始去处理。
给我看东西之前,都需要做好准备,我会问你“其他人是怎么做的?”,最好是能主动给我一个满意的答案

周报要求

13:14 2014-3-13,袁亮,周报要求

时间:每周日中午12点前
标题:【2014-02-24至2014-02-28】周报-袁亮
内容:
	一、本周做了什么?
		ps:主要工作记录下来即可,不要细化到改个链接什么的
	二、最有成就感或者最不爽的事?
		ps:学到了一个比较牛逼的东西,或者做了一个有意思的东西,或者做了一件自己觉得不想干的事等等
	三、有什么不足或者需要改进的?
	ps:自己的个人疑惑,或者自己哪方面还需要加强?团队中哪方面不合理的?个人或者团队内部的都可以

	其他:
	1、周报内容写在邮件正文里,可以提供附件作为备份参考,但不允许出现只有附件,没有正文的
	2、邮件的排版,参考看下其他人的邮件是怎么写的,不要写的乱七八糟,包括换行,缩进等,归纳总结
		如果自己都不能写的有条有理,那这个总结效果必然很一般
	3、周报发送给自己的直属领导,抄送我

简单的签名技术

编    写:袁    亮
时    间:2015-01-27
说    明:基本的数字签名技术

一、为什么需要
1、网络传输的过程中,数据对别人来说是可见的,我们需要保证数据没有被篡改,以保证基本的安全
2、常见使用:
cookie信息
接口调用参数验证

二、如何实现
1、先验条件
1.1 数据生成、数据接收方都需要可控
1.2 两边统一一个相应的密钥,并保存
2、实现
2.1 生成方,在原始数据的后面,根据密钥以及原始数据(其中一部分也行,两边约定好即可),使用散列(MD5或者SHA-1)生成一个签名
2.2 接受放根据接受到的数据,将原始数据使用同样的办法,进行散列,查看与接受到的签名是否一致,如果不同,则非法
3、优点
3.1 实现简单,安全性较高
4、缺点
4.1 如果密钥泄露,更改较为麻烦,得两边同时修改

三、cookie签名demo
1、设置cookie
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$cstr = '1535917,yuanliang847,暗夜御林';//设置到cookie里的内容
$signstr = md5($cstr.MD_STR);
$cstr .= "|-|".$signstr;

setcookie("uinfo",$cstr,0,"/",'',false,true)

2、cookie解析
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$uinfo = checkLogin();

function checkLogin(){
if(!isset($_COOKIE['uinfo']) || !$_COOKIE['uinfo']){
return array();
}

$cstr = $_COOKIE['uinfo'];
$tmp = explode("|-|",$cstr);
if(md5($tmp[0].MD_STR) != $tmp[1]){//cookie非法
return array();
}

$data = explode(",",$tmp);
return array('user_id'=>$data[0],'username'=>$data[1],'nickname'=>$data[2]);
}

四、接口参数签名demo
1、client(必须是服务端的,不能是用户可见的过程,比如js)
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$uid = 1535917;
$username = 'yuanliang847';
$str = "uid={$uid}&username={$username}";//需要传输的原始数据
$http_str = $str."&signstr=".md5($str.MD_STR);//将签名与原始数据一起拼接传输

//...网络数据传输

2、server
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$uid = isset($_GET['uid'])?intval($_GET['uid']):0;
$username = isset($_GET['username'])?$_GET['username']:'';
$signstr = isset($_GET['signstr'])?$_GET['signstr']:'';

$str = "uid={$uid}&username={$username}";
if(md5($str.MD_STR) != $signstr){
die('参数错误');
}

//...正常业务逻辑处理

3、改进
以上需要对每一个客户端和服务端进行相应的编写,很麻烦
可以编写一个统一的签名函数,来进行相应的验证

五、接口层统一的函数
1、client
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$p = array(//需要传递的参数,可以是get或者post用
'user_id'    => 1535917,
'username'    => 'yuanliang847',
'nickname'    => '暗夜御林',
);
$p = addSign($p);
$url = "http://api.***.com/***.php?".http_build_query($p);

//...发送接口请求

/**
* 将需要传递的参数数组增加一个签名串
* @data 需要传递的参数数组
* #返回新的参数数组,并增加键值signstr作为签名
*/
function addSign($data){
$str = json_encode($data);
$data['signstr'] = md5($str.MD_STR);
return $data;
}

2、server
define("MD_STR","FDSAF$#@dsa!#@4134Eda");

$is_sign = checkSign($_POST);//看接口是post还是get,传入不同的数据
if(!$is_sign){
die('参数错误');
}

//... 正常业务逻辑处理

/**
* 验证签名串是否正确
* @data 需要验证的参数,包括原始数据以及签名串
* #返回true则正常,否则参数有问题
*/
function checkSign($data){
if(!isset($data['signstr']) || !$data['signstr']){//没有签名
return false;
}

$signstr = $data['signstr'];
unset($data['signstr']);
if(md5(json_encode($data).MD_STR) != $signstr){
return false;
}

return true;
}

育儿网邮寄地址插件

编    写:袁    亮
时    间:2015-01-20
说    明:育儿网邮寄地址插件使用说明

一、问题
1、收货的邮寄地址需要用户填写省市区
2、省市区等信息会变,需要统一管理
3、需要实现联动效果,不需要各个项目都做这一套

二、使用范例
1、代码(参考demo.html文件)
<form name="recvaddress_form">
<select name="province" onchange="ciarea.selcity(this.value,0);" style="width:80px;"></select> 省
<select name="city" style="width:120px;" onchange="ciarea.selarea(this.value,0);"></select> 市
<select name="area" style="width:120px;"></select> 区
</form>
<script type="text/javascript" src="http://shiyong.ci123.com/district/common.js"></script>
<script type="text/javascript">
window.onload = function(){
//ci_province=11;ci_city=1100;ci_area=41306; //编辑的时候,需要默中省市区的时候设置
ciarea.selprovince(ci_province,ci_city,ci_area);
}
</script>
2、需要注意的地方
2.1 form的name必须设置为recvaddress_form,js中有用到
2.2 三个select的name的名称是确定的这三个
2.3 两个onchange事件不能少
2.4 引用common.js
2.5 页面加载的时候,触发数据加载
2.6 编辑地址的时候,需要有默认选中的时候,则设置相应的三个js变量即可

三、参考页面
1、http://shiyong.ci123.com/user/address.php
2、http://user.ci123.com/account/EditUserInfo/detail