分类： web后端技能树

编    写：袁    亮
时    间：2014-11-17
说    明：Mysql默认值

1、默认值default设置
1.1 有设置：默认值
1.2 未设置：无

2、是否允许NULL值设置：
2.1 允许有(NULL)
default有值则为设置的默认值
default无值，则为NULL
2.2 不允许(NOT NULL)
default有值，而且不为NULL，则默认值为设置的值
default无值，则为对应字段类型的默认值(字符串的空字符串，整型的0)

3、自增长设置：AUTO_INCREMENT
3.1 不受default和是否允许NULL影响

4、时间戳：timestamp
4.1 默认为当前时间

编    写：袁    亮
时    间：2014-05-08
说    明：内存不足导致sql执行过慢

一、问题描述
1、某条sql执行了37秒
2、看慢日志里，被锁的时间在万分之几秒，因此不是因为被锁从而导致执行慢

二、问题分析
1、经与其他人沟通，可能是因为内存不足，导致索引没有加载到内存里，所以比较慢
mysql的所有会部分加载到内存里，如果内存不足的时候，会根据一定的策略将部分数据去除，重新读入数据到内存中
该内存大小设置可通过：show variables like '%key%';
然后设置set global key_buffer_size=2048000000;(2G)将该值改大
2、另外一种可能是在那个时间点，磁盘io有问题，从而导致读取数据变慢
但是如果是磁盘io卡住的话，那么那个时间点的其他sql应该也会卡，而看慢日志里，附近时间点并没有其他的慢查询
查看那个时间点的io，正常

三、总结
1、mysql启动或者重启的时候，因为要把索引加载到内存中，刚重启的时候，可能会导致服务器的io等负载过高，重启就挂
2、mysql一般来说，不能直接关，关掉之后，会需要修复表
3、有些时候，会执行的很慢，很有可能就是内存给的不够，一般4个G，机器较好的话，可以给4G

袁亮，2014-03-14，关于mysql截断内容问题解决

 

• 问题描述：
• 当用户发表有某些特殊字符的内容时，存入mysql数据库的内容会被截断

2、数据库、程序文件等都是utf-8编码

3、确认sql正常

 

• 原因：
• mysql中utf8编码最多只能是3个字节（5.3版本后，有utf8mb4类型可支持4个字节的utf8）
• utf8是一种1-4个字节的可变字符编码（英文1个字符，汉字3个字符）
• 某些特殊字符(emoji表情符号等)是4字节的utf8编码
• Mysql在遇到超过最大字节范围的字符时，会忽略其后面的字符串，从而导致内容丢失

 

• 解决思路：
• 升级mysql到5.3版本以上，并将字段的编码设置为utf8mb4类型
• 通过程序，将字符串中4字节的utf8字符替换或者删除即可

 

• 剔除utf8字符串中4字节的字符方法：

[code]

function removeByte4($str){

return preg_replace('/[\xF0-\xF7].../s','', $str);

}

[/code]

性能：台式机，4.6W字符，0.006s，对程序性能影响基本可以忽略

 

附：（其他的一些相关知识）

• 该问题是mysql本身的一个bug，可参考：http://bugs.mysql.com/bug.php?id=30131

 

• Utf8 4字节各系统的支持情况：

1、windows xp: xp系统不支持4字节utf8字符, 浏览器用占位符显示

2、windows 7: 支持4字节utf8字符

3、mac os x: 支持4字节utf8字符

4、iPhone/iPad: 支持4字节utf8字符

 

• 如果想支持手机上的表情，可参考：http://my.oschina.net/wingyiu/blog/153357

1、将特殊的4字节字符用相应的图片表情代替

2、替换的时候，注意不要堵塞用户的处理流程，当文本内容较长时，这是一个很耗性能的处理，建议先忽略4字节字符，然后将内容存到文件或者其他地方，后续使用脚本对这些内容进行替换处理等操作。

3、新浪微博等有做相应处理

4、特殊符合以及对应表情可参考网站：http://www.charbase.com/

• 四种不同剔除utf8字符串中4字节字符的性能比对：

测试机：普通pc 测试文本：4.6W字节的中英文、特殊字符等混合

• 极快，推荐使用：006s

function removeByte4($str){

return preg_replace('/[\xF0-\xF7].../s','', $str);

}

 

• 较慢，参考用：2s

function removeByte4_2($str){

return preg_replace('/[\x{10000}-\x{10FFFF}]/u','', $str);

}

• 慢，但方便对特殊字符做不同替换：3s

function removeByte4_1($str){//移除utf-8编码中4字节及以上的字符

mb_internal_encoding("UTF-8");

$len = mb_strlen($str);

$res = '';

for($i=0;$i<$len;$i++){

$t = mb_substr($str,$i,1);

$res .= strlen($t)<=3?$t:'';

}

return $res;

}

• 极慢，不具使用价值，仅参考：9s

function remove_4_byte($string) {

$char_array = preg_split('/(?<!^)(?!$)/u', $string );

$len = count($char_array);

for($x=0;$x<$len;$x++) {

if(strlen($char_array[$x])>3) {

$char_array[$x] = "";

}

}

return implode($char_array, "");

}