作者： 朱兵

Sublime入门

目录

文档

参考资料

激活码

插件

常见问题

  1. 如何更改Markdown背景颜色？
    选择配置文件：Preferences -> Package Settings -> Markdown Editing
    更改用户配置,粘贴到json配置中即可
    "color_scheme": "Packages/MarkdownEditing/MarkdownEditor-Dark.tmTheme",

  2. 汉化版Package Control无法使用？
    建议升级最新版

  3. 每次要手动保存，太麻烦？
    请下载auto-save插件

postman入门

目录

文档

常见问题

  1. 沙箱中如何使用jquery? 如 $.each？
    说明：jQuery已经不被推荐,取而代之的是cheerio。
    使用方法：$.each => _.forEach
    官方说明
    文档

  2. postman 设置格式，每次都要手动转换成json？
    说明：postman 返回格式是auto,会自动识别，但是效果不好，会把json当初字符串来解析。
    解决办法：在设置更改格式为json

  3. postman可以用来做啥？
    不仅仅可以用来测试接口，还可以做接口自动化测试，生成api文档。

  4. runner里执行的时候，一定要注意request的是要保存里的，不然更改了是无效的。send本身是直接起效

  5. 如何传递数据？
    键名设置为key[]
    array[] => 1
    array[] => 2

  6. 返回的数据有问题，怎么处理？

try {
    data = JSON.parse(responseBody);
} catch (err) {
    tests["返回错误格式"] = true;
}

Elk 6.1 安装使用说明

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

架构

Logstash

介绍

数据收集引擎：数据存储与数据流。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；

安装

1、 官方教程
2、 windows下安装Logstash

效果图

注意事项

1、windows下需要使用NSSM

Elasticsearch

安装

说明：Elastic 需要 Java 8 环境，注意要保证环境变量JAVA_HOME正确设置。
1、下载最新Elasticsearch版本，解压到指定目录。
2、在Unix上运行bin/elasticsearch或者在Windows上运行bin\elasticsearch.bat
3、打开：http://localhost:9200/

效果图

注意事项：

  1. 启动内存不足
# vi ${elasticsearch_HOME}/config/jvm.options
#-Xms2g
#-Xmx2g
-Xms512m
-Xmx512m
  1. 无法以root权限启动
# groupadd es
# useradd es -g es -p es
# chown es:es ${elasticsearch_HOME}/
# sudo su es
# ./bin/elasticsearch

安装elasticsearch-head

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
open http://localhost:9100/

谷歌插件安装链接

说明

Kibana

介绍

Kibana是个数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；

安装

kibana官方文档

效果图

注意事项

1、 需要cmd执行，直接运行.bat无效
2、 Logstash 6.1.1 issue with setup.bat file "could not find jruby in"
在7.0版本修复，下载master文件，并替换bin目录文件接口。

参考资料
1. Kibana入门教程
2. Logstash 最佳实践
3. kibana官方文档
4. ELK+Filebeat 集中式日志解决方案详解

mysql 如何恢复数据？

问题：

尝试还原数据库，之后提示 table doesn`t exist。

分析：

类型：MyISAM
数据：Table.frm，Table.MYD，Table.MYI
位置：/data/$databasename/目录中
说明：直接复制到mysql中data目录中，便可以使用

类型：InnoDB
数据文件：存储在/$innodb_data_home_dir/中的ibdata1文件中
结构文件：结构文件存在于/data/table_name.frm中
说明：不可以直接使用，并报错：table doesn`t exist

解决方法：

1、 停止 apache 和 mysql服务
2、 拷贝相应文件到/data/目录，在数据库引擎类型为InnoDB时，拷贝数据文件的同时还需要拷贝ibdata1。
3、 将根目录下的ib_logfile*文件全部删除掉

备注：

1、 正常的数据导出恢复，最好用工具，不要在data文件层面去恢复
2、 测试环境在windows下

参考文档：

1、 mysql 直接从date 文件夹备份表，还原数据库之后提示 table doesn`t exist的原因和解决方法

mysql binlog日志查看

基本说明

  1. 定义
    binlog基本定义：二进制日志，也成为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中；

  2. 作用
    可以用来查看数据库的变更历史（具体的时间点所有的SQL操作）、数据库增量备份和恢复（增量备份和基于时间点的恢复）、Mysql的复制（主主数据库的复制、主从数据库的复制）

  3. 格式
    binlog的格式有三种，这也反应了mysql的复制技术：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。相应地，binlog的格式也有三种：STATEMENT，ROW，MIXED。

  4. 日志位置
    修改my.cnf参数文件
    [mysqld]
    log-bin=mysql-bin

语法说明

  1. 命令
    binlog不能直接用文本的方式打开。
    使用show binlog events方式可以获取当前以及指定binlog的日志，不适宜提取大量日志。
    使用mysqlbinlog命令行提取(适宜批量提取日志)。

  2. 语法

    直接查看单个二进制日志文件：
    mysqlbinlog filename

    提取指定position位置的binlog日志
    --start-position="120" --stop-position="332"

    提取指定数据库binlog并转换字符集到UTF8
    --database=test --set-charset=utf8

    指定结束时间
    --start-datetime='2015-01-20 09:00:00' --stop-datetime='2015-01-20 12:59:59'

    指定row格式解码
    --base64-output=decode-rows

    -v用于输出基于row模式的binlog日志
    -vv为列数据类型添加注释

日志格式

# at 579744（开始位置）
#150905  7:02:54（时间截） server id 2543308（产生该事件的服务id）  end_log_pos（日志的结束位置） 579815  Query（事件类型）   thread_id=21    exec_time=0     error_code=0
SET TIMESTAMP=1441407774/*!*/;
BEGIN
执行的sql语句

其他说明

  1. 在数据出错的情况下，使用 MYSQLBINLOG 来恢复数据

开发过程的一些问题总结

一、大家都讨厌的deadline

要求：
1、进度安排
xx-xx号 完成xxx
2、结果：可展示的内容
后台是这样的，接口我写好了。

其实是个更简单的想法：
给自己要求2天完成，可能最后2天半才完成。
如果没定计划的话，可能需要3天。

TIP：你可能会觉得有和没有并没有区别，我觉得是给自己一种压力。

二、表达能力问题

暂时没找到解决方法

TIP: 理清自己的思路，就更容易清楚表达。
可以祭出流程图（龙哥带的，是会被影响的）
栗子：上次保险的流程逻辑

也可以在表达之前用纸理下思路。 龙哥，传哥都在用。
（15块钱一本500张）

三、反馈

如果可以，最好告诉别人结果：我处理完了。
而不是因为xxx，还没搞定。

四、看似莫名其妙的问题，怎么办？

1、自己搞不定，可以询问下其他人。
比如上周：js注入微博的一个链接。
到这周一才解决。

2、建议：追求一个结果。
什么结果？就是这个事情解决完了。

3、栗子
很久之前，sphinx，api不能用，因为版本问题。
常见的例子：测试上是好的，正式机上就不行。

4、不想去解决？
解决是一次进步。

五、项目方面

1、保证和需求方想法一致
实现方案有多种，要的是哪种？
有的时候接的需求，并不完成清楚，就去多问。
当然自己也要想清楚，不耽误他们的时间。

2、完成比完美重要
开发时：怎么方便，怎么来。
开发后：

3、开发后期，先完成的模块可以先上。

4、维护阶段
不能一次性解决，每次就优化一点。
比如上次吐槽apidoc不好用，可以想下其他方法。

linux定时任务的设置 crontab

一、基本使用
#分 时 日 月 周
* * * * * /home/blue/do/rsyncfile.sh

二、语法
crontab [-u username] [-l|-e|-r]
选项与参数：
-u ：只有 root 才能进行这个任务，亦即帮其他使用者创建/移除 crontab 工作排程；
-e ：编辑 crontab 的工作内容
-l ：查阅 crontab 的工作内容 （备份）
-r ：移除所有的 crontab 的工作内容，若仅要移除一项，请用 -e 去编辑

三、crontab的限制
/etc/cron.allow：将可以使用 crontab 的帐号写入其中，若不在这个文件内的使用者则不可使用 crontab；
/etc/cron.deny：将不可以使用 crontab 的帐号写入其中，若未记录到这个文件当中的使用者，就可以使用 crontab 。

以优先顺序来说， /etc/cron.allow 比 /etc/cron.deny 要优先， 而判断上面，这两个文件只选择一个来限制而已，因此，建议你只要保留一个即可， 免得影响自己在配置上面的判断！一般来说，系统默认是保留 /etc/cron.deny ，你可以将不想让他运行 crontab 的那个使用者写入 /etc/cron.deny 当中，一个帐号一行！
crontab3

四、crontab的原理
crond服务的最低侦测限制是分钟，所以cron 会每分钟去读取一次 /etc/crontab 与 /var/spool/cron 里面的数据内容，因此，只要你编辑完 /etc/crontab 这个文件，并且将他储存之后，那么 cron 的配置就自动的会来运行了！

执行脚本的用户：/var/spool/cron/
执行记录：/var/log/cron
crontab2

五、crontab 的格式

代表意义 分钟 小时 日期（天） 月份 周 命令
数字范围 0-59 0-23 1-31 1-12 0-7 执行的命令
周的数字为 0 或 7 时，都代表『星期天』的意思！

辅助字符

特殊字符 代表意义
*(星号) 任何时刻
,(逗号) 代表分隔时段
-(减号) 代表一段时间范围内
/n(斜线) 代表每隔n单位间隔

六、周与日月
周和日月不是 并 的关系，而是 或 的关系。

你可以分别以周或者是日月为单位作为循环，但你不可使用「几月几号且为星期几」的模式工作。
30 12 11 11 5 root echo "just test" <==这是错误的写法
本来你以为十一月十一号且为星期五才会进行这项工作，无奈的是，系统可能会判定每个星期五作一次，或每年的 11月 11 号分别进行。

测试：（12月8号为星期4）
25 18 08 12 4 (echo "just test1" >> /tmp/test.txt ) //执行一次
25 18 07 12 4 (echo "just test2" >> /tmp/test.txt ) //执行一次
25 18 08 12 5 (echo "just test3" >> /tmp/test.txt） //执行一次

七、& 后台执行命令
1. command & ： 后台运行，你关掉终端会停止运行
2. nohup command & ： 后台运行，你关掉终端也会继续运行

参考：http://www.cnblogs.com/lwm-1988/archive/2011/08/20/2147299.html

八、2>&1 含义
先看一个例子：
0 2 * * * echo "just test" >> /tmp/test.txt 2>&1 &
这句话的意思就是在后台执行这条命令，并将错误输出2重定向到标准输出1，然后将标准输出1全部放到/dev/null 文件，也就是清空。

注释：
数字的含义：
0表示 键盘输入
1表示 标准输出
2表示 错误输出
>>是追加内容
> 是覆盖原有内容

示例：
0 2 * * * sh /tmp/test.sh 1>/tmp/out.file &
0 2 * * * sh /tmp/test.sh 2>/tmp/out.file &
0 2 * * * sh /tmp/test.sh 2>/tmp/out.file 2>&1 &
1、将tesh.sh 命令输出重定向到out.file, 即输出内容不打印到屏幕上，而是输出到out.file文件中。
2、2>&1 是将错误输出重定向到标准输出。 然后将标准输入重定向到文件out.file。
3、&1 表示的是文件描述1，表示标准输出，如果这里少了&就成了数字1，就表示重定向到文件1。
4 、& ：后台执行

测试：
ls 2>1 ： 不会报没有2文件的错误，但会输出一个空的文件1；
ls xxx 2>1： 没有xxx这个文件的错误输出到了1中；
ls xxx 2>&1： 不会生成1这个文件了，不过错误跑到标准输出了；
ls xxx >out.txt 2>&1 == ls xxx 1>out.txt 2>&1： 因为重定向符号>默认是1，这句就把错误输出和标准输出都传到out.txt 文件中。

九、注意点：2>&1写在后面的原因
格式：command > file 2>&1 == command 1> file 2>&1
首先是command > file将标准输出重定向到file中， 2>&1 是标准错误拷贝了标准输出，也就是同样被重定向到file中，最终结果就是标准输出和错误都被重定向到file中。

如果改成： command 2>&1 >file
2>&1 标准错误拷贝了标准输出的行为，但此时标准输出还是在终端。>file 后输出才被重定向到file，但错误输出仍然保持在终端。
crontab1

微信支付成功后推荐关注栏目规则

QQ图片20161129172427

官网QA:
1.刷卡支付默认有推荐关注；
2.公众号支付和扫码支付需要5元以上才有推荐关注；（0.01就有推荐栏，第一次5元以上默认选中）
3.APP支付默认没有，需要申请配置，需要有一定用户规模才可以申请；
4.已经关注的不展示推荐栏
5.服务号未设置头像的在IOS不展示推荐关注栏；
6.用户取消过关注的默认不勾选；
7.服务商模式的，需要在特约商户开发配置页设置推荐关注APP id；
8.订阅号目前是不会有默认推荐关注的；
9.对于粉丝数大于 50W的公众号，有消息链接，朋友圈链接，公众号发起的jsapi支付场景，支付成功后不默认勾选关注。

客服说明：
微信支付后默认选中关注微信公众号需要的额外条件
1、第一次消费
2、消费金额需要5元以上

Json的使用

一、简介
JSON：JavaScript 对象表示法
JSON 是存储和交换文本信息的语法。类似 XML。
JSON 比 XML 更小、更快，更易解析。
JSON的媒体类型被定义为 application/json，而文件的后缀为.json。

二、应用
JSON的应用
1、接口
2、微信开发

XML的应用
1、我们一般用于sitemap较多
2、xmlrpc是使用http协议做为传输协议的rpc机制，使用xml文本的方式传输命令和数据。
备注：json和XML可以互转

和JavaScript

一、JSON - 转换为 JavaScript 对象
1、能够使用内建的 JavaScript eval(string)方法进行解析
原因：JSON 文本格式在语法上与创建 JavaScript 对象的代码相同。
由于这种相似性，无需解析器，JavaScript 程序能够使用内建的 eval() 函数，用 JSON 数据来生成原生的 JavaScript 对象。

ajax返回的是字符串，而不是json对象。
data = eval('('+data+')');

二、实例
var JSONObject=
{
"name":"Bill Gates", "street":"Fifth Avenue New York 666", "age":56, "phone":"555 1234567"
};

JSONObject.name //调用
三、语法规则
数据在名称/值对中
数据由逗号分隔
花括号保存对象
方括号保存数组
值/对象/数组

四、方法
1、JSON.parse()
parse用于从一个字符串中解析出json对象

例子：
var str = '{"name":"huangxiaojian","age":"23"}'
结果：
JSON.parse(str)
Object
age: "23"
name: "huangxiaojian"
proto: Object

2、JSON.stringify()
stringify()用于从一个对象解析出字符串

例子：
var a = {a:1,b:2}
结果：
JSON.stringify(a)
"{"a":1,"b":2}"

五、错误提示
1、
1
data不是正确的json格式，造成解析出错
2、
2

var a=JSON.parse('{"a":"aaaaa"}');//正确
var a=JSON.parse("{'a':'aaaaa'}");//错误

3、 Uncaught TypeError: Cannot use 'in' operator to search for '' in JSON string
解决方案：JSON字符串转换为JavaScript对象。
要修复它，通过标准JSON.parse()或jQuery 的 $.parseJSON 将其转换为JavaScript对象。
4、
4
var a = { };
var b = { a: a };
a.b = b;
JSON.stringify(a);

参考：https://segmentfault.com/a/1190000002532027

php中的json
一、注意点
1、json_last_error：返回最后发生的错误
2、json_decode 当第二个参数为 TRUE 时，将返回 array 而非 object 。
3、由于json只接受utf-8编码的字符，所以json_encode()的参数必须是utf-8编码，否则会得到空字符或者null。

4、PHP支持两种数组，一种是只保存"值"（value）的索引数组（indexed array），另一种是保存"名值对"（name/value）的关联数组（associative array）。
由于javascript不支持关联数组，所以json_encode()只将索引数组（indexed array）转为数组格式，而将关联数组（associative array）转为对象格式。
$arr = array('one', 'two', 'three');
echo json_encode($arr); //["one","two","three"]

$arr = array('1'=>'one', '2'=>'two', '3'=>'three');
echo json_encode($arr); // {"1":"one","2":"two","3":"three"}
数据格式从"[]"（数组）变成了"{}"（对象）。
如果你需要将"索引数组"强制转化成"对象"，可以这样写
echo json_encode(（object）$arr);
echo json_encode($arr,JSON_FORCE_OBJECT )

5、类的转换

{     
  "public_ex": "this is public" 
 }

除了公开变量（public），其他东西（常量、私有变量、方法等等）都遗失了。

二、错误
　　$json = "{ 'bar': 'baz' }"; 　　 　　//分割符只能用单引号　　
$json = '{ bar: "baz" }'; 　　 　　　　
$json = '{ "bar": "baz", }';

二、中文编码的问题
1、
function getJson($data){
if(version_compare('5.4',PHP_VERSION,'<')){
//5.4以上
return json_encode($data,JSON_UNESCAPED_UNICODE);
}else{
return urldecode(json_encode(url_encode($data)));
}
}

数据存的json格式，如果数据库存的是array
eval("\$session= $str;");

三、json格式的问题
微信放的json解析不了：
去除反斜杠 StripSlashes

其他补充：
json的校验
一个文本文档或字符串必须遵守JSON的语法定义，才能被视作一个有效的JSON文档。
http://www.jsonlint.com/
补充：
用 JSON 构建 API 的标准指南中文版
http://jsonapi.org.cn/

solr使用进阶

快速入门主要讲的是solr管理界面，并且已经利用给好的例子做简单的搜索。
接下要做的是利用数据库是数据来建议搜索。
 
索引mysql的数据 要怎么做？
官方文档也没有详细的说明，主要是修改solrconfig.xml和schema.xml
 
一、先看下路径问题：
为什么要先看路径，是因为有些需要自己去设置。

002oYysygy70MdCwKYa0a&690

bin 常用命令脚本

contrib 各种jar包

dist 各种jar包

server web服务器

solr 未来创建的core会在该目录下

configsets  solr配置集,新建的core可以从这里拷贝配置

二、创建一个搜索实例 

1、{solr安装路径}/server/solr/新建一个文件夹命名为test

2、拷贝{solr安装路径}/server/solr/configsets/sample_techproducts_configs中的conf文件夹到test目录下

3、在后台采用如下配置，然后点击【add core】按钮完成搜索实例的添加

4、solr5.3下自带db、mail、rss、solr、tika实例

目录结构
002oYysygy70MdNZO1593&690
三、配置分词
目前sphinx用的是mmseg分词，而solr支持的分词支持较多。

1、导入smartcn的jar包

在{solr安装路径}/server/solr/test/conf/solrconfig.xml加入如下代码

<lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lucene-libs/" regex=".*smartcn.*\.jar"></lib>

2、配置分词器

在{solr安装路径}/server/solr/test/conf/schema.xml加入如下代码

<fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100">
      <analyzer> 
          <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>
          <filter class="solr.LowerCaseFilterFactory"/>     
          <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>           
      </analyzer>
    </fieldType>

在{solr安装路径}/server/solr/test/conf/schema.xml加入如下代码

效果如图

002oYysygy70MdPaUWi3e&690

分词效果：这里的好处就是可以直接界面测试。
之前遇到的一个梗，就是123456qq
分词的结果一般都是123456和qq，所以搜123456q是搜不到的
002oYysygy70MdQ9T74ea&690
具体的分词效果，后期会再验证。这里只讲怎么配置。
四、配置导入功能

1、导入相关jar包

①mysql的jar包 

导入下载地址：https://dev.mysql.com/downloads/connector/j/

将jar放置到{solr安装路径}/dist目录下

在{solr安装路径}/server/solr/test/conf/solrconfig.xml加入如下代码

<lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql.*\.jar" />

②dataimporthandler包在{solr安装路径}/server/solr/test/conf/solrconfig.xml加入如下代码

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />
2、配置handler

在{solr安装路径}/server/solr/test/conf/solrconfig.xml加入如下代码

<requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">db-data-config.xml</str>
    </lst>
  </requestHandler>

3、配置数据源

在{solr安装路径}/server/solr/test/conf/下新建db-data-config.xml,配置如下:

002oYysygy70MdSCNgg44&690

002oYysygy70MdCwKYa0a&690

002oYysygy70MdSCNgg44

zzz

五、效率问题


第一次(本地)

002oYysygy70MdY8RkRc1&690

第二次（10w）

002oYysygy70MdZ0ivo12&690

第三次(100w)

002oYysygy70MdZX6nb0d&690

根据sphinx的记录
sphinx效率是5-8w docs/sec

solr是基于java单纯执行速度上比C写的sphinx慢
 
六、其他问题
1、导入不全的问题
选取的字段不能为空 如create_date为空，导入终止
2、solr的优势
sphinx的rotate选项可以动态更新索引
3、sphinx比solr建立索引的效率更快