许承胜

Mac m1开发

Wed, 01 Dec 2021 10:44:59 +0800

本人mac小白，今年十月份入手一台m1的mac，希望下面的内容对小白有所帮助

使用技巧，基础内容，我们不盲从，要理性，后续再跟进使用感受
软件安装
使用感受

使用技巧

忘记我的电脑，这里统一成访达：说实话用习惯windows的文件管理器，在打开mac的文件及其不方便。还好本人linux自认还是蛮可以的，我一般通过终端，访问文件，touch-新建文件，cp，mv-转移文件，cd-切换目录，vi-编辑文档，open . -打开当前位置目录。暂时整理这么多吧。对于一个有强迫症的患者，我对于没规划的东西极度不适，安装的软件，下载的文档，经常使用的资源统统需要管理起来。mac就没有那么多的规则
快捷键-必备cmd+S保存mc，md+A全选，cmd+C复制，cmd+X剪切，cmd+V粘贴，cmd+F查找，cmd+,打开preferance也就是打开设置界面，cmd+N打开新窗口，cmd+W关闭窗口，cmd+H隐藏窗口，cmd+Q退出程序，cmd+ctrl+F全屏，cmd+Tab切换程序，重要的我觉得只剩下复制，粘贴。再之后有一些开发实用技巧 Command+Option+J 打开javascript控制台，Command+Y 打开历史记录，Command+R 刷新

手势-神功能，不过我还是喜欢外接鼠标。

一个手指直接点击，类似Windows中鼠标左键功能，同时在苹果Safari等浏览器中，这个手势还支持快速查询功能；
一个手指轻轻点击，可以选中目标；

两个手指同时点击，类似Windows中鼠标右键功能；

两个手指上下拖移滑动，即可实现翻页；
两个手指分开或捏合，可以放大缩小图片、网页等内容；

两个手指旋转，可以旋转图片等对象；
两个手指从触控板右侧边缘向左滑动，可以调出通知窗口；

两个手指在网页中左右滑动，可以退出或前进网页；

三个手指左右滑动，可以在全屏应用桌相互切换；
三个手指向上滑动，可以打开所有正在使用的软件窗口；

三个手指向下滑动，可以打开同一个软件的不同窗口；

四个手指同时捏合，可以调出应用程序窗口；
四个手指同时张开，可以显示桌面；

标记-所有文件都可以进行标记用来快速查找

软件安装

macwk：https://www.macwk.com/

因为m1芯片很多软件不能在 Mac App Store 下载，然后这里网上评分还是蛮高的，postman，vscode，等都是在这里下载的

App Store下载，尽量使用这个，官方正版
具体软件安装

然后介绍一下我开发常用的软件:

mysql，我是继续使用navicat，奉劝大家不要尝试navicat15进行破解，太麻烦了。如果你想我贴给你试试

navicat 12,最好破解傻瓜式教程：http://www.pc6.com/mac/111878.html
navicat 15，用的不需要太香：https://www.yuque.com/docs/share/8ea8a6b5-984e-48a2-a228-07020f4e7628?# 《MAC激活navicat》

phpstrom，关于编辑器我是用 JetBrains Toolbox管理起来的,Mac破解稍微有点问题，具体我就不赘述，这块我也放俩种破解方法吧，关于汉化我也没找到很好的解决方法

免费激活日常维护：https://idea.medeming.com/tongyong/三种都在这 1. 日更正版激活的二维码 2. 永久激活到2089年，不稳 3. 无限试用30天版本
还有个人再用的更稳定的方式，这里后面单独出一版

termius，用习惯Xshell在Mac上使用termius没有一丝不习惯。只能说开发者更懂开发者

破解版地址：https://www.macappbox.com/a/Termius.html

docker，官网下载就好了，老版的Mysql在Mac M1芯片上运行是有点问题的，你可以官网找最新更新的mysql镜像。这边推荐dnmp

推荐dnmp，可以管理起来，但是感觉没啥大用处，用于多项目开发，可以Nginx管理起来，没必要的同学可以不关注：https://gitee.com/yeszao/dnmp

使用感受

总体感觉Mac使用起来真香，尤其是手势，不需要太强大，丝滑。

令人诟病的是使用Windows键盘，再转Mac不习惯。感觉通用机械键盘继续下去，差点感觉

三次握手四次挥手

Tue, 15 Jun 2021 19:47:01 +0800

带着问题进行阅读,收获会更大

请画出三次握手和四次挥手的示意图为什么连接的时候是三次握手?
什么是半连接队列?ISN(Initial Sequence Number)是固定的吗?
三次握手过程中可以携带数据吗?
如果第三次握手丢失了,客户端服务端会如何处理?
SYN攻击是什么?
挥手为什么需要四次?
四次挥手释放连接时,等待2MSL的意义?

1. 三次握手

三次握手(Three-way Handshake)其实就是指建立一个TCP连接时,需要客户端和服务器总共发送3个包.主要作用就是为了确认双方的接收能力和发送能力是否正常. 实质上其实就是连接服务器指定端口,建立TCP连接,并同步连接双方的序列号和确认号,交换TCP窗口大小信息

进行三次握手

第一次握手:客户端给服务端发一个 SYN 报文,并指明客户端的初始化序列号 ISN©.此时客户端处于 SYN_SEND 状态

首部的同步位SYN=1,初始序号seq=x,SYN=1的报文段不能携带数据,但要消耗掉一个序号

第二次握手:服务器收到客户端的 SYN 报文之后,会以自己的 SYN 报文作为应答,并且也是指定了自己的初始化序列号 ISN(s).同时会把客户端的 ISN + 1 作为ACK 的值,表示自己已经收到了客户端的 SYN,此时服务器处于 SYN_REVD 的状态.

在确认报文段中SYN=1,ACK=1,确认号ack=x+1,初始序号seq=y.

第三次握手:客户端收到 SYN 报文之后,会发送一个 ACK 报文,当然,也是一样把服务器的 ISN + 1 作为 ACK 的值,表示已经收到了服务端的 SYN 报文,此时客户端处于 ESTABLISHED 状态.服务器收到 ACK 报文之后,也处于 ESTABLISHED 状态,此时,双方已建立起了连接.

确认报文段ACK=1,确认号ack=y+1,序号seq=x+1(初始为seq=x,第二个报文段所以要+1),ACK报文段可以携带数据,不携带数据则不消耗序号.

1.1 为什么需要三次握手,两次不行吗?

第一次握手确定客户端发送能力,服务端接收能力,第二次握手确定服务端发送能力,客户端接收能力第三次确定双方的接收与发送是否正常

1.2 什么是半连接队列?

服务器第一次收到客户端的 SYN 之后,就会处于 SYN_RCVD 状态,此时双方还没有完全建立其连接,服务器会把此种状态下请求连接放在一个队列里,我们把这种队列称之为半连接队列. 服务器发送完SYN-ACK包,如果未收到客户确认包,服务器进行首次重传,等待一段时间仍未收到客户确认包,进行第二次重传.如果重传次数超过系统规定的最大重传次数,系统将该连接信息从半连接队列中删除.一般间隔时间指数增长

1.3 ISN(Initial Sequence Number)是固定的吗?

当一端为建立连接而发送它的SYN时,它为连接选择一个初始序号.ISN随时间而变化,因此每个连接都将具有不同的ISN

1.4 三次握手过程中可以携带数据吗?

其实第三次握手的时候,是可以携带数据的.但是,第一次、第二次握手不可以携带数据

1.5 SYN攻击是什么?

SYN攻击就是Client在短时间内伪造大量不存在的IP地址,并向Server不断地发送SYN包,Server则回复确认包,并等待Client确认,由于源地址不存在,因此Server需要不断重发直至超时,这些伪造的SYN包将长时间占用未连接队列,导致正常的SYN请求因为队列满而被丢弃,从而引起网络拥塞甚至系统瘫痪检测 SYN 攻击非常的方便

netstat -n -p TCP | grep SYN_RECV常见的防御 SYN 攻击的方法有如下几种:

缩短超时(SYN Timeout)时间
增加最大半连接数
过滤网关防护
SYN cookies技术

2. 四次挥手

建立一个连接需要三次握手,而终止一个连接要经过四次挥手(也有将四次挥手叫做四次握手的).这由TCP的半关闭(half-close)造成的.所谓的半关闭,其实就是TCP提供了连接的一端在结束它的发送后还能接收来自另一端数据的能力

第一次挥手: 客户端发送一个 FIN 报文,报文中会指定一个序列号.此时客户端处于 FIN_WAIT1 状态

即发出连接释放报文段(FIN=1,序号seq=u),并停止再发送数据,主动关闭TCP连接,进入FIN_WAIT1(终止等待1)状态,等待服务端的确认

第二次挥手: 服务端收到 FIN 之后,会发送 ACK 报文,且把客户端的序列号值 +1 作为 ACK 报文的序列号值,表明已经收到客户端的报文了,此时服务端处于 CLOSE_WAIT状态即服务端收到连接释放报文段后即发出确认报文段(ACK=1,确认号ack=u+1,序号seq=v),服务端进入CLOSE_WAIT(关闭等待)状态,此时的TCP处于半关闭状态,客户端到服务端的连接释放.客户端收到服务端的确认后,进入FIN_WAIT2(终止等待2)状态,等待服务端发出的连接释放报文段

第三次挥手: 如果服务端也想断开连接了,和客户端的第一次挥手一样,发给 FIN 报文,且指定一个序列号.此时服务端处于 LAST_ACK 的状态即服务端没有要向客户端发出的数据,服务端发出连接释放报文段(FIN=1,ACK=1,序号seq=w,确认号ack=u+1),服务端进入LAST_ACK(最后确认)状态,等待客户端的确认

第四次挥手: 客户端收到 FIN 之后,一样发送一个 ACK 报文作为应答,且把服务端的序列号值 +1 作为自己 ACK 报文的序列号值,此时客户端处于 TIME_WAIT 状态.需要过一阵子以确保服务端收到自己的 ACK 报文之后才会进入 CLOSED 状态,服务端收到 ACK 报文之后,就处于关闭连接了,处于 CLOSED 状态

即客户端收到服务端的连接释放报文段后,对此发出确认报文段(ACK=1,seq=u+1,ack=w+1),客户端进入TIME_WAIT(时间等待)状态.此时TCP未释放掉,需要经过时间等待计时器设置的时间2MSL后,客户端才进入CLOSED状态

2.1 挥手为什么需要四次?

因为当服务端收到客户端的SYN连接请求报文后,可以直接发送SYN+ACK报文.其中ACK报文是用来应答的,SYN报文是用来同步的.但是关闭连接时,当服务端收到FIN报文时,很可能并不会立即关闭SOCKET,所以只能先回复一个ACK报文,告诉客户端,“你发的FIN报文我收到了”.只有等到我服务端所有的报文都发送完了,我才能发送FIN报文,因此不能一起发送.故需要四次挥手

2.2 2MSL等待状态

TIME_WAIT状态也成为2MSL等待状态.每个具体TCP实现必须选择一个报文段最大生存时间MSL(Maximum Segment Lifetime),它是任何报文段被丢弃前在网络内的最长时间.这个时间是有限的,因为TCP报文段以IP数据报在网络内传输,而IP数据报则有限制其生存时间的TTL字段

2.3 四次挥手释放连接时,等待2MSL的意义?

MSL是Maximum Segment Lifetime的英文缩写,可译为“最长报文段寿命”,它是任何报文在网络上存在的最长时间,超过这个时间报文将被丢弃

2.4 为什么TIME_WAIT状态需要经过2MSL才能返回到CLOSE状态?

理论上,四个报文都发送完毕,就可以直接进入CLOSE状态了,但是可能网络是不可靠的,有可能最后一个ACK丢失.所以TIME_WAIT状态就是用来重发可能丢失的ACK报文

总结

《TCP/IP详解卷1:协议》有一张TCP状态变迁图,很具有代表性,有助于大家理解三次握手和四次挥手的状态变化.如下图所示,粗的实线箭头表示正常的客户端状态变迁,粗的虚线箭头表示正常的服务器状态变迁

数据脱敏

Wed, 02 Jun 2021 18:43:05 +0800

什么是数据脱敏

先来看看什么是数据脱敏？数据脱敏也叫数据的去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如手机号、银行卡号等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用。

像政府、医疗行业、金融机构、移动运营商是比较早开始应用数据脱敏的，因为他们所掌握的都是用户最核心的私密数据，如果泄露后果是不可估量的。

数据脱敏的应用在生活中是比较常见的，比如我们在淘宝买东西订单详情中，商家账户信息会被用 * 遮挡，保障了商户隐私不泄露，这就是一种数据脱敏方式。

数据脱敏又分为静态数据脱敏(SDM)和动态数据脱敏(DDM)：

静态数据脱敏（SDM）：适用于将数据抽取出生产环境脱敏后分发至测试、开发、培训、数据分析等场景。

有时我们可能需要将生产环境的数据 copy 到测试、开发库中，以此来排查问题或进行数据分析，但出于安全考虑又不能将敏感数据存储于非生产环境，此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。

这样脱敏后的数据与生产环境隔离，满足业务需要的同时又保障了生产数据的安全。

如上图所示，将用户的真实姓名、手机号、身份证、银行卡号通过替换、无效化、乱序、对称加密等方案进行脱敏改造。

动态数据脱敏

动态数据脱敏（DDM）：一般用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理，

例如：不同角色、不同权限所执行的脱敏方案会不同。

注意：在抹去数据中的敏感内容同时，也需要保持原有的数据特征、业务规则和数据关联性，保证我们在开发、测试以及数据分析类业务不会受到脱敏的影响，

使脱敏前后的数据一致性和有效性。总之一句话：你爱怎么脱就怎么脱，别影响我使用就行。

数据脱敏方案

数据脱敏系统可以按照不同业务场景自行定义和编写脱敏规则，可以针对库表的某个敏感字段，进行数据的不落地脱敏。

脱敏系统

数据脱敏的方式有很多种，接下来以下图数据为准一个一个的演示每种方案。

原始数据

1、无效化

无效化方案在处理待脱敏的数据时，通过对字段数据值进行截断、加密、隐藏等方式让敏感数据脱敏，使其不再具有利用价值。一般采用特殊字符（*等）代替真值，这种隐藏敏感数据的方法简单，但缺点是用户无法得知原数据的格式，如果想要获取完整信息，要让用户授权查询。

截断方式

比如我们将身份证号用 * 替换真实数字就变成了 "220724 ****** 3523"，非常简单。

隐藏方式

2、随机值

随机值替换，字母变为随机字母，数字变为随机数字，文字随机替换文字的方式来改变敏感数据，这种方案的优点在于可以在一定程度上保留原有数据的格式，往往这种方法用户不易察觉的。

我们看到 name 和 idnumber 字段进行了随机化脱敏，而名字姓、氏随机化稍有特殊，需要有对应姓氏字典数据支持。

随机值

3、数据替换

数据替换与前边的无效化方式比较相似，不同的是这里不以特殊字符进行遮挡，而是用一个设定的虚拟值替换真值。比如说我们将手机号统一设置成 “13651300000”。

数据替换

4、对称加密

对称加密是一种特殊的可逆脱敏方法，通过加密密钥和算法对敏感数据进行加密，密文格式与原始数据在逻辑规则上一致，通过密钥解密可以恢复原始数据，要注意的就是密钥的安全性。

对称加密

5、平均值

平均值方案经常用在统计场景，针对数值型数据，我们先计算它们的均值，然后使脱敏后的值在均值附近随机分布，从而保持数据的总和不变。

原始数据

对价格字段 price 做平均值处理后，字段总金额不变，但脱敏后的字段值都在均值 60 附近。

6、偏移和取整

这种方式通过随机移位改变数字数据，偏移取整在保持了数据的安全性的同时保证了范围的大致真实性，比之前几种方案更接近真实数据，在大数据分析场景中意义比较大。

比如下边的日期字段create_time中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

取整

数据脱敏规则在实际应用中往往都是多种方案配合使用，以此来达到更高的安全级别。

总结

无论是静态脱敏还是动态脱敏，其最终都是为了防止组织内部对隐私数据的滥用，防止隐私数据在未经脱敏的情况下从组织流出。所以作为一个程序员不泄露数据是最起码的操守。

好用高效的在线工具

Wed, 02 Jun 2021 18:08:36 +0800

在线画图工具

首先就是画图工具，我想了一下，程序员经常接触的无非也就是流程图、思维导图、原型图、UML图、网络拓扑图、组织结构图等等这些。

下面这三个在线画图网站我想应该足够了，其中那个processon是我用得最多的，历史文章中几乎所有相关的图形都是用它绘制，然后导出图片的

在线画图工具ProcessOn：https://www.processon.com/

在线画图工具draw.io：https://app.diagrams.net/

在线思维导图工具：http://www.mindline.cn/webapp

PlantUML在线编辑器：http://haha98k.com/

在线开发辅助工具

在做开发和写代码的过程中，经常要用到的辅助工具其实还挺多，这段时间我重点就在整理归纳这个。

以我个人的情况为例，日常开发经常会用到一些辅助工具我总结为8大类，包括：编解码工具、转换工具、正则工具、编译工具、网络工具、格式化工具、可视化工具、在线生成器、以及其他工具等等。

在线编解码工具

BASE64编解码工具：https://base64.supfree.net/

MD5编码工具：https://www.zxgj.cn/g/md5

AES/DES加解密：http://www.fly63.com/tool/cipher/

JWT解码工具：http://jwt.calebb.net/

ASCII编解码工具：https://www.matools.com/code-convert-ascii

Unicode编解码工具：https://www.zxgj.cn/g/unicode

UTF-8编解码工具：https://www.zxgj.cn/g/utf8

字符串编解码工具：https://www.zxgj.cn/g/enstring

URL编解码工具：http://tool.chinaz.com/tools/urlencode.aspx?jdfwkey=lbixz1

在线转换工具

在线ASCII码对照表：http://www.fly63.com/tool/ascii/

通用进制转换工具：https://www.zxgj.cn/g/jinzhi

在线浮点数十进制转换：http://www.binaryconvert.com/

RGB颜色转换：https://www.zxgj.cn/g/yansezhi

时间戳转换工具：https://www.zxgj.cn/g/unix

计量单位换算工具：http://www.fly63.com/tool/unitable/

在线JSON解析：http://www.json.cn/

在线JS代码格式化工具：https://prettier.io/playground/

SQL压缩/格式化工具：https://www.zxgj.cn/g/sqlformat

JSON和XML在线转换：https://www.zxgj.cn/g/jsonxml

JSON/YAML在线转换：http://www.fly63.com/tool/jsonyaml/

人民币大小写转换工具：http://www.fly63.com/tool/renmingbi/

正则表达式工具

正则表达式调试工具：https://regexr.com/

正则表达式可视化工具：https://jex.im/regulex/

网络工具

IP地址归属地查询：https://www.ip138.com/

IP地址查询：https://www.ipip.net/ip.html

HTTP在线接口测试工具：http://www.fly63.com/php/http/

在线编译运行工具

C#在线编译运行：https://rextester.com/

C/C++在线编译调试：https://www.onlinegdb.com/

在线编译工具套装：https://c.runoob.com/

可视化/格式化工具

在线前端编辑器: https://codepen.io/

在线数据可视化：https://flourish.studio/

在线JSON解析：http://www.json.cn/

在线CSS代码可视化工具：https://enjoycss.com/

XML格式化工具：https://www.zxgj.cn/g/xmlformat

在线JS代码格式化工具：https://prettier.io/playground/

SQL压缩/格式化工具：https://www.zxgj.cn/g/sqlformat

JSON和XML在线转换：https://www.zxgj.cn/g/jsonxml

JSON/YAML在线转换：http://www.fly63.com/tool/jsonyaml/

在线生成器

UUID在线生成器：https://www.zxgj.cn/g/uuid

随机数生成器：https://www.zxgj.cn/g/suijishu

其他常用工具

在线Nginx配置工具：https://nginxconfig.io/

在线对比工具：http://www.fly63.com/tool/textdiff/

在线Chrome浏览器插件：https://www.crx4chrome.com/

在线接口文档管理工具：http://www.docway.net/

在线素材工具

如果你也写文章，或者做视频，那就一定少不了要找素材，包括各种图片、背景、emoji表情、表情包、壁纸、视频、gif图等等。

如此一来，那些好用的在线素材工具就必不可少了，比如像各种表情包工具、icon图标库、矢量图库、图片素材库、壁纸库等等。

免费透明背景图片素材：http://pngimg.com/

Emoji表情搜索：https://emoji.svend.cc/

Emoji表情包下载：https://emojiisland.com/

open source icons：https://feathericons.com/

阿里巴巴矢量图标库：https://www.iconfont.cn/

表情包在线网站：https://fabiaoqing.com/

免费PNG图片库：https://pluspng.com/

ICON图标在线下载：https://www.iconfinder.com/

极简壁纸：https://bz.zzzmh.cn/

Wallpaper Abyss壁纸：https://wall.alphacoders.com

Pixabay图片素材库：https://pixabay.com/zh/

Unsplash图片素材库：https://unsplash.com

Pexels图片素材库：http://www.pexels.com

NASA图片视频素材库：https://images.nasa.gov

设计制作类工具

同样，对于那些文章创作者和视频创作者而言，设计封面，做海报，设计LOGO，图片美化等等基本也是刚需。

这样大概率日常会用到一些简易好上手的在线设计制作类工具，比如在线P图、音/视频轻量化剪辑、logo制作、海报设计制作、图片美化、在线图片转换或生成等等，毕竟不是每时每刻我们都需要那种重量级的本地软件。

在线PS：https://www.uupoop.com/

在线音频剪辑：https://www.weixinsyt.com/

在线视频剪辑：https://www.kapwing.com/

免费logo在线制作：http://www.uugai.com/

艺术字体在线生成：https://www.qt86.com/

在线表格转换工具: https://tableconvert.com/

在线海报设计工具: https://www.designcap.com/

图片智能放大工具：https://bigjpg.com/

二维码美化器：https://mh.cli.im/

在线代码截图工具：https://carbon.now.sh/

在线抠图工具：https://www.remove.bg/zh

ICO图标在线生成：http://www.fly63.com/php/ico/

SVG转PNG工具：http://www.fly63.com/tool/svg2img/

视频转GIF工具：http://www.fly63.com/tool/giftxt/

二维码在线生成器：http://www.fly63.com/tool/ewm/

二维码在线解码：http://www.fly63.com/php/decoder/

写作辅助工具

在我写文章的过程中经常会用到和写作相关的辅助工具，比方说：字数统计工具、Markdown格式的文章排版工具、图床网站、代码截图工具等等，所以下面这些在线工具就能很好地满足我的需求

在线字数统计：https://www.eteste.com/

mdnice markdown排版工具：https://mdnice.com/

md2all markdown排版工具：http://md.aclickall.com/

在线图床神器：https://picx.xpoet.cn/

在线免费图床：https://sm.ms/

图壳图床：https://imgkr.com/

在线代码截图工具：https://carbon.now.sh/

在线短链接工具：https://urlify.cn/

在线文本替换：http://www.fly63.com/tool/textreplace/

在线办公工具

这部分在线工具主要用来处理一些和文档以及文稿相关的事情，经常用到的比如：在线的全套pdf处理和转换工具、各种各样多媒体文件间的相互转换工具、在线识别工具、在线压缩工具等等。

pdf在线处理工具1：https://smallpdf.com/cn/pdf-tools

pdf在线处理工具2：https://tools.pdf24.org/zh/

pdf转word在线工具：https://www.pdftoword.com/

在线多媒体转换器合集：https://cn.office-converter.com/

在线文字识别工具：https://ocr.wdku.net/

在线文件压缩工具：https://docsmall.com/

学习类文件转换工具: https://www.easeconvert.com/

文档笔记工具

好记性不如烂笔头，作为一个学习者，我觉得记笔记是必不可少的步骤。当然现在基本都做电子笔记和电子文档比较多。

现如今各式各样优秀的文档工具和笔记软件鳞次栉比，好用的也有很多，整理成如下列表，这东西各有长处，使用哪个最合意还得看个人习惯和需求了。

印象笔记：https://www.yinxiang.com/

有道笔记：https://note.youdao.com/

OneNote：https://www.onenote.com/

幕布：https://mubu.com/

为知笔记：https://www.wiz.cn/

石墨文档：https://shimo.im/

Simplenote：https://simplenote.com/

语雀：https://www.yuque.com/

编程学习网

哔哩哔哩：https://www.bilibili.com/

C语言网：https://www.dotcpp.com/

cppreference：http://zh.cppreference.com/

中国大学MOOC：https://www.icourse163.org/

牛客网：www.nowcoder.com

网易公开课：open.163.com

CodeGym：https://codegym.cc/

BeginnersBook：https://beginnersbook.com/

JavaSED：http://www.javased.com/

codecademy：https://www.codecademy.com/

Coursera：https://www.coursera.org/

StackOverFlow：https://stackoverflow.com/

LeetCode：https://leetcode-cn.com/

LintCode：https://www.lintcode.com/

在线教程和文档

Git中文教程：https://git-scm.com/book/zh/v2

SVN中文手册：http://svnbook.red-bean.com/nightly/zh/index.html

jQuery API中文文档：https://jquery.cuishifeng.cn/

Nginx中文文档：https://www.nginx.cn/doc/index.html

Kafka中文文档：https://kafka.apachecn.org/

Mybatis中文文档：https://mybatis.org/mybatis-3/zh/index.html

微信小程序官方文档：https://developers.weixin.qq.com/miniprogram/dev/framework/

Nodejs中文教程文档：http://nodejs.cn/learn

Apache Web Server文档：http://httpd.apache.org/docs/

Spring文档中文版：https://www.springcloud.cc/spring-reference.html

Golang标准库文档中文版：https://studygolang.com/pkgdoc

Java 8官方文档：https://docs.oracle.com/javase/8/docs/api/index.html

Maven官方文档：http://maven.apache.org/guides/

Tomcat 8官方文档：http://tomcat.apache.org/tomcat-8.0-doc/index.html

Spring Boot官方文档：https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/

RabbitMQ官方文档：https://www.rabbitmq.com/documentation.html

RocketMQ官方文档：http://rocketmq.apache.org/docs/quick-start/

Dubbo中文文档：https://dubbo.apache.org/zh/docs/

Netty官方文档：https://netty.io/wiki/index.html

Elasticsearch官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

Spring Cloud官方文档：https://spring.io/projects/spring-cloud

Docker官方文档：https://docs.docker.com/get-started/

kubernetes中文文档：https://kubernetes.io/zh/docs/home/

thymeleaf官方文档：https://www.thymeleaf.org/documentation.html

Vue.js中文文档：https://cn.vuejs.org/v2/guide/

React.js官方文档：https://reactjs.org/docs/getting-started.html

Jenkins中文文档：https://www.jenkins.io/zh/doc/

阿里云OSS

Wed, 21 Apr 2021 15:41:36 +0800

OSS即Object Storage Service(对象存储服务)是提供海量数据存储,安全,低成本,高可靠的云存储服务.本来将为你介绍OSS.

阿里云介绍的关于产品优势：

有配套的SDK,成型的自动化工具,运维操作简化
弹性伸缩的特点保证用户在遇到如高并发,高流量场景时,能够自动帮用户做一些弹性调配
数据迁移便捷,阿里云支持多种工具,也提供在线迁移服务

一. 开通OSS及创建Bucket

存储空间(Bucket)

存储空间是用户用于存储对象(Object)的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

二. PHP安装OSS

OSS PHP SDK适用于PHP 5.3以上版本,主要有三种安装方式.首选composer方式

composer方式

1. composer require aliyuncs/oss-sdk-php

2. composer.json文件中添加如下依赖关系

"require": {
        "php": ">=7.1.3",
        "ext-json": "*",
        "aliyuncs/oss-sdk-php": "2.3",
    }

运行composer install，安装依赖

phar方式

在GitHub中选择相应的版本并下载打包好的phar文件

在代码中引入phar文件

require_once '/path/to/oss-sdk-php.phar';

源码方式

在GitHub中选择相应版本并下载打包好的zip文件

解压后的根目录中包含一个autoload.php文件，在代码中引入此文件：

require_once '/path/to/oss-sdk/autoload.php';

三. 使用自有域名访问

1. 绑定自定义域名

OSS管理控制台=>单击Bucket列表=>单击目标Bucket名称=>传输管理=>域名管理=>单击绑定域名=>在绑定域名面板,输入要绑定的域名

2. 添加CNAME记录

云解析DNS控制台=>解析设置=>添加记录=>单击确定

3. 通过自有域名访问

四. 访问控制

用户签名验证: OSS通过使用AccessKey ID、AccessKey Secret对称加密的方法来验证某个请求的发送者身份
在Header中包含签名: 您可以在HTTP请求中增加 Authorization 的Header来包含签名（Signature）信息，表明这个消息已被授权
在URL中包含签名: 除了使用Authorization Header，您还可以在URL中加入签名信息，以便将该URL转给第三方实现授权访问
Bucket权限控制: 对象存储OSS提供Bucket级别的权限访问控制

场景: 需要对图片和文件进行15分钟过期处理

选型:

用户签名验证: 长度太长,不方便使用,
在Header中包含签名: 安全可靠,调试困难
在URL中包含签名: 暴露AccessKeyId及过期时间.符合应用场景
Bucket权限控制: Bucket目前有三种访问权限：public-read-write(公共读写)，public-read(公共读，私有写)和private(私有读写)

在URL中包含签名: vendor/aliyuncs/oss-sdk-php/src/OSS/OssClient.php 下signUrl方法

/**
     * 支持生成get和put签名, 用户可以生成一个具有一定有效期的
     * 签名过的url
     *
     * @param string $bucket
     * @param string $object
     * @param int $timeout
     * @param string $method
     * @param array $options Key-Value数组
     * @return string
     * @throws OssException
     */
    public function signUrl($bucket, $object, $timeout = 60, $method = self::OSS_HTTP_GET, $options = NULL)
{
        $this->precheckCommon($bucket, $object, $options);
        //method
        if (self::OSS_HTTP_GET !== $method && self::OSS_HTTP_PUT !== $method) {
            throw new OssException("method is invalid");
        }
        $options[self::OSS_BUCKET] = $bucket;
        $options[self::OSS_OBJECT] = $object;
        $options[self::OSS_METHOD] = $method;
        if (!isset($options[self::OSS_CONTENT_TYPE])) {
            $options[self::OSS_CONTENT_TYPE] = '';
        }
        $timeout = time() + $timeout;
        $options[self::OSS_PREAUTH] = $timeout;
        $options[self::OSS_DATE] = $timeout;
        $this->setSignStsInUrl(true);
        return $this->auth($options);
    }

五. 注意

OSS 上传限制

通过简单上传、表单上传、追加上传的方式上传文件,单个文件的大小不能超过5 GB；
通过分片上传的方式上传文件，单个文件的大小不能超过48.8 TB
通过控制台更改文件类型（使用CopyObject接口），文件的大小不能超过1 GB。
通过控制台批量删除文件，文件的个数不能超过100个。
如果上传同名文件，已有文件将被覆盖。
文件删除后无法恢复。

图片处理

图片格式只支持JPG、PNG、BMP、GIF、WebP、TIFF
原图大小不能超过20 MB

使用

生命周期规则: 定期将非热门数据转换为低频访问、归档存储或冷归档存储，将不再需要访问的数据删除，让您更高效地管理您存储的数据，节省大量人力及存储成本
图片处理: 对存储在OSS上的图片进行格式转换、缩放、裁剪、旋转、添加水印等各种操作
内容分发网络CDN: 将OSS资源缓存到各区域的边缘节点，利用边缘节点缓存的数据，提升同一个文件，被边缘节点客户大量重复下载的体验
E-MapReduce: 构建于ECS上的大数据处理的系统解决方案，基于开源的Apache Hadoop和Apache Spark，方便您分析和处理自己的数据
媒体处: ：将存储于OSS的音视频转码成适合在PC、TV以及移动终端上播放的格式。并基于海量数据深度学习，对音视频的内容、文字、语音、场景多模态分析，实现智能审核、内容理解、智能编辑
OSS提供图形化管理工具ossbrowser、命令行管理工具ossutil、FTP管理工具ossftp等各种类型的管理工具

Phpstrom 的插件推荐

Tue, 09 Feb 2021 18:38:47 +0800

一. Translation最优秀的翻译插件

特性:多翻译引擎 Google翻译有道翻译百度翻译多语言互译文档翻语音朗读自动选词自动单词拆分单词本

安装:通过 Settings -> Plugins -> Marketplace 进入插件市场选择Translation并下载安装，完成后重启就生效了。

项目地址:

github：https://github.com/YiiGuxing/TranslationPlugin

项目介绍：http://yiiguxing.github.io/TranslationPlugin

兼容编辑器: IntelliJ IDEA, PhpStorm, WebStorm, PyCharm, RubyMine, AppCode, CLion, Gogland, DataGrip, Rider, MPS, Android Studio

使用: 可以使用快捷键: Ctrl+Shift+Y呼出如下翻译界面.

可以使用快捷键: Ctrl+Shift+O呼出如下翻译界面

二. 在phpstorm上安装代码规范检查工具

安装:

1. 安装phpcs

使用composer全局安装phpcs

composer global require "squizlabs/php_codesniffer="

在windows系统，全局安装的话会在C:\Users\{user name}\AppData\Roaming\Composer\vendor\bin下生成一个phpcs.bat文件，这个是phpstorm后续设置需要用到的文件

2. phpstorm设置

打开phpstorm点击 File->Settings->Languages & Frameworks->PHP->Code Sniffer点击Configuration右侧的按钮

a. 选择PHP Code Sniffer (phpcs) path:的路径，就是刚才composer之后生成的那个phpcs.bat的路径。

b. 选择之后点击Validate验证成功

c. 节点点击Editor->Inspections展开点击右侧的PHP

d. 勾选PHP Code Sniffer Validation 选择右侧的PSR2

效果如下图所示，如果写的代码不符合psr2编码风格规范的时候，该行代码会有波浪线，点击波浪线可以查看提示信息，根据信息我们修改就可以写出优雅的代码了

左侧的写法不规范,idea会给出提示.右侧的线是一行超出80个字符就报错,再然后其他功能自己体会去吧.

安装详情参照:

https://www.php.cn/php-weizijiaocheng-390263.html

三. 破解

第一步，下载JetbrainsIdesCrack-4.2-release，

链接：https://pan.baidu.com/s/1Jb2BEHTINon-SWZbhi-9ww

提取码：bdud

第二步，将下载的jar扔到IDEA的bin目录下，如图

第三步，如果电脑是64位的就编辑idea64.exe.vmoptions文件，32位编辑idea.exe.vmoptions这个文件，在最后面添加：-javaagent:C:\Users\Vipthink\AppData\Local\JetBrains\Toolbox\apps\PhpStorm\ch0\202.7319.77\bin\JetbrainsIdesCrack-4.2-release.jar，bin前面替换成idea的安装目录，后面替换成下载到的jar名称。

第四步，启动idea填写注册码。可以通过lanyus大神提供的在线生成注册码的工具生成注册码，地址是：http://idea.lanyus.com/，点击下方“获取注册码”，即可获取注册码。

IDEA的快捷键网上就很多了,附上俩个:

https://www.open-open.com/lib/view/open1396578860887.html

https://www.jianshu.com/p/ce91cea16c60

Phpstrom关于Git的简单介绍

Tue, 09 Feb 2021 15:21:56 +0800

此文只是带大家简单的了解一下IDEA关于Git的操作,详细的处理未介绍.总之多用多看多深究. 用IDEA的一个痛点是改代码之前不喜欢切换分支.

一. Git目录

1. commit File: 修改代码提交本地仓库

在IDEA中，我们会看到文件被标识着不同颜色：红色，绿色，蓝色。它们分别代表什么意思呢？

红色：未被版本控制的文件，即未添加到版本控制的文件，例如我们添加到ignore中的文件。
绿色：新加入版本的文件，即我们新创建的文件，还未提交到远程仓库。
蓝色：修改过的文件，即远程仓库中已有该文件，我们这次对它进行了修改，但是还未提交。

2. Add: 把本地文件从工作目录添加到本地仓库的stage区，对应Git的Add命令

3. Annotate: 分析此文件

4. compare with the same repository version: 与当前同版本号的资源比较

5. Compare with Branch…：与远程分支比较。我们提交前可以通过此功能比较下我们工作目录中代码和远程分支代码的异同。

6. Show History：查看历史修改版本记录。

7. Revert：回滚，会将你的本地修改回滚。

8. Repository：各种仓库命令。

二. Git提交树

命令: git log --oneline --graph --decorate --all

Git提交树在Git的使用是非常重要的,用于排查哪一步出现问题,列如场景,中间提交一个不着急上线的版本分支到release分支上,需要紧急撤回等.不深究水太深,没事多看看

三. 分支操作

1. 当我想从远程仓库里拉取一条本地不存在的分支时

git checkout -b 本地分支名 origin/远程分支名

如果出现提示：

fatal: Cannot update paths and switch to branch 'dev2' at the same time.Did you intend to checkout 'origin/dev2' which can not be resolved as commit?

表示拉取不成功。我们需要执行

git fetch# 是将远程主机的最新内容拉到本地,用户在检查了以后决定是否合并到工作本机分支中。

git checkout -b 本地分支名 origin/远程分支名

Checkout: 切换本地分支
Show DIff with Working Tree: 比较俩分支文件改动
Merge into Current: 合并到当前分支
Delete: 删除当前分支

四. Annotate-分析此文件

Close Annotation: 关闭左侧的改动记录
View: 左侧展示的数据
Show in Git Log: 展示此文件的更改提交树

五. 合并(Merge)

在开发中难免会遇到多人修改同一个文件，造成版本冲突，这时候如果需要程序正常运行并且确保功能完整就需要开发人员手动解决这些冲突，并将代码合并，得到最终一致性的代码最后再push到远程。

而这一块往往对很多人来说是最头疼的，操作不当可能会造成代码紊乱造成事故，其实理解了原理，熟练之后其实也没那么复杂。

PHP面试基础

Sun, 13 Dec 2020 17:41:15 +0800

1. mysql 事务的四个特征(ACID)

原子性:事务是数据库的逻辑工作单位,事务中包含的各操作要么都做,要么都不做

一致性:事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态.因此当数据库只包含成功事务提交的结果时,

就说数据库处于一致性状态.如果数据库系统运行中发生故障,有些事务尚未完成就被迫中断,这些未完成事务对数据库所做的修改有一部分已写入物理数据库,

这时数据库就处于一种不正确的状态,或者说是不一致的状态

隔离线:一个事务的执行不能其它事务干扰,即一个事务内部的操作及使用的数据对其它并发事务是隔离的,并发执行的各个事务之间不能互相干扰

持续性:指一个事务一旦提交,它对数据库中的数据的改变就应该是永久性的,接下来的其它操作或故障不应该对其执行结果有任何影响

2. Mysql的四种隔离级别

Read Uncommitted (读取未提交内容)

在该隔离级别,所有事务都可以看到其它未提交事务的执行结果,本隔离级别很少用于实际应用,因为它的性能也不比其它级别好多少.读取未提交的数据,也称为脏读(Dirty Read)

Read Committed (读取提交内容)

这是大多数数据库系统的默认隔离级别(但不是Mysql默认的),它满足了隔离的简单定义:一个事务只能看见已经提交事务所做的改变,这种隔离级别也支持所谓的不可重复读(Nonrepeatable Read),因为同一事务的其它实例在该实例处理其间可能会有新的commit,所以同一select可能返回不同结果

Repeatable Read (可重读)

Mysql默认事务隔离级别,它确保同一事务的多个实例在并发读取数据时,会看到同样的数据行,不过理论上,这会导致另一个棘手的问题: 幻读 (Phantom Read) .简单的说,幻读指当用户读取某一范围的数据行时,另一个事务又在该范围内插入了新行,当用户在读取该范围的数据行时,会发现新的幻影行,InnoDB和Falcon存储引擎通过多版本并发控制(MVCC)机制解决了该问题

Serializable (可串行化)

这是最高的隔离级别,它通过强制事务排序,使之不可能互相冲突,从而解决幻读问题,简言之,它是在每个读的数据行上加上共享锁,在这个级别,可能导致大量的超时现象和锁竞争

3. for循环跟 foreach 的原理

a. for循环的时候是按照数字递增的,因此for只能访问键为数字的数组,列如循环按照$i=0到$i=4去递增访问$arr中键为0到4的单元

但该数组中的键依次为:1,3,5,4,8. 而键值超过4的数组单元(5=>'b',8=>'d')不会被访问到,因为count($arr1)=5,故$i<5;

因此最后输出结果只有: a 22 c;对于$arr2中所有的键都是字符,并非数字,所以循环2中没有输出.

$arr1=array(1=>'a', 3=>22, 5=>'b', 4=>'c', 8=>'d');
$count1=count($arr1)
for($i=0,$i<$count1$i++){
    echo $arr1[$i].' ';  // a 22 c
}

b. foreach循环结构是按照数组内部的指针去循环的,当foreach开始执行时,数组内部的指针会自动指向第一个单元.

因此下一次循环中将会得到下一个单元,不需要按照数组的键来遍历整个数组,这也是foreach与for的不同之处.当然foreach只能用于数组和对象,并且由于foreach依赖内部数组指针,再循环中修改其值将可能导致意外的行为.

$arr2=array('a'=>'aaa', 'b'=>'bbb', 'c'=>'ccc', 'd'=>'ddd', 'e'=>'eee');
foreach($arr2 as $key=>$value){
    echo $key.'=>'.$value.' ';
}

注: for每次循环都操作对应索引下的值,对于每个值的改变也都会反映到被遍历的对象中,而foreach每次操作一个单元,都是将其索引和值分别取到变量中,

或者只取出值到一个变量中,然后单独操作放有索引和值的变量,不会影响到被遍历的对象本身.如果要在遍历过程中修改对象中的值,需要在声明是在变量前加&符号. 例如:foreach($array as &$value).

c. foreach原理: 实现foreach的核心就是如下3个函数

zend_do_foreach_begin
zend_do_foreach_cont
zend_do_foreach_end

其中，zend_do_foreach_begin (代码太长，直接写伪码) 主要做了：

记录当前的opline行数（为以后跳转而记录）

对数组进行RESET（讲内部指针指向第一个元素）

获取临时变量（$val）

设置获取变量的OPCODE FE_FETCH，结果存第3步的临时变量

记录获取变量的OPCODES的行数

而对于 zend_do_foreach_cont来说：

根据foreach_variable的u.EA.type来判断是否引用

根据是否引用来调整zend_do_foreach_begin中生成的FE_FETCH方式

根据zend_do_foreach_begin中记录的取变量的OPCODES的行数，来初始化循环(主要处理在循环内部的循环:do_begin_loop)

最后zend_do_foreach_end:

根据zend_do_foreach_begin中记录的行数信息，设置ZEND_JMP OPCODES

根据当前行数，设置循环体下一条opline, 用以跳出循环

结束循环（处理循环内循环:do_end_loop)

清理临时变量

当然，在zend_do_foreach_cont 和 zend_do_foreach_end之间会在语法分析阶段被填充foreach_satement的语句代码。

4. PHP的垃圾回收机制

原理 : php5和ph p7的垃圾回收机制都是利用引用计数

变量在zval的变量容器中结构: 类型,值,is_ref,refcount

zval中,除了存储变量的类型和值之外,还有is_ref字段和refcount字段

is_ref：是个bool值，用来区分变量是否属于引用集合。
refcount：计数器，表示指向这个zval变量容器的变量个数。

注意: php5.3中将一个变量 = 赋值给另一个变量时,不会立即为新变量分配内存空间,而是在原变量的zval中给refcount加1。只有当原变量或者发生改变时,才会为新变量分配内存空间,同时原变量的refcount减 1 。当然,如果unset原变量,新变量直接就使用原变量的zval而不是重新分配。&引用赋值时,原变量的is_ref 加1. 如果给一个变量&赋值,之前 = 赋值的变量会分配空间。

<?php
$a = 1;
xdebug_debug_zval('a');
echo PHP_EOL;
$b = $a;
xdebug_debug_zval('a');
echo PHP_EOL;
$c = &$a;
xdebug_debug_zval('a');
echo PHP_EOL;
xdebug_debug_zval('b');
echo PHP_EOL;
# 结果如下：
a:(refcount=1, is_ref=0),int 1
a:(refcount=2, is_ref=0),int 1
a:(refcount=2, is_ref=1),int 1
b:(refcount=1, is_ref=0),int 1

标量在zval容器例子

<?php
$a = 1;
xdebug_debug_zval('a');
echo PHP_EOL;
$b = $a;
xdebug_debug_zval('a');
# 结果如下：可以看到标量（布尔，字符串，整形，浮点型）不再计数了
a:(refcount=0, is_ref=0),int 1
a:(refcount=0, is_ref=0),int 1

复合类型数组和对象在zval容器例子

<?php
$a = array( 'meaning' => 'life', 'number' => 42 );
xdebug_debug_zval( 'a' );
echo PHP_EOL;
class Test{
    public $a = 1;
    public $b = 2;
    function handle(){
        echo 'hehe';
    }
}
$test = new Test();
xdebug_debug_zval('test');
# 结果如下：可以看出，数组用了比数组长度多1个zval存储。数组分配了三个zval容器：a   meaning  number
a:(refcount=1, is_ref=0),
array
  'meaning' => (refcount=1, is_ref=0),
string
'life' (length=4)
  'number' => (refcount=1, is_ref=0),
int 42
test:(refcount=1, is_ref=0),
object(Test)[1]
  public 'a' => (refcount=2, is_ref=0),
int 1
  public 'b' => (refcount=2, is_ref=0),

复合类型数组和对象在zval容器例子

<?php
$a = array( 'meaning' => 'life', 'number' => 42 );
xdebug_debug_zval( 'a' );
echo PHP_EOL;
class Test{
    public $a = 1;
    public $b = 2;
    function handle(){
        echo 'hehe';
    }
}
$test = new Test();
xdebug_debug_zval('test');
# 结果如下：可以明显的看到数组a的refcount=2，后经测试发现数组的refcount都是从2开始的
a: (refcount=2, is_ref=0)
array(size=2)
  'meaning'=>(refcount=1, is_ref=0) string 'life' (length=4)
  'number'=>(refcount=0,is_ref=0) int 42
test: (refcount=1, is_ref=0)
object(Test)[1]
  public 'a'=>(refcount=0, is_ref=0) int 1
  public 'b'=>(refcount=0, is_ref=0) int 2

说明: 在5.2及更早版本的PHP中,没有专门的垃圾回收器GC(Garbage Collection),引擎在判断一个变量空间是否能够被释放的时候是依据这个变量的zval的refcount的值,如果refcount为0,那么变量的空间可以被释放,否则就不释放,这是一种非常简单的GC实现.现在unset ($a),那么array的refcount减1变为1.现在无任何变量指向这个zval, 而且这个zval的计数器为1,不会回收.

结果：尽管不再有某个作用域中的任何符号指向这个结构(就是变量容器),由于子元素"1"仍然指向数组本身,所以这个容器不能被清除.因为没有另外的符号指向它,用户没有办法清除这个结构,结果就会导致内存泄漏.

在php5.3的GC中,针对的垃圾做了如下说明：

如果一个zval的refcount增加,那么此zval还在使用,肯定不是垃圾,不会进入缓冲区
如果一个zval的refcount减少到0,那么zval会被立即释放掉,不属于GC要处理的垃圾对象,不会进入缓冲区.
如果一个zval的refcount减少之后大于0,那么此zval还不能被释放,此zval可能成为一个垃圾,将其放入缓冲区.PHP5.3中的GC针对的就是这种zval进行的处理.

垃圾回收算法:

对每个根缓冲区中的根zval按照深度优先遍历算法遍历所有能遍历到的zval,并将每个zval的refcount减1,同时为了避免对同一zval多次减1(因为可能不同的根能遍历到同一个zval),每次对某个zval减1后就对其标记为“已减”.
再次对每个缓冲区中的根zval深度优先遍历,如果某个zval的refcount不为0,则对其加1,否则保持其为0.
清空根缓冲区中的所有根(注意是把这些zval从缓冲区中清除而不是销毁它们),然后销毁所有refcount为0的zval,并收回其内存.

如果不能完全理解也没有关系，只需记住PHP5.3的垃圾回收算法有以下几点特性：

并不是每次refcount减少时都进入回收周期,只有根缓冲区满额后在开始垃圾回收
可以解决循环引用问题
可以总将内存泄露保持在一个阈值以下

Git 分支设计规范

Sat, 05 Dec 2020 16:53:22 +0800

本文仅供参考,下面是系统开发过程中的常用环境.

简称	全称
DEV	Development environment
FAT	Feature Acceptance Test environment
UAT	User Acceptance Test environment
PRE	Multivariate Testing
PRO	Production environment

pro环境：生产环境,面向外部用户的环境,连接上互联网即可访问的正式环境。
pre环境：灰度环境,外部用户可以访问,但是服务器配置相对低,其它和生产一样。
uat 环境：用户验收测试环境,用于生产环境下的软件测试者测试使用。
fat环境：测试环境,外部用户无法访问,专门给测试人员使用的,版本相对稳定。
dev环境：开发环境,外部用户无法访问,开发人员使用,版本变动很大。

接下来，针对不同的环境来设计分支。

分支	名称	环境	可访问
master	主分支	PRO	是
release	灰度分支	PRE	是
hotfix	紧急修复分支	DEV	否
test	预上线分支	UAT	是
dev	测试分支	FAT	是
feature	需求开发分支	DEV	否

master分支

master 为主分支，用于部署到正式环境(PRO),一般由 release 或 hotfix 分支合并,任何情况下不允许直接在 master 分支上修改代码。

release分支

release为预上线分支,用于部署到灰度环境(PRE),始终保持与 master 分支一致,一般由 dev 或 hotfix 分支合并,不建议直接在 release 分支上直接修改代码。如果在 release 分支测试出问题,需要回归验证 dev 分支看否存在此问题。

hotfix 分支

hotfix 为紧急修复分支,命名规则为 hotfix- 开头。当线上出现紧急问题需要马上修复时,需要基于 release 或 master 分支创建 hotfix 分支,修复完成后,再合并到 release 或 dev 分支,一旦修复上线,便将其删除。

test 分支

test 为uat测试分支,dev联调测试通过后,告知相应测试人员并发送提测邮件,将dev分支合并到test分支,告知测试人员,进行测试验收。

dev 分支

dev 为测试分支,用于部署到测试环境(FAT)始终保持最新完成以及 bug 修复后的代码,可根据需求大小程度确定是由 feature 分支合并,还是直接在上面开发。一定是满足测试的代码才能往上面合并或提交。

feature 分支

feature 为需求开发分支,命名规则为 feature- 开头,一旦该需求上线,便将其删除。

紧急修复正式环境 Bug

需求在测试环节未测试出 Bug,上线运行一段时候后出现了 Bug,需要紧急修复的。我个人理解紧急修复的意思是没时间验证测试环境了,但还是建议验证下预上线环境。

如果 release 分支存在未测试完毕的需求,就基于 master 创建 hotfix-xxx 分支,修复完毕后发布到 master 验证,验证完毕后,将 master 代码合并到 release 和 dev 分支,同时删掉 hotfix-xxx 分支。
如果 release 分支不存在未测试完毕的需求,但 dev 分支存在未测试完毕的需求,就基于 release 创建 hotfix-xxx 分支,修复完毕后发布到 release 验证,后面流程与上线流程一致,验证完毕后,将 master 代码合并到 develop 分支,同时删掉 hotfix-xxx 分支。
如果 release 和 dev 分支都不存在未测试完毕的需求, 就直接在 develop 分支上修复完毕后,发布到 release 验证,后面流程与上线流程一致。

commit格式规范

commit -m “<type>(<scope>):<subject>”

格式说明：

type：用于说明本次commit的类别，只允许使用下面7个标识

feat:新功能（feature）
fix:修补bug
docs:文档（documentation）
style:格式（不影响代码运行的变动）
refactor:重构（即不是新增功能，也不是修改bug的代码变动）
test:增加测试
chore:构建过程或者辅助工具的变动

Scope: 可选参数

用于说明commit的影响范围，比如数据层、控制层、视图层等，视项目不同而不同

Subject: 是commit目的的简短描述，不超过50字符

以动词开头,第一个字母小写结果不加（.）

例如：feat:新增退费挽单跟进报表

分支管理规范

参与角色：开发、组长、测试、产品、运维

角色Gitlab中的职责：

开发：根据自己所做的功能，在本地创建feat分支

组长：根据排期创建dev[版本号]、pre[版本号]分支，并对dev、pre分支进行管理维护

测试：dev[版本号]分支开发完成，组长合并代码到test分支，测试仅对test分支进行测试，测试完成之后，通知组长将功能合并到pre[版本号]

产品：在pre环境进行验收，验收通过通知组长。

运维：对pre环境、生产环境进行发布。

分支提交流程：

常规提交：

说明：

1.需求评审，经过排期后，组长/负责人以上个版本的tag为蓝本创建dev[版本号]分支。

2.开发人员以当前需求所在版本，从dev拉去代码，本地开辟功能feat分支进行开发。

3.开发完成之后push代码至dev环境，开发人员进行自测和前端进行联调。

4.提测阶段，组长将dev的代码合并到test分支，test分支不允许直接修改。

5.测试通过以后，通知组长/负责人将代码合并至pre环境，产品/业务方在pre环境验收，验收通过组长/负责人将pre分支合并至master分支。

6.上线完毕之后需要对上线的msater打tag标记。

7.上线完毕之后，如果有在上线之前拉取的dev分支，需要将master代码合并至dev分支。

8.所有的代码修改都必须要从dev合并到test,不允许在dev以后的分支进行修改和提交。

线上BUG修复，紧急上线提交流程：

说明：

线上bug修复，需要从线上master分支拉取hotfix分支。

bug修复完成之后，由组长/负责人将代码合并到test分支。

测试人员在test分支进行测试，测试通过后通知组长/负责人将代码合并到pre分支。

产品/业务方pre环境验收，验收通过通知组长负责人将代码提交到master

master上线后打tag标签。

将master代码合并到现在正在开发的dev分支中

Redis基本类型底层原理

Wed, 30 Sep 2020 22:04:37 +0800

Redis为什么是单线程呢

1. 从redis的性能上考虑,单线程避免上下文频繁切换问题,效率高

2. 从redis的内部结构设计原理进行考虑,redis是基于Reactor模式开发了自己的网络事件处理器;这个处理器被称为文件事件处理器.而这个文件事件处理器是单线程的,

所以才叫redis的单线程模型

redis的单线程模型构造部分 最为核心的就是文件事件处理器

而文件事件处理器结构包含5个部分,其实真正包含为4个部分(不包含socket队列,加上主要方便后面理解):多个socket,io多路复用程序,socket队列,文件事件分派器,以及事件处理器.而事件处理器又分为3个部分为:

连接应答处理器,命令请求处理器,命令回复处理器

Redis单线程模型的大致工作流程及原理:

1. 首先在redis启动初始化的时候,redis会先将事件处理器中的连接应答处理器和AE_READABLE事件关联起来;

2. 如果客户端向redis发起连接,会产生AE_READABLE事件,产生该事件后会被IO多路复用程序监听到,然后IO多路复用程序会把监听到的socket信息放入到队列中,

事件分配器每次从队列中取出一个socket,事件分配器把socket给对应的事件处理器.

由于连接应答处理器和AE_READABLE事件在redis初始化的时候已经关联起来,所以由连接应答处理器来处理跟客户端建立连接,

然后通过serversocket创建一个与客户端一对一对应的socket,同时将这个socker01的AE_READABLE事件和命令请求处理器关联起来.

3. 当客户端向redis发生请求时(读,写操作),首先就会在对应的socket如socket01上会产生AE_READABLE事件(步骤),产生该事件后会被IO多路复用程序监听到(步骤b),然后IO多路复用程序会把监听到的socket信息放入队列中(步骤c),

事件分配器每次从队列中取出一个socket(步骤D),然后事件分派器吧socket给对应的事件处理器(步骤E).由于命令处理器和socket01的socket01上读取相关的数据,

如何执行相应的读写处理.操作执行完之后,redis就会将准备好相应的响应数据(如你在redis客户端输入set a 123回车时会看到响应OK),并将socket01的AE_WRITABLE事件和命令回复处理器关联起来.

4. 当客户端会查询redis是否完成相应的操作,就会在socket01上产生一个AE_WRITABLE事件,会由对应的命令回复处理器来处理,就是将准备好的相应数据写入socket01(由于socket连接是双向的),

返回给客户端,如写操作客户端会显示OK

5. 如果命令回复处理器执行完成后,就会删除这个socket01的AE_WRITABLE事件和命令回复处理器的关联.

6. 这样客户端就和redis进行了一次通信.由于连接应答处理器执行一次就够了,如果客户端再次进行操作就会由命令请求处理器来处理,反复执行

在redis中,并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创建了一个对象系统,这些对象系统也就是前面说的五大数据类型,每种数据类型都至少使用到了一种数据结构.

通过这五种不同类型的对象,redis可以在执行命令之前,根据对象的类型判断一个对象是否可以执行给定的命令,而且可以针对不同的场景,为对象设置多种不同的数据结构,从而优化对象在不同场景下的使用效率.

redis使用前面说的五大数据类型来表示键和值,每次在redis数据库中创建一个减值对时,至少会创建俩个对象,一个是键对象,一个是值对象,

而redis中的每个对象都是由redisObject结构来表示:

1. type属性: 对象的type属性记录了对象的类型,这个类型就是前面讲的五大数据类型:

注意:在redis中,键总是一个字符串对象,而值可以是字符串,列表,集合等对象,所以我们通常说的键为字符串键,表示的是这个键对应的值为字符串对象,

我们说的一个键为集合键时,表示的是这个键对应的值为集合对象.

2. encoding 属性和*prt指针

对象的prt指针指向对象底层的数据结构,而数据结构由encoding属性来决定.

每种类型的对象都至少使用了俩种不同的编码:

可以通过OBJECT ENCODING key命令查看值对象的编码:

下面在另外说一下五大数据类型实现原理:

字符串对象:

字符串是redis最基本的数据类型,不仅所有的key都是字符串类型,其他几种数据类型构成的元素也是字符串.注意字符串的长度不能超过512M

1. 编码

字符串对象的编码可以是int,raw或者embstr

a. int编码:保存的是可以用long类型表示的整数值.

b. raw编码:保存长度大于44字节的字符串

c. embstr编码:保存长度小于44字节的字符串

由上可以看出,int编码是用来保存整数值,raw编码是用来保存长字符串,而embstr是用来保存段字符串.其实embstr编码是专门用来保存短字符串的一种优化编码,raw和embstr的区别

embstr与raw都使用redisObject和sds保存数据,区别在于,embstr的使用只分配一次内存空间(因此redisObject和sds是连续的),

而raw需要分配俩次内存空间(分别为redisObject和sds分配空间).因此与raw相比,embstr的好处在于创建时少分配一次空间,删除时少释放一次空间,以及对象的所有数据连在一起,寻找方便.

而embstr的坏处也很明显,如果字符串的长度增加需要重新分配内存时,整个redisObject和sds都需要重新分配空间,因此redis中的embstr实现为只读.

ps：Redis中对于浮点数类型也是作为字符串保存的，在需要的时候再将其转换成浮点数类型。

2. 编码的转换

当 int 编码保存的值不再是整数，或大小超过了long的范围时，自动转化为raw。

对于 embstr 编码，由于 Redis 没有对其编写任何的修改程序（embstr 是只读的），在对embstr对象进行修改时，都会先转化为raw再进行修改，因此，只要是修改embstr对象，修改后的对象一定是raw的，无论是否达到了44个字节。

列表对象:

list 列表，它是简单的字符串列表，按照插入顺序排序，你可以添加一个元素到列表的头部（左边）或者尾部（右边），它的底层实际上是个链表结构。

1. 编码

列表对象的编码可以是 ziplist(压缩列表) 和 linkedlist(双端链表)

比如我们执行以下命令，创建一个 key = ‘numbers’，value = ‘1 three 5’ 的三个值的列表。

rpush numbers 1 "three" 5

ziplist 编码表示如下：

linkedlist表示如下：

2. 编码转换

当同时满足下面两个条件时，使用ziplist（压缩列表）编码：

　　1、列表保存元素个数小于512个

　　2、每个元素长度小于64字节

　　不能满足这两个条件的时候使用 linkedlist 编码。

　　上面两个条件可以在redis.conf 配置文件中的 list-max-ziplist-value选项和 list-max-ziplist-entries 选项进行配置。

哈希对象:

哈希对象的键是一个字符串类型，值是一个键值对集合。

1. 编码

哈希对象的编码可以是 ziplist 或者 hashtable。

当使用ziplist，也就是压缩列表作为底层实现时，新增的键值对是保存到压缩列表的表尾。比如执行以下命令：

hset profile name "Tom"

hset profile age 25

hset profile career "Programmer"

如果使用ziplist，profile 存储如下:

当使用 hashtable 编码时，上面命令存储如下：

hashtable 编码的哈希表对象底层使用字典数据结构，哈希对象中的每个键值对都使用一个字典键值对。

在前面介绍压缩列表时，我们介绍过压缩列表是Redis为了节省内存而开发的，是由一系列特殊编码的连续内存块组成的顺序型数据结构，相对于字典数据结构，压缩列表用于元素个数少、元素长度小的场景。其优势在于集中存储，节省空间。

2. 编码转换

和上面列表对象使用 ziplist 编码一样，当同时满足下面两个条件时，使用ziplist（压缩列表）编码：

　　1、列表保存元素个数小于512个

　　2、每个元素长度小于64字节

　　不能满足这两个条件的时候使用 hashtable 编码。第一个条件可以通过配置文件中的 set-max-intset-entries 进行修改

集合对象:

集合对象 set 是 string 类型（整数也会转换成string类型进行存储）的无序集合。注意集合和列表的区别：集合中的元素是无序的，因此不能通过索引来操作元素；集合中的元素不能有重复

1. 编码

集合对象的编码可以是 intset 或者 hashtable。

intset 编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合中。

hashtable 编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，这里的每个字符串对象就是一个集合中的元素，而字典的值则全部设置为 null。这里可以类比Java集合中HashSet 集合的实现，HashSet 集合是由 HashMap 来实现的，集合中的元素就是 HashMap 的key，而 HashMap 的值都设为 null。

sadd numbers 1 3 5

SADD Dfruits "apple" "banana" "cherry"

2. 编码转换

当集合同时满足以下两个条件时，使用 intset 编码：

1、集合对象中所有元素都是整数

2、集合对象所有元素数量不超过512

不能满足这两个条件的就使用 hashtable 编码。第二个条件可以通过配置文件的 set-max-intset-entries 进行配置。

有序集合对象:

和上面的集合对象相比，有序集合对象是有序的。与列表使用索引下标作为排序依据不同，有序集合为每个元素设置一个分数（score）作为排序依据.

1. 编码

有序集合的编码可以是 ziplist 或者 skiplist。

ziplist 编码的有序集合对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员，第二个节点保存元素的分值。并且压缩列表内的集合元素按分值从小到大的顺序进行排列，小的放置在靠近表头的位置，大的放置在靠近表尾的位置.

skiplist 编码的有序集合对象使用 zet 结构作为底层实现，一个 zset 结构同时包含一个字典和一个跳跃表：

字典的键保存元素的值，字典的值则保存元素的分值；跳跃表节点的 object 属性保存元素的成员，跳跃表节点的 score 属性保存元素的分值。

这两种数据结构会通过指针来共享相同元素的成员和分值，所以不会产生重复成员和分值，造成内存的浪费。

说明：其实有序集合单独使用字典或跳跃表其中一种数据结构都可以实现，但是这里使用两种数据结构组合起来，原因是假如我们单独使用字典，虽然能以 O(1) 的时间复杂度查找成员的分值，但是因为字典是以无序的方式来保存集合元素，所以每次进行范围操作的时候都要进行排序；假如我们单独使用跳跃表来实现，虽然能执行范围操作，但是查找操作有 O(1)的复杂度变为了O(logN)。因此Redis使用了两种数据结构来共同实现有序集合.

2. 编码转换

当有序集合对象同时满足以下两个条件时，对象使用 ziplist 编码：

1、保存的元素数量小于128；

2、保存的所有元素长度都小于64字节。

不能满足上面两个条件的使用 skiplist 编码。以上两个条件也可以通过Redis配置文件zset-max-ziplist-entries 选项和 zset-max-ziplist-value 进行修改。

有所不足的后期阿胜会慢慢优化