较通用web脚手架模板搭建
从这里开始就接触到以后写项目的思维了。
做一个web开发，那就要层次分明，要有个实现的规划，这通常也是有一个较为通用的模板的。
总的来说：不同的层次有不同的模块，每个模块有必须实现的功能，我们要做的就是填充每个模块。也就是每个模块就相当于给你需求，然后你用代码去把这些需求给实现，这就是做项目的过程。
内容层次划分
main函数（入口）
//1.加载配置文件
//2.日志初始化
//3.初始化mysql连接
//4.初始化redis连接
//5.注册路由
//6.启动服务
从这个地方作为项目的出发去构建，以上面的内容为框架模板来开发。
接下来一个个模块的讲
1.加载配置文件
这个模块的实现：利用viper来管理我们的配置文件。
这里的话我们就可以建两个模块，一个模块叫settings，就是作为我们的viper的操作配置。另一个模块叫conf，专门用来存放配置文件。
代码实现：
**现在的目标就是要在settings中去使用viper去管理这个配置文件config。
**
那就建一个conf文件夹，我们通常都用文件夹来作为模块 。
这个模块就用于存放我的配置文件。
建一个文件夹settings用于做viper的相关配置。
关于配置文件，那就是里面放了我整个web应用里面用的的所有的配置项信息。
类似这样的：
这用的是yaml格式。当然json格式也是可以的。
关于viper管理配置文件：
我个人总结逻辑实现分为两部分：
1.将viper与配置文件进行绑定，然后将配置文件读入viper中。
2.配置viper监控配置文件（这样的好处是当我们修改了配置文件，那可以使得我们的程序可以与修改后的配置文件进行同步）
package settings
import (
"fmt"
"github.***/fsnotify/fsnotify"
"github.***/spf13/viper"
)
func Init() (err error) {
viper.SetConfigFile("./conf/config.yaml")//设置目标配置文件的路径
err = viper.ReadInConfig()//配置文件读入到viper
if err != nil {
fmt.Printf("viper.ReadInConfig() failed,err:%v\n", err)
return
}
viper.WatchConfig()//启动监控
viper.OnConfigChange(func(in fsnotify.Event) {//这个相当于钩子函数。
//当配置文件被修改的时候，这个函数就会被调用，在这里你就可以实现当配置文件被修改了，你可以进行一些处理。后面会进一步说明。
fmt.Println("配置文件修改了...")
})
return
}
接下来就是main函数
这两个模块模块配置好了。那肯定要在main函数进行总体的启动：
// 1.加载配置文件
if err := settings.Init(); err != nil {
fmt.Printf("init settings failed,err:%v\n", err)
return
}
启动也很简单，就是直接调用这个模块就可以了。
2.日志初始化
接下来实现的就是日志模块
那就先建一个文件夹，logger，里面的函数实现logger的配置，这里我使用的是zap日志库，不用go原生的日志库。
package logger
import (
"***"
"***/http"
"***/http/httputil"
"os"
"runtime/debug"
"strings"
"time"
"github.***/spf13/viper"
"github.***/gin-gonic/gin"
"github.***/natefinch/lumberjack"
"go.uber.org/zap"
"go.uber.org/zap/zapcore"
)
var lg *zap.Logger //这是一个全局的logger，也就是说你在外部可以通过这个在Logger模块下创建的logger，你就等于可以使用zap.Logger日志库了。
//但是我们这里并不是这样做，原因就是麻烦，因为你要用这个日志库那么就要这么调用logger.lg这样，如果在有些场景下你的文件夹有很多层，那你要一层一层的调。
//这里我们用zap.ReplaceGloabls会更加方便，将在下面的代码说到。
// 初始化Logger
func Init() (err error) {
//核心是下面的zap.New()就可以创建logger。
//上面这些内容全是logger的参数配置项。
//用于定义日志消息的输出目标和方式，定义日志的文件名称，日志的最大大小，日志的最大备份数量，日志的最大保存天数。
writeSyncer := getLogWriter(viper.GetString("log.filename"),
viper.GetInt("log.max_size"),
viper.GetInt("log.max_backups"),
viper.GetInt("log.max_age"))
//这个就是定义日志的编码方式，也就是定义日志输出的具体字段和格式。
encoder := getEncoder()
//设置日志的级别，
var l = new(zapcore.Level)
//这个将配置项反序列化给l作为日志登记传入下面的core
err = l.UnmarshalText([]byte(viper.GetString("log.level")))
if err != nil {
return
}
//这个是构造核心，需要上面定义的三个参数
core := zapcore.NewCore(encoder, writeSyncer, l)
//这段代码才是创建logger，参数要传core。
lg = zap.New(core, zap.AddCaller())
//这个函数实现了全局替换，这样可以实现在任意一个包下调logger的更方便的方式。只需要调用zap.L()就可以拿到这个全局的logger。zap.AddCaller()是显示日志在那行调用。
zap.ReplaceGlobals(lg) // 替换zap包中全局的logger实例，后续在其他包中只需使用zap.L()调用即可
return
}
//这个看看源码就知道了，这就是个Encoder的配置项。
//这个的核心关键在于zapcore.NewJsonEncoder,用的json的编码方式。然后传的参数都是一些配置项。返回值是一个编码器，就是构建一个最基础的编码配置，然后传入构建。
func getEncoder() zapcore.Encoder {
encoderConfig := zap.NewProductionEncoderConfig()
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
encoderConfig.TimeKey = "time"
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
encoderConfig.EncodeDuration = zapcore.SecondsDurationEncoder
encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
return zapcore.NewJSONEncoder(encoderConfig)
}
//这个是负责将日志输出到一个文件，并且通过lumberjack库支持日志文件的自动轮转。
//函数返回一个zapcore.WriteSyncer接口，这是zap日志库用于抽象日志写入行为的一个接口。
func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
//这个是实现自动轮转的日志写入器
lumberJackLogger := &lumberjack.Logger{
Filename: filename,
MaxSize: maxSize,
MaxBackups: maxBackup,
MaxAge: maxAge,
}
//这个相当于给它包了一下，最后返回一个zapcore.WriteSyncer类型。
return zapcore.AddSync(lumberJackLogger)
}
// GinLogger 接收gin框架默认的日志
func GinLogger() gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
path := c.Request.URL.Path
query := c.Request.URL.RawQuery
c.Next()
cost := time.Since(start)
zap.L().Info(path,
zap.Int("status", c.Writer.Status()),
zap.String("method", c.Request.Method),
zap.String("path", path),
zap.String("query", query),
zap.String("ip", c.ClientIP()),
zap.String("user-agent", c.Request.UserAgent()),
zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
zap.Duration("cost", cost),
)
}
}
// GinRecovery recover掉项目可能出现的panic，并使用zap记录相关日志
func GinRecovery(stack bool) gin.HandlerFunc {
return func(c *gin.Context) {
defer func() {
if err := recover(); err != nil {
// Check for a broken connection, as it is not really a
// condition that warrants a panic stack trace.
var brokenPipe bool
if ne, ok := err.(****.OpError); ok {
if se, ok := ne.Err.(*os.SyscallError); ok {
if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
brokenPipe = true
}
}
}
httpRequest, _ := httputil.DumpRequest(c.Request, false)
if brokenPipe {
zap.L().Error(c.Request.URL.Path,
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
// If the connection is dead, we can't write a status to it.
c.Error(err.(error)) // nolint: errcheck
c.Abort()
return
}
if stack {
zap.L().Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
zap.String("stack", string(debug.Stack())),
)
} else {
zap.L().Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
}
c.AbortWithStatus(http.StatusInternalServerError)
}
}()
c.Next()
}
}
上面的代码实现了啥：
创建zap日志实例，然后还实现了关于gin的两个中间件，这两个中间件就是gin里面的自定义中间件，因为gin里面的中间件是使用原生的日志库来实现的，这里我用外部的zap来实现相同的功能的中间件，那就必须自己重写一个。
很多东西我觉得要是看不懂那就说明语法关于zap的知识忘了，可以回去zap补一下知识点。
我直接解读一下前面的配置的地方。
然后在main函数中也给他启动一下
if err := logger.Init(); err != nil {
fmt.Printf("init logger failed,err:%v\n", err)
return
}
defer zap.L().Sync()
//这个是确保程序退出之前安全地同步日志缓冲区，将所有挂起的日志输出操作完成。
zap.L().Debug("logger init su***ess...")
那么日志模块我们也写完了。
3.初始化mysql连接模块
一般关于数据库的模块我们一般用dao模块（CLD分层），然后再在里面细分mysql模块，最后去完成这个mysql模块的填充：
这个模块比较简单：
完成的内容：
1、连接上数据库。
2、对数据库进行相关的配置，比如配置数据库的最大连接数，最大空闲连接数等待。
package mysql
import (
"fmt"
"go.uber.org/zap"
_ "github.***/go-sql-driver/mysql"
"github.***/jmoiron/sqlx"
"github.***/spf13/viper"
)
// 定义一个全局对象db
var db *sqlx.DB
// 定义一个初始化数据库的函数
func Init() (err error) {
// DSN:Data Source Name
//这里就是先构建一个数据源
dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?charset=utf8mb4&parseTime=True",
viper.GetString("mysql.user"),
viper.GetString("mysql.password"),
viper.GetString("mysql.host"),
viper.GetInt("mysql.port"),
viper.GetString("mysql.dbname"))
// 不会校验账号密码是否正确
// 注意！！！这里不要使用:=，我们是给全局变量赋值，然后在main函数中使用全局变量db
//这里就是直接连接
db, err = sqlx.Connect("mysql", dsn)
if err != nil {
zap.L().Info("connect DB failed,err :%v\n", zap.Error(err))
return
}
//这里就是进行数据库连接相关的配置。
db.SetMaxIdleConns(viper.GetInt("mysql.max_idle_conns"))
db.SetMaxOpenConns(viper.GetInt("mysql.max_open_conns"))
return
}
func Close() {
_ = db.Close()
}
然后main函数启动一下
//3.初始化mysql连接
if err := mysql.Init(); err != nil {
fmt.Printf("init mysql failed,err:%v\n", err)
return
}
//这里我们想实现在这里关闭连接也很简单，直接在mysql里面写一个关闭内部全局db的函数，然后调用就关了。
defer mysql.Close()
redis模块
就是负责连接redis
可以看出很简单：就是从配置文件把配置项拉出填入到redis客户端创建的配置中。
package redis
import (
"context"
"fmt"
"github.***/go-redis/redis/v8"
"github.***/spf13/viper"
)
func Init() (err error) {
rdb := redis.NewClient(&redis.Options{
Addr: fmt.Sprintf("%s:%d", viper.GetString("redis.host"), viper.GetInt("redis.port")),
Password: viper.GetString("redis.password"), // 密码
DB: viper.GetInt("redis.db"), // 数据库
PoolSize: viper.GetInt("redis.pool_size"), // 连接池大小
})
ctx := context.Background()
_, err = rdb.Ping(ctx).Result()
return
}
func Close() {
_ = rdb.Close()
}
main函数中，redis模块启动一下：
if err := redis.Init(); err != nil {
fmt.Printf("init redis failed,err:%v\n", err)
return
}
//这里也是相同的思想。
defer redis.Close()
注册路由
这部分也是一个模块，建一个routes模块，里面全部是路由的注册信息。
里面要实现哪些内容：
1.创建一个引擎（New)，并且对引擎进行配置（中间件添加）。
2.所有关于路由的注册信息都在这里写.
3.返回值就是这个引擎，在main入口函数，我们只想得到这个引擎直接拿来用。
package routes
import (
"my_web/logger"
"***/http"
"github.***/gin-gonic/gin"
)
func SetUp() *gin.Engine {
r := gin.New()
r.Use(logger.GinLogger(), logger.GinRecovery(true))
r.GET("/", func(c *gin.Context) {
c.String(http.StatusOK, "ok")
})
return r
}
服务启动
就是负责将这个项目启动和停止。
//6.启动服务
srv := &http.Server{
Addr: fmt.Sprintf(":%d", viper.GetInt("app.port")),
Handler: r,
}
go func() {
// 开启一个goroutine启动服务
if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
zap.L().Fatal("listen: %s\n", zap.Error(err))
}
}()
// 等待中断信号来优雅地关闭服务器，为关闭服务器操作设置一个5秒的超时
quit := make(chan os.Signal, 1) // 创建一个接收信号的通道
// kill 默认会发送 syscall.SIGTERM 信号
// kill -2 发送 syscall.SIGINT 信号，我们常用的Ctrl+C就是触发系统SIGINT信号
// kill -9 发送 syscall.SIGKILL 信号，但是不能被捕获，所以不需要添加它
// signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit
signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞
<-quit // 阻塞在此，当接收到上述两种信号时才会往下执行
log.Println("Shutdown Server ...")
// 创建一个5秒超时的context
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
// 5秒内优雅关闭服务（将未处理完的请求处理完再关闭服务），超过5秒就超时退出
if err := srv.Shutdown(ctx); err != nil {
zap.L().Fatal("Server Shutdown: ", zap.Error(err))
}
最基本的就是这些模块，初次之外还有一些模块，在项目中也重要:
controllers:服务的入口，负责处理路由，参数校验，请求转发
logic：逻辑服务层
models：放一些模型。
pkg：第三方库
总结：
这个模板比较适合个人维护整个项目的情况下。下一次介绍一下在企业环境下比较常用的模板。
