likes
comments
collection
share

浅谈Golang配置管理

作者站长头像
站长
· 阅读数 17

浅谈Golang配置管理

前言

应用程序里要用到很多配置,比如监听端口、数据库相关配置、缓存相关配置等。这些配置可能来自不同的源,最常见的是本地配置文件,也可以作为命令行参数或环境变量传入,还可以托管在远程配置中心。同一项配置可能在多个不同的配置源中同时存在,如何处理优先级?在程序运行过程中,有些配置需要能够动态更新,又该如何实现?配置的源、优先级及动态更新,就是配置管理的内容。

Golang生态中,Viper是一个不错的开源配置管理框架。

配置层级

Viper支持多种配置源,并处理了它们之间的优先级问题,按优先级从高到低的顺序,层级如下:

  • 命令行参数
  • 环境变量
  • 本地配置文件
  • 远程配置文件
  • 默认值

下面分别看一下Viper是如何支持这些配置源的。

0. 配置结构

以如下的yaml格式配置文件来说明:

# myconfig.yaml
aaa: foo
xxx:
    bbb: bar
    ccc: 100

Viper在内存中是用map类型来维护配置的,以配置名作为key、配置值作为Value。

为方便使用,我们可以定义如下的结构体来接收配置:

package config

var Config config

type config struct {
    Aaa string
    Xxx struct {
        Bbb string
        Ccc uint
    }
}
1. 命令行参数

Viper提供了BindPFlags函数来绑定命令行参数,以Cobra命令行框架为例,初始化代码如下:

// 1. 根据需要定义命令行参数
pflags = rootCmd.PersistentFlags()
pflags.StringP("aaa", "a", "", "aaa's usage")
pflags.String("xxx.bbb", "", "xxx.bbb's usage")
pflags.Uint("xxx.ccc", 0, "xxx.ccc's usage")

// 2. Viper绑定命令行参数
viper.BindPFlags(pflags)

这样就可以通过命令行参数来传入相关配置:

// 参数aaa使用长参数格式
$ mycmd --aaa foo --xxx.bbb bar --xxx.ccc 100

// 参数aaa使用短参数格式
$ mycmd -a foo --xxx.bbb bar --xxx.ccc 100
2. 环境变量

Viper提供了AutomaticEnv函数来从环境变量中加载配置,示例代码如下:

// 设置环境变量的前缀
viper.SetEnvPrefix("MYCMD")

// 将配置Key中的点号(.)和横杠(-)替换为下划线(_)
viper.SetEnvKeyReplacer(strings.NewReplacer(".", "_", "-", "_"))

// 从环境变量中读取匹配的配置
viper.AutomaticEnv()

这样就可以通过环境变量来传入相关配置:

$ MYCMD_AAA=foo MYCMD_XXX_BBB=bar MYCMD_XXX_CCC=100 mycmd
3. 本地配置文件

Viper提供了从本地配置文件加载配置的方法,示例代码如下:

// 在初始化cobra时,将本地配置文件路径定义为命令行参数
pflags.StringVarP(&cfgFile, "config", "c", "", "config file")

// 在初始化viper时,设置本地配置文件路径
viper.SetConfigFile(cfgFile)

// 读取本地配置文件
if err := viper.ReadInConfig(); err != nil {
    log.Fatal(err)
}

这样就可以通过本地配置文件来传入相关配置:

// myconf.yaml为同目录下的配置文件,内容如上文所述
$ mycmd --config myconf.yaml
4. 远程配置文件

Viper还支持将配置文件托管在远程配置中心,如etcd,示例代码如下:

// 注意:在实际项目中,以下参数也可以作为配置传入
provider := "etcd3"
endpoint := "x.x.x.x:2379"
path := "/config/mycmd/myconf.yaml"
viper.AddRemoteProvider(provider, endpoint, path)

viper.SetConfigType("yaml")
if err := viper.ReadRemoteConfig(); err != nil {
    log.Println("Read remote config failed:", err)
}

只要将myconf.yaml配置文件上传到etcd的指定路径下,程序就可以远程读取了。

$ cat myconf.yaml | etcdctl put /config/mycmd/myconf.yaml
5. 默认值

Viper还支持设置默认值,对于在以上所有源中都不存在的配置,将使用其默认值,示例代码如下:

viper.SetDefault("aaa", "foo")
viper.SetDefault("xxx.bbb", "bar")
viper.SetDefault("xxx.ccc", 100)

在所有配置源都加载后,我们可以将Viper配置装载到配置结构体变量中,方便使用:

if err := viper.Unmarshal(&config.Config); err != nil {
    log.Fatal("Viper unmarshal failed:", err)
}

配置动态更新

以上解决了静态配置管理的问题,如何实现配置的动态更新呢?

配置的动态更新包括三个步骤:

  • 更新配置源中的配置
  • 更新内存中的配置
  • 配置的动态生效

注意:如Viper官方文档所提,Viper本身不是并发安全的,在实现配置动态更新时,要注意采用锁机制等方式来保证Viper并发读写的安全。

1. 更新配置源中的配置

Viper支持的配置源中,命令行参数、环境变量是在进程启动时一次性读取的,不支持动态更新。本地配置文件和远程配置文件可以支持动态更新,直接修改配置文件即可。

2. 更新内存中的配置

Viper支持监听本地配置文件的变化,同时允许注册文件变化时的回调函数,借助这个功能可以实现本地配置文件的动态更新,示意代码如下:

viper.OnConfigChange(func(e fsnotify.Event) {
    // 回调函数
    // 可在此处更新内存中的本地配置:
    // 1. 重新读取本地配置:ReadInConfig
    // 2. 装载到配置结构体:Unmarshal
    // 注意:为Viper及配置结构体加锁
})
viper.WatchConfig()

对于远程配置文件,可以通过周期性地重新读取来实现动态更新,示意代码如下:

go func() {
    for {
        time.Sleep(time.Second * 10)
        // 周期为10s
        // 可在此处更新内存中的远程配置:
        // 1. 重新读取远程配置:WatchRemoteConfig
        // 2. 装载到配置结构体:Unmarshal
        // 注意:为Viper及配置结构体加锁
    }
}()
3. 配置的动态生效

不同配置的使用方式不同,动态生效方式也就不同,大概可以分为两类:

  • 有些配置,每次使用时都是读取最新的值,因此只要更新了内存中的配置,就会即时生效
  • 有些配置,比如数据库凭据,可能需要重建连接池才能生效

在这里就不再细说了。

总结

本文介绍了在Golang中优雅、灵活地实现配置管理的一种方式,涵盖配置的源、优先级及动态更新等内容。重点说明了命令行参数、环境变量、本地配置文件、远程配置文件等多种配置源的实现方法,以及配置动态更新的实现思路。

转载自:https://juejin.cn/post/7246304095375622203
评论
请登录