shell 发起网络调用，并处理结果

问题背景：生产环境需要下线前后端混合应用，但该应用域名下存在小程序读取本配置中心获取token，如 xxx.nn.com/*.txt, 推进小程序更换过于困难，考虑从nginx代理服务器上设置本地文件返回配置的token，为达到动态获取配置的效果，采用shell脚本动态读取配置中心配置并写入本地配置文件，nginx配置动态读取目录配置

• shell 网络调用
• 解析响应报文
• 遍历json对象，按照k-v结构遍历
• 针对json对象k-v 写文件

1. shell 解析响应结果，处理json

#!/bin/bash
### 方法简要说明：
### 1. 是先查找一个字符串：带双引号的key。如果没找到，则直接返回defaultValue。
### 2. 查找最近的冒号，找到后认为值的部分开始了，直到在层数上等于0时找到这3个字符：,}]。
### 3. 如果有多个同名key，则依次全部打印（不论层级，只按出现顺序）
### @author lux feary
###
### 3 params: json, key, defaultValue

function get_json_values_by_awk() {
    awk -v json="$1" -v key="$2" -v defaultValue="$3" 'BEGIN{
        foundKeyCount = 0
        while (length(json) > 0) {
            # pos = index(json, """key"""); ## 这行更快一些，但是如果有value是字符串，且刚好与要查找的key相同，会被误认为是key而导致值获取错误
            pos = match(json, """key""[ \t]*?:[ \t]*");
            
            if (pos == 0) {if (foundKeyCount == 0) {print defaultValue;} exit 0;}

            ++foundKeyCount;
            start = 0; stop = 0; layer = 0;
            for (i = pos + length(key) + 1; i <= length(json); ++i) {
                lastChar = substr(json, i - 1, 1)
                currChar = substr(json, i, 1)

                if (start <= 0) {
                    if (lastChar == ":") {
                        start = currChar == " " ? i + 1: i;
                        if (currChar == "{" || currChar == "[") {
                            layer = 1;
                        }
                    }
                } else {
                    if (currChar == "{" || currChar == "[") {
                        ++layer;
                    }
                    if (currChar == "}" || currChar == "]") {
                        --layer;
                    }
                    if ((currChar == "," || currChar == "}" || currChar == "]") && layer <= 0) {
                        stop = currChar == "," ? i : i + 1 + layer;
                        break;
                    }
                }
            }

            if (start <= 0 || stop <= 0 || start > length(json) || stop > length(json) || start >= stop) {
                if (foundKeyCount == 0) {print defaultValue;} exit 0;
            } else {
                print substr(json, start, stop - start);
            }

            json = substr(json, stop + 1, length(json) - stop)
        }
    }'
}

2. 调用url获取结果

function get_config() {
  local result=""
  local cmd="curl -H 'application:你的参数' -H 'token:你的参数' "请求的地址"
  local api_result=$(eval ${cmd}) # 执行cmd，拿到返回的结果
  local value=$(get_json_values_by_awk "$api_result" "value" "defaultValue") # 从api_result中获取value对应的值
  local status=$(get_json_values_by_awk "$api_result" "status" "defaultValue") # 从api_result中获取value对应的值
      if [[ "$status" =~ "200" ]]; then
   #将获取的结果转化为k:v的格式，便于后续函数格式化解析
result=`echo "$value" | sed 's/"//g' |sed 's/{//g'|sed 's/}//g'|sed 's/,//g'` 
  fi
  echo "$result"
}

3. 根据文件后缀名获取对应的数组

## param $1 文件后缀名
get_list_by_file_suffix() {
  local suffix_list
  local c=0
  for file in  *."$1"; do
    k=${file%.*}
    suffix_list[$c]="$k"
    ((c++))
  done
  echo "${suffix_list[*]}"
}

4. 判断数组中是否包含某个元素

## param $1 list, $2 数组元素
contains() {
  local list=$1
  local value=$2
  for element in ${list[*]}; do
    if [ "$element" = "$value" ];then
      echo "true"
      return 0
    fi
  done
  echo "false"
}

5. 写文件到本地

function write_json_to_txt() {
    local currentList=$(get_list_by_file_suffix "txt")
    local result=$(get_config)
    echo "small_routine_txt config is $result"
    local i=0
    local configList
    for line in $result
    do
        k=${line%:*}
        v=${line#*:}
        # 构建一个本地集合list
        configList[$i]="$k"
        ((i++))
        local currentValue=`cat $k.txt`
        # 如果本地配置为空或则文件不存在，则直接写入本地配置
        if [ -z "$currentValue" ];then
          echo "$k.txt is empty"
          echo "$v">"$k.txt"
        fi
        # 如果本地配置内容和配置中心内容不一致，则更新本地配置
        if [ "$currentValue" != "$v" ];then
          echo "$k.txt is changed, will overwrite new config value"
          echo "$v">"$k.txt"
        fi
    done
    # 如果配置中不包含，则删除本地对应的配置
    local isContain
    for e in $currentList;do
      isContain=$(contains "${configList[*]}" "$e")
      if [ $isContain != "true" ];then
        echo "not contain will rm..."
        rm -rf $e.txt
      fi
    done
}

6. 循环读取配置更新本地文件

function loop_config() {
    if [ ! -d "mytxt" ];then
       mkdir ./mytxt
    fi
  cd ./mytxt
#  rm -rf ./*
  while true; do
    write_json_to_txt
    sleep 5
  done
}

7. 调用执行函数loop_config，注意这里循环要并发调用，不然阻塞后续脚本执行

loop_config &

8. 最后附上nginx读取本地文件目录

# 如果匹配到https://xxx.nn.com/*.txt，则返回/export/mytxt/某个配置文件的配置内容
location ~* ^/.*\.txt$ {
		root /export/mytxt/;
	}