用面向对象的方式操作 JSON 甚至还能做四则运算 JSON 库

crossoverJie

共 5692字,需浏览 12分钟

 · 2022-07-07

前言

在之前实现的 JSON 解析器中当时只实现了将一个 JSON 字符串转换为一个 JSONObject,并没有将其映射为一个具体的 struct;如果想要获取值就需要先做断言将其转换为 map 或者是切片再来获,会比较麻烦。

 decode, err := gjson.Decode(`{"glossary":{"title":"example glossary","age":1}}`)
 assert.Nil(t, err)
 glossary := v["glossary"].(map[string]interface{})
 assert.Equal(t, glossary["title"], "example glossary")
 assert.Equal(t, glossary["age"], 1)

但其实转念一想,部分场景我们甚至我们只需要拿到 JSON 中的某个字段的值,这样还需要先声明一个 struct 会略显麻烦。

经过查询发现已经有了一个类似的库来解决该问题,https://github.com/tidwall/gjson 并且 star 数还很多(甚至名字都是一样的😂),说明这样的需求大家还是很强烈的。

于是我也打算增加类似的功能,使用方式如下:

最后还加上了一个四则运算的功能。

面向对象的方式操作 JSON

因为功能类似,所以我参考了 tidwallAPI 但去掉一些我觉得暂时用不上的特性,并调整了一点语法。

当前这个版本只能通过确定的 key 加上 . 点符号访问数据,如果是数组则用 [index] 的方式访问下标。[] 符号访问数组我觉得要更符合直觉一些。

以下是一个包含多重嵌套 JSON 的访问示例:

str := `
{
"name": "bob",
"age": 20,
"skill": {
    "lang": [
        {
            "go": {
                "feature": [
                    "goroutine",
                    "channel",
                    "simple",
                    true
                ]
            }
        }
    ]
}
}`


name := gjson.Get(str, "name")
assert.Equal(t, name.String(), "bob")

age := gjson.Get(str, "age")
assert.Equal(t, age.Int(), 20)

assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[0]").String(), "goroutine")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[1]").String(), "channel")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[2]").String(), "simple")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[3]").Bool(), true)

这样的语法使用个人觉得还是满符合直觉的,相信对使用者来说也比较简单。

返回值参考了 tidwall 使用了一个 Result 对象,它提供了多种方法可以方便的获取各种类型的数据

func (r Result) String() string
func (r Result) Bool() bool
func (r Result) Int() int
func (r Result) Float() float64
func (r Result) Map() map[string]interface{}
func (r Result) Array() *[]interface{}
func (r Result) Exists() bool

比如使用 Map()/Array() 这两个函数可以将 JSON 数据映射到 map 和切片中,当然前提是传入的语法返回的是一个合法 JSONObject 或数组。

实现原理

在实现之前需要先定义一个基本语法,主要支持以下四种用法:

  • 单个 key 的查询:Get(json,"name")
  • 嵌套查询:Get(json,"obj1.obj2.obj3.name")
  • 数组查询:Get(json,"obj.array[0]")
  • 数组嵌套查询:Get(json,"obj.array[0].obj2.obj3[1].name")

语法很简单,符合我们日常接触到语法规则,这样便可以访问到 JSON 数据中的任何一个值。

其实实现过程也不复杂,我们已经在上一文中实现将 JSON 字符串转换为一个 JSONObject 了。

这次只是额外再解析刚才定义的语法为 token,然后解析该 token 的同时再从生成好的 JSONObject 中获取数据。

最后在解析完 token 时拿到的 JSONObject 数据返回即可。


我们以这段查询代码为例:

首先第一步是对查询语法做词法分析,最终得到下图的 token

在词法分析过程中也可以做简单的语法校验;比如如果包含数组查询,并不是以 ] 符号结尾时就抛出语法错误。

接着我们遍历语法的 token。如下图所示:

每当遍历到 token 类型为 Key 时便从当前的 JSONObject 对象中获取数据,并用获取到的值替覆盖为当前的 JSONObject。

其中每当遇到 . [ ] 这样的 token 时便消耗掉,直到我们将 token 遍历完毕,这时将当前 JSONObject 返回即可。

在遍历过程中当遇到非法格式时,比如 obj_list[1.] 便会返回一个空的 JSONObject

语法校验这点其实也很容易办到,因为根据我们的语法规则,Array 中的 index 后一定紧接的是一个 EndArray,只要不是一个 EndArray 便能知道语法不合法了。

有兴趣的可以看下解析过程的源码:

https://github.com/crossoverJie/gjson/blob/cfbca51cc9bc0c77e6cb9c9ad3f964b2054b3826/json.go#L46

对 JSON 做四则运算

 str := `{"name":"bob""age":10,"magic":10.1, "score":{"math":[1,2]}}`
 result := GetWithArithmetic(str, "(age+age)*age+magic")
 assert.Equal(t, result.Float(), 210.1)
 result = GetWithArithmetic(str, "(age+age)*age")
 assert.Equal(t, result.Int(), 200)

 result = GetWithArithmetic(str, "(age+age) * age + score.math[0]")
 assert.Equal(t, result.Int(), 201)

 result = GetWithArithmetic(str, "(age+age) * age - score.math[0]")
 assert.Equal(t, result.Int(), 199)

 result = GetWithArithmetic(str, "score.math[1] / score.math[0]")
 assert.Equal(t, result.Int(), 2)

最后我还扩展了一下语法,可以支持对 JSON 数据中的整形(int、float)做四则运算,虽然这是一个小众需求,但做完我觉得还挺有意思的,目前在市面上我还没发现有类似功能的库,可能和小众需求有关🤣。

其中核心的四则运算逻辑是由之前写的脚本解释器提供的:

‍https://github.com/crossoverJie/gscript‍

单独提供了一个函数,传入一个四则运算表达式返回计算结果。

由于上一版本还不支持 float,所以这次专门适配了一下。

限于篇幅,更多关于这个四则运算的实现逻辑会在后面继续分享。

总结

至此算是我第一次利用编译原理的知识解决了一点特定领域问题,在大学以及工作这些年一直觉得编译原理比较高深,所以内心一直是抗拒的,但经过这段时间的学习和实践慢慢的也掌握到了一点门道。

不过目前也只是冰山一角,后面的编译原理后端更是要涉及到计算机底层知识,所以依然任重而道远。

已上都是题外话,针对于这个库我也会长期维护;为了能达到生产的使用要求,尽量提高了单测覆盖率,目前是98%。

也欢迎大家使用,提 bug🐛。

后面会继续优化,比如支持转义字符、提高性能等。

感兴趣的朋友请持续关注:https://github.com/crossoverJie/gjson



往期推荐

几百行代码实现一个 JSON 解析器

几百行代码实现一个脚本解释器

分享一个 SpringCloud Feign 中所埋藏的坑

撸了一个 Feign 增强包 V2.0 升级版

Pulsar 也会重复消费?

 

鼓励一下

赞完再走

 


浏览 21
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报