博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
clojure.spec库入门学习
阅读量:5807 次
发布时间:2019-06-18

本文共 15733 字,大约阅读时间需要 52 分钟。

此文已由作者张佃鹏授权网易云社区发布。

欢迎访问,了解更多网易技术产品运营经验。

clojure是一门动态类型的语言,在类型检查方面并没有c++/java这种静态类型语言好用,所以多个模块之间进行接口参数传递时,由于接口文档设计不严谨等原因,总会发生接口参数类型错误,参数个数不正确等问题,给代码调试带来很大的挑战,因此在clojure中,对接口参数的进行类型和范围的检查是非常必要的。为此,我们找到了clojure.spec这个库( ),正好可以解决以上问题。

1.clojure.spec库介绍:

spec库主要是用来定义数据的结构和类型,并对其数据类型进行校验,并且可以根据spec生成对应的校验数据。要使用clojure.spec库,必须依赖最新的alpha版本的clojure:

    [org.clojure/clojure "1.9.0-alpha10"]

因为clojure.spec库中有很多函数与clojure.core库中的函数重名(+、melt、def),所以不要使用use将整个库中的函数导入到当前命名空间下,而是要使用require,如下:

    (require '[clojure.spec :as s])

2.specification的定义:

可以使用s/def函数来给一个specification定义名字,由s/def定义的specification必须是namespace keyword(其中关于命名空间的关键字在这篇博客中有介绍: )。最简单定义spec的方式就是:一个普通的谓词函数(接收一个参数,返回boolean类型)就可以作为一个specification:

    ;;定义一个specification,只有偶数才能满足条件    (s/def ::even-val even?)    ;;=> :my-clj.core/even-val

specification也可以是多个specification的组合,最简单的组合函数是:s/and和s/or。s/and必须满足and下的所有specification的条件,组合的specification才会校验成功,如下:

    ;; ::and-test表示大于10的偶数    (s/def ::and-test (s/and                         ::even-val                        #(> % 10)                        ))    ;;=> :my-clj.core/and-test

s/or函数表示只要满足其中一个条件则成立,但是s/or函数必须在每一个条件前面加一个:tag,这主要是为了在使用s/conform解析数据时,让数据更容易理解,便于确定是满足那个条件。s/or的用法如下:

    ;;如下在谓词int?和string?前加了tag,tag主要是为了告诉我们是满足哪个条件    (s/def ::or-test      (s/or :int-number int?            :string-number string?))    ;;=> :my-clj.core/or-test

3.常用解析spec的函数:

使用spec来解析和判断数据的函数主要有:s/valid? ,s/conform ,s/explain ,s/explain-str ,s/explain-data:

  • s/valid?函数:

s/valid?用来判断给定数据是否满足当前的specification,如果满足则返回true,否则返回false:

    (s/valid? ::even-val 10)    ;;=> true    (s/valid? ::even-val 11)    ;;=> false
  • s/conform函数:

s/conform函数根据给定的specification和data参数,如果data符合specification校验条件,则根据specification的格式返回解析后的data,否则返回s/invalid:

    ;;如果满足条件则返回对应的解析数据,否则返回s/invalid    (s/conform ::even-val 10)    ;;=> 10    (s/conform ::even-val 11)    ;;=> :clojure.spec/invalid    ;;conform并非一定会返回与原有数据一模一样的数据,它会根据对应specification会有所变化,比如or-test有:tag标志,所以返回的conform-data是一个vector,告诉我们“hello world”是满足string条件,而不是int条件。    (s/conform ::or-test "hello world")    ;;=> [:string-number "hello world"]
  • s/explain系列函数:

    根据explain的字面意思,很容易理解其作用是用来解释匹配失败的原因,共有三个相关函数:s/explain函数将错误信息的原因打印出来,并返回nil;s/explain-str会将s/explian打印出来的内容转换为字符串并返回;s/explain-data会将错误信息作为一个map数据结构返回。如果匹配成功,三个函数则都返回对应的success。

    ;;val=11不满足偶数的判断条件,根据返回结果,我们很容易找到数据校验错误的位置    (s/explain ::even-val 11)    ;;打印结果:val: 11 fails spec: :my-clj.core/even-val predicate: even?    ;;=> nil    (s/explain-str ::even-val 11)    ;;=> "val: 11 fails spec: :my-clj.core/even-val predicate: even?\r\n"    ;;explain-data会把错误信息作为一个map返回    (s/explain-data ::even-val 11)    ;;=> #:clojure.spec{:problems [{:path [], :pred even?, :val 11, :via [:my-clj.core/even-val], :in []}]}

4.集合spec的生成:

我们经常会遇到某个类型字段是属于某个集合中的任意一个元素,比如我们定义一个聚合字段类型,该字段类型可能是SUM/MAX/MIN/AVG/COUNT中的一个。为此我们可以定义该字段的spec如下:

    ;;因为clojure中的set可以当作谓词使用,所以我们很容易实现该字段spec的定义    (s/def ::aggregator #{"SUM","AVG","CNT","CNTD","MAX","MIN"})    (s/valid? ::aggregator "SUM")    ;;=> true    (s/valid? ::aggregator "SUM1")    ;;=> false

5.数组spec的生成:

对于数组spec经常使用的生成函数主要有s/coll-of ,s/every ,s/tuple这三个函数:

  • s/coll-of函数:

    coll-of函数生成的数组spec的特点是:该数组中的所有元素必须满足同一个条件。

     (s/def ::even-val even?) ;;=> :my-clj.core/even-val ;;定义一个数组的spec,该数组中的所有元素都必须是偶数 (s/def ::coll-of-test (s/coll-of ::even-val)) ;;=> :my-clj.core/coll-of-test (s/valid? ::coll-of-test [2 4 6]) ;;=> true (s/valid? ::coll-of-test [1 4 6]) ;;=> false ;;其中数组为空也满足条件 (s/valid? ::coll-of-test []) ;;=> true

    coll-of函数还接收可选的参数,用来对数组中的元素进行限制,可选参数有如下:

   (1):kind- - - -可以指定数组的类型,vector,set,list等;

   (2):count- - - -可以限定数组中元素的个数;

   (3):min-count- - - -限定数组中元素个数的最小值

   (4):max-count- - - -限定数组中元素个数的最大值

   (5):distinct- - - -数组没有重复的元素

   (6):into- - - -可以将数组的元素插入到[],(),{},#{}这些其中之一,主要是为了改变conform函数的返回结果

  关于以上可选参数使用举例如下:

    ;;定义一个数组的spec,其中所有元素是偶数,这个数组是vector类型,共有4个元素,元素不能重复,conform结果放在set中:    (s/def ::coll-of-test (s/coll-of even? :kind vector? :count 4 :distinct true :into #{}))    ;;=> :my-clj.core/coll-of-test    ;;满足条件    (s/valid? ::coll-of-test [2 4 6 8])    ;;=> true    ;;用explain函数解释错误的原因    (s/explain ::coll-of-test [2 4 6 7])    ;;In: [3] val: 7 fails spec: :my-clj.core/coll-of-test predicate: even?    ;;list的数组不满足条件    (s/explain ::coll-of-test '(2 4 6 8))    ;;val: (2 4 6 8) fails spec: :my-clj.core/coll-of-test predicate: vector?    ;;conform解析结果放在了一个set中    (s/conform ::coll-of-test [2 4 6 8])    ;;=> #{4 6 2 8}
  • s/every函数:

s/every函数与s/coll-of函数的作用相同,并且参数类型也相同。不同的是:在有不满足条件元素的情况下,s/coll-of函数依然会检查每一个元素并返回错误信息,而s/every函数只检查部分元素。所以s/every函数更适合数据量比较大的情况:

    ;;用s/coll-of和s/every函数定义作用相同的spec,都是检查数组是否全部为string类型的元素    (s/def ::coll-of-test (s/coll-of string?))    (s/def ::every-test (s/every string?))    ;;在校验错误的情况下,every-test只返回前20个元素的错误信息    (s/explain ::every-test (range 50))    ;;In: [0] val: 0 fails spec: :my-clj.core/every-test predicate: string?    ;;In: [1] val: 1 fails spec: :my-clj.core/every-test predicate: string?    ;;...    ;;In: [18] val: 18 fails spec: :my-clj.core/every-test predicate: string?    ;;In: [19] val: 19 fails spec: :my-clj.core/every-test predicate: string?    ;;而coll-of-test会返回所有不满足元素的校验错误信息    (s/explain ::coll-of-test (range 50))    ;;In: [0] val: 0 fails spec: :my-clj.core/coll-of-test predicate: string?    ;;In: [1] val: 1 fails spec: :my-clj.core/coll-of-test predicate: string?    ;;...    ;;In: [48] val: 48 fails spec: :my-clj.core/coll-of-test predicate: string?    ;;In: [49] val: 49 fails spec: :my-clj.core/coll-of-test predicate: string?

所以在需要确定所有元素错误信息的情况下使用coll-of,而在大量数据的情况下,为了保证效率,使用every函数效果会更好。

  • s/tuple函数:

tuple函数与前两个函数不同,它可以指定数组中每个元素的类型,检查要求更严格苛刻,适合数组元素比较少且元素类型不是全部相同的校验:

    ;;可以指定一个数组中三个元素,类型分别为int,string,vector    (s/def ::tuple-test (s/tuple int? string? vector?))    (s/valid? ::tuple-test [1 "hello" [1 2 3]])    ;;=> true    (s/valid? ::tuple-test [1 "hello" 3])    ;;=> false

6.map的spec生成:

  对于map的spec生成函数主要有s/map-of, s/every-kv ,s/keys ,s/keys*

  • s/map-of函数:

    s/map-of函数与s/coll-of函数作用类似,前两个参数分别是对key和value进行校验的spec,后面还可以跟着可选参数,与coll-of的可选参数一样,有:kind/count/min-count/max-count/distinct/into,其中kind默认情况下是map,如果是list和vector,则校验数据是[k v]的数组,map-of的用法如下:

    ;;用map-of定义一个spec,类型是[[k v]],k是关键字,v是字符串    (s/def ::map-of-test (s/map-of keyword? string? :kind vector?))    ;;因为不是vector形式的map,所以校验失败    (s/explain ::map-of-test {:a 1 :b 2})    val: {:a 1, :b 2} fails spec: :my-clj.core/map-of-test predicate: vector?    ;;满足条件返回success    (s/explain ::map-of-test [[:a "hello"] [:b "world"]])    ;;Success!
  • s/every-kv函数:

s/every-kv函数与s/map-of的区别就像s/every与s/coll-of函数的区别,s/every-kv函数适合数据量比较大的情况下,其参数格式与map-of函数的参数格式完全一样,用法如下:

    ;;用every-kv定义一个spec,校验key为关键字,value为数字的map    (s/def ::every-kv-test (s/every-kv keyword? number?))    (s/explain ::every-kv-test {:a 1 :b 3.14})    ;;Success!    (s/explain ::every-kv-test {:a "hello" :b 3.14})    ;;In: [:a 1] val: "hello" fails spec: :my-clj.core/every-kv-test at: [1] predicate: number?
  • s/keys函数:

s/keys函数比map-of函数和every-kv函数的限制更加强烈,可以分别对map中的每一个value的进行限制,但是map的key必须是关键字。 假设我们定义一个person的数据结构如下:

    person:        {            :name       string类型            :age        int类型且满足(< 0 age 100)            :gender     boolean类型            :spouse     (optional)string类型                }

以上定义的person数据结构有3个必选的字段(:name :age :gender)和1个可选择的字段(:spouse),为了用keys定义person数据结构的spec,首先我们需要根据person的key(key必须是关键字)来定义其对应value的校验spec,如下:

    ;;所定义的spec的名字必须与person中key的名字的一致    (s/def ::name string?)    (s/def ::age (s/and int? #(<= 0 % 100)))    (s/def ::gender boolean?)    (s/def ::spouse string?)

接下来我们就可以使用keys来定义person的spec了,用keys定义spec时,需要使用:req和:opt来指定哪些字段是必须的,哪些字段可选的,如下:

    ;;所有必选字段和可选字段的spec都必须在[]中列出来    (s/def ::person1       (s/keys :req [::name ::age ::gender]              :opt [::spouse]              ))

这时如果使用::person1去校验任意一个满足条件的person数据结构都会出错:

    (s/explain ::person1 {:name "xiao ming"                          :age 25                          :gender false                          :spouse "xiao hua"                          })    ;;val: {:name "xiao ming", :age 25, :gender false, :spouse "xiao hua"} fails spec: :my-clj.core/person1 predicate: (contains? % :my-clj.core/name)

根据以上错误信息我们可以找到原因,是因为该数据结构中不包含:my-clj.core/name字段。这是因为使用:req和:opt指定的字段要求被校验的map的key必须是namespace keyword,也就是说person数据结构中的key必须是namespace keyword。如下如果改成namespace keyword,返回结果则会成功:

    (s/explain ::person1 {::name "xiao ming"                          ::age 25                          ::gender false                          ::spouse "xiao hua"                          })    ;;Success!

如果必须使用namespace keyword做map中的key会给我们书写代码时带来很多困惑,幸好keys函数还提供了另外两个字段:req-un/opt-un用来替换对应的req/opt,这样数据结构中的key就可以是全局的keyword了,如下:

    ;;使用标志req-un/opt-un来区别必须字段和可选字段    (s/def ::person2       (s/keys :req-un [::name ::age ::gender]              :opt-un [::spouse]              ))    ;;这种情况下,普通的keyword就可以校验成功了。    (s/explain ::person2 {:name "xiao ming"                          :age 25                          :gender false                          :spouse "xiao hua"                          })    ;;Success!    ;;因为:spouse字段是可选的,没有:spouse字段,依然会成功    (s/explain ::person2 {:name "xiao ming"                          :age 25                          :gender false                          })    ;;Success!    ;; :gender字段是必须有的,如果没有则会失败    (s/explain ::person2 {:name "xiao ming"                          :age 25                          :spouse "xiao hua"                          })    ;;val: {:name "xiao ming", :age 25, :spouse "xiao hua"} fails spec: :my-clj.core/person2 predicate: (contains? % :gender)

需要注意的是,s/keys函数并没有对不在req和opt中字段作限制。也就是说,如果person数据中多了一些其它没必要的字段,校验也会成功:

    ;;虽然person的数据结构中多了一个color字段依然会成功,keys函数只会校验存在req和opt中的字段,会无视其他字段    (s/explain ::person2 {:name "xiao ming"                          :age 25                          :gender false                          :spouse "xiao hua"                          :color "yellow"                          })    ;;Success!

这样设计的目的可能是给予程序员更多选择的机会吧,但是在项目中,多余的字段总是会给我们带来困惑和bug,所以为了将其字段限制在一定范围内,我们可以定义一个对其keys进行限制的谓词函数如下:

    ;;定义一个谓词函数,mmap中的每个key都必须在数组mkeys中    (defn keys-validator? [mmap mkeys]      (clojure.set/subset? (set (keys mmap)) (set mkeys)))

这样我们就可以使用keys-validator函数和s/keys一起对一个map数据结构的spec作更加严格的限制:

    ;;重新定义一个::person3,有三个必选字段和一个可选字段,以及所有字段必须在[:name :age :gender :spouse]中    (s/def ::person3       (s/and        (s/keys :req-un [::name ::age ::gender]                :opt-un [::spouse]                )        (fn [x] (keys-validator? x [:name :age :gender :spouse]))        ))    ;;成功校验用例    (s/explain ::person3 {:name "xiao ming"                          :age 25                          :gender false                          :spouse "xiao hua"                          })    ;;Success!    ;;如果多了一个color字段会失败,提示不满足keys-validator这个条件    (s/explain ::person3 {:name "xiao ming"                          :age 25                          :gender false                          :spouse "xiao hua"                          :color "yellow"                          })    ;;val: {:name "xiao ming", :age 25, :gender false, :spouse "xiao hua", :color "yellow"} fails spec: :my-clj.core/person3 predicate: (fn [x] (keys-validator? x [:name :age :gender :spouse]))
  • s/keys*函数:

s/keys函数与s/keys函数功能基本完全一致,只是验证的数据格式不一样而已,s/keys验证的是以{key value}形式表示的map,而s/keys验证的是数组形式[key value],s/keys*的使用如下:

    ;;以keys*定义一个::person4.格式与::person2一致,只是keys换成keys*    (s/def ::person4       (s/keys* :req-un [::name ::age ::gender]              :opt-un [::spouse]              ))    ;;这时候如果去校验一个{}形式的map会报错    (s/explain ::person4               {:name "xiao ming"                :age 25                :gender false                :spouse "xiao hua"                })    ;;In: [0] val: [:name "xiao ming"] fails spec: :my-clj.core/person4 at: [:clojure.spec/k] predicate: keyword?    ;;如果解释数组形式的key value则返回success!    (s/explain ::person4               [:name "xiao ming"                :age 25                :gender false                :spouse "xiao hua"]               )    ;;Success!

7.spec中空值(null)的处理:

  在定义数据接口时,经常遇到某个字段无值的特殊情况,在clojure空值用nil表示,对于某个可能为nil的字段的校验,clojure.spec中提供了s/nilable这个函数,接收一个spec参数,返回一个spec,表示该spec可以接收空值特殊情况:

    ;;如果我们给person2中name字段为nil,校验则会出错    (s/explain ::person2               {:name nil                :age 25                :gender false                :spouse "xiao hua"                })    ;;In: [:name] val: nil fails spec: :my-clj.core/name at: [:name] predicate: string?    ;;当我们把定义::name时,容许其为nilable,    (s/def ::name (s/nilable string?))    (s/def ::person5       (s/keys :req-un [::name ::age ::gender]              :opt-un [::spouse]              ))    ;;此时,即使name为nil,也会返回success    (s/explain ::person2               {:name nil                :age 25                :gender false                :spouse "xiao hua"                })    ;;Success!

所以我们可以根据接口定义要求合理的使用s/nilable来满足我们的需求。

8.spec中命名冲突的处理:

当我们使用"::"定义spec时,如果两个不同的数据结构下某个字段名字相同,就会发生命名冲突的问题,比如我们在定义person数据结构的基础上又定义了一个dog结构:

    dog:    {        :name string?        :age int?  (< 0 age 20)    }

对于dog中的:name字段,可以和person中的:name字段用同一个spec,因为他们描述一致,但是对于两个结构中age字段的范围不一致,这样就会导致命名冲突的问题。因为clojure.spec库中每定义一个spec的名字必须是namespace keyword,而这正是使用namespace keyword而不使用keyword的原因,因为我们可以在定义spec时选择为其指定命名空间的方式定义( ),其命名空间可以随意指定,该命名空间不一定存在也可以,因此就可以很好的解决该问题了:

    ;; ::person的定义    (s/def :person/name string?)    (s/def :person/age (s/and int? #(<= 0 % 100)))    (s/def :person/gender boolean?)    (s/def :person/spouse string?)    (s/def ::person      (s/keys :req-un [:person/name :person/age :person/gender]              :opt-un [:person/spouse]              ))    ;; ::dog的定义    (s/def :dog/name string?)    (s/def :dog/age (s/and int? #(<= 0 % 20)))    (s/def ::dog      (s/keys :req-un [:dog/name :dog/age]              ))    ;; 成功解决命名冲突,校验成功    (s/explain ::person   {:name "xiao ming"                           :age 25                           :gender false                           :spouse "xiao hua"                           })    ;; Success!    (s/explain ::dog   {:name "du du"                           :age 19                           })    ;; Success!

9.正则表达式在spec中的使用:

正则表达式在校验数据格式方面,有着其独特的优势。正好clojure中也有相关正则表达式的处理函数,经常使用的re-matches函数,可以构造一个正则表达式适配器(

    ;;定义一个匹配移动电话号码的正则表达式    (def reg-phone-num #"^1(3[0-9]|4[57]|5[0-35-9]|7[01678]|8[0-9])\d{8}$")    ;;使用上述定义的正则表达式来定义一个spec    (s/def ::phone-num #(re-matches reg-phone-num %))    ;;号码正确,返回success    (s/explain ::phone-num "15977765765")    ;;Success!    ;;号码错误,错误信息返回    (s/explain ::phone-num "14988865765")    ;;val: "14988865765" fails spec: :my-clj.core/phone-num predicate: (re-matches reg-phone-num %)

10.在接口函数中使用spec:

在函数中使用spec,最好的方式是利用在定义函数时的的输入输出条件检查(pre-condition/post-condition),假设我们定义一个接口函数transform-person,函数输入是一个person数据结构,输出是一个字符串,定义如下:

    ;;定义一个函数,用s/valid?函数对其输入和输出参数进行校验    (defn transform-person [person]      {:pre [(s/valid? ::person person)]       :post [(s/valid? string? %)]       }      (let [gender-str (if (:gender person) "a boy" "a girl")            his-or-her (if (:gender person) "his" "her")            ]        (str (:name person) " is " gender-str ",and " his-or-her " age is " (:age person))        ))    ;;定义一个满足条件的person1    (def person1      {:name "xiao ming", :age 25, :gender false, :spouse "xiao hua"}      )    ;;定义一个不满足条件的person2    (def person2      {:name "liu wei", :age -10, :gender false, :spouse "xiao hua"}      )    ;;调用接口函数成功    (transform-person person1)    ;;=> "xiao ming is a girl,and her age is 25"    ;;接口参数校验失败,抛出异常    (transform-person person2)    ;;AssertionError Assert failed: (s/valid? :my-clj.core/person person)  my-clj.core/transform-person (form-init1838625064402666216.clj:1)

11.总结:

本文主要介绍了clojure.spec库的一些基本函数的用法,其实这些函数对于普通的接口参数检测已经足够了,clojure.spec库中还有一些其它函数:alt函数/cat函数/melt函数,还可以使用正则中的*/+/?等,这些函数也蛮好玩的,有兴趣的可以去试着玩一下,这边有介绍:

更多网易技术、产品、运营经验分享请。

相关文章:

【推荐】 
【推荐】 

转载地址:http://zcubx.baihongyu.com/

你可能感兴趣的文章
云原生的浪潮下,为什么运维人员适合学习Go语言?
查看>>
Webpack入门教程三十
查看>>
EAServer 6.1 .NET Client Support
查看>>
锐捷交换机密码恢复(1)
查看>>
Kali linux virtualbox rc=1908 错误解决办法
查看>>
Erlang学习总结之Erlang语法中的逗号(,)、分号(;),句号(.)的正确用法...
查看>>
linux软件包管理之三(源代码安装)
查看>>
数据库三范式是什么?
查看>>
[转载]设置Ubuntu自动连接无线,无须再输入密钥环和无线密码
查看>>
九叔Xen App测试报告
查看>>
Apache配置
查看>>
Ext gridPanel 单元格数据的渲染
查看>>
Android SDK 的下载代理
查看>>
Method Swizzling对Method的要求
查看>>
佛祖保佑,永不宕机
查看>>
四、配置开机自动启动Nginx + PHP【LNMP安装 】
查看>>
LNMP一键安装
查看>>
SQL Server数据库概述
查看>>
Linux 目录结构及内容详解
查看>>
startx命令--Linux命令应用大词典729个命令解读
查看>>