Module Compiler.Tokenizer

val tokenize : string -> Tokens.token list