U á€C^ã@sXddlmZddlmZddlmZddlmZdgeZ eZ dgeZ e Ze Ze ZdS) é)Úunicode_literalsé)ÚTOKENIZER_PREFIXES)ÚTOKENIZER_SUFFIXES)ÚTOKENIZER_INFIXESz \w{1,3}\$z(\w+-\w+(-\w+)*)N) Ú __future__rÚ punctuationrZBASE_TOKENIZER_PREFIXESrZBASE_TOKENIZER_SUFFIXESrZBASE_TOKENIZER_INFIXESÚ _prefixesZ _suffixesZ_infixes©r r ús