U C^,@sddlmZddlZddlmZmZddlmZddlm Z m Z dd l m Z m Z mZd d gZd d ZddZde de die de digiZe de die de die de die de die de die de d ie d!e d"ie d#e d$ie d%e d&ie d'e d(ie d)e d*ie d+e d,ie d+e d-ie d.e d/ie d0e d1ie d2e d3ie d4e d5ie d6e d7ie d8e d9ifD]Zegeee <qJd:D]Ze eigee<qdd;D]d\ZZeefD]LZdie d?e d@ie ee dAeigee<qqq~dBD]H\ZZeefD]0ZdCeZe ee eed>ie dDe dEigee<qqdFD]P\ZZeefD]8Ze ee eedGie dHe dIed>ie dDe dEigedJe<qJq6gZdKZdAZeD]~Z e hZ!dLdMeDD]Z"e!#dNdMe!DqdOdMdPDD]Z$e!#dQdMe!Dqe!#dRdMe!De%e!qeD]Ze eigee<qdSdTdUdVdWdXdYdZd[d\d]d^d_d`ddadbdcdddedfdgdhdidjdkdldmdndodpdqdrdsdtdudvdwdxdydzd{d|d}d~ddddddddddddddddddddddIdddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddd d d d d ddddddddddddgZ&djee ddjee ddjee ddjee ddjee dd jee dd!jee dd"jee d#d$jee dd%jee dd&jee dd'jee dd(jee dd)jee dd*jee dd+jee dd,jee dd-jee dd.jee dd/jee dd0jee dd1jee dd2jee dd3jee dd4jee dd5jee dd6jee dd7jee dd8jee dd9jee dd:jee dd;jee ddjee dd?jee dd@jee ddAjee ddBjee ddCjee ddDjee ddEjee ddFjee ddGjee ddHjee ddIjee ddJjee ddKjee ddLjee ddMjee d#g2Z'e'dNdMe&D7Z'dOdPdQgZ(e'dRdMe(D7Z'dSdTdUdVdWdXddYddZd[d6g Z)e'd\dMe)D7Z'e'*eeZ+e,d]-d^d_e'Dej.ej/Bj0Z1dS(`)unicode_literalsN)ELISIONHYPHENS) URL_PATTERN) ALPHA_LOWERALPHA)ORTHLEMMATAGz aujourd'huiz Aujourd'huicCs<t|dkr|St|dkr$|S|d|ddSNrr)lenuppertextrE/tmp/pip-install-6_kvzl1k/spacy/spacy/lang/fr/tokenizer_exceptions.pyupper_first_letters   rcCs<t|dkr|St|dkr$|S|d|ddSr)rlowerrrrrlower_first_letters   rzJ.-C.uJésuszJ.ZChristz-C.Zavantzav.Zjanvierzjanv.ufévrierufévr.Zavrilzavr.Zjuilletzjuill.Z septembrezsept.Zoctobrezoct.Znovembreznov.u décembreudéc.uaprèszapr.ZdocteurzDr.ZmonsieurzM.zMr.ZmadamezMme.Z mademoisellezMlle.unuméroun°udegrésud°ZsaintzSt.ZsaintezSte.)zetc.))aZavoirestêtre)ZsembleZsembler)ZindiqueZindiquer)ZmoqueZmoquer)passeZpasser)ZelleZilonz{}-t-{}ZVERBtz-t-)rz{}-ceZcez-ce))zqu'Zque)zn'neZADVrrz%sest-ce'cCsg|]}|tkr|qSr) orig_elision.0xrrr isr&cCsg|]}|ttqSr)replacer" elision_charr$wordrrrr&kscCsg|]}|tkr|qSr) orig_hyphenr#rrrr&ms)ru‐cCsg|]}|ttqSr)r'r+ hyphen_charr)rrrr&oscCsg|] }t|qSr)rr)rrrr&qsua[ée]roZabatza[fg]roafterzaigues?u am[ée]ricanoZangloZantiu apr[èe]sZarabozarcs?Zarchiu arrières?audioZavionautoZbancz bas(?:ses?)?zbateaux?zbec?zbelles?Zbeaubestzbio?ZbienZblancu bo[îi]tez bonn?e?s?Zboisz bou(?:c|rg)ub[êe]tacachez cap(?:ello)?ZcasseZcastelZchampZchapelleuch[âa]teau(?:neuf)?Zchassezcha(?:ud|t)e?s?ZchauffeZchouZchromoz claire?s?z co(?:de|ca)?ZcompteZcontreZcordonzcoupe?z courte?s?ZcouvreZcrashZcriseZcrocheZcrossZcyberucôteZdemiz di(?:sney)?Zdixud[ée]s?Zdyszex?uémiratoZentreZethnoexextrauextrêmeu[ée]coZfauxZfilZfortz franco?s?Zgallozgardes?Zgastrozgrande?Zgratteu gr[ée]coZgrosug[ée]ozhaute?s?zhomm?es?ZhorsZhyperZindoZinfraZinterZintraZislamoZitaloZjeanZlabioZlatinoZliveZlotZlouiszm[ai]croZmalumédioZmesnilz mi(?:ni)?Zmonozmont?s?ZmoyenZmultiu m[ée]canou m[ée]dicoum[ée]doum[ée]tazmots?ZneuroZnoixZnonZnordZnotreun[ée]oZouestZoutreZouvrerZperceZpharmacozph[oy]tozpieds?Zpiquez poissons?ZponceZpontzpo[rs]tZpousseZprimoupro(?:cès|to)?Zparez petite?s?ZplessisZporteupréuprêchiuprotègeZpseudoupêleupériZpuyZquasiZquatreZradioZrecourtZrythmoz(?:re)?doubles?ur[ée]u r[ée]troZrequinzsans?z sa?inte?s?semiZserreZsinoZsocioz sociale?s?ZsoixanteZsouszsu[bdrs]superZtailleZtireZthermoZtiersZtourneztoute?s?u tra[iî]ne?ZtransZtrenteZtroisZtroussez tr(?:i|ou)u t[ée]l[ée]uutéroZvasozvi[cd]eu vid[ée]ozvie(?:ux|i?lles?|i?l)z vill(?:e|eneuve|ers|ette|iers|y)Zvingtz voitures?zwagons?Zultraàu [ée]lectrou[ée]quiZFontainez La ChapelleZMariez Le MesnilZNeuvilleZPierreZValZVauxz^a[{hyphen}]sexualis[{al}]+$)hyphenalu"^arginine[{hyphen}]méthyl[{al}]+$z^binge[{hyphen}]watch[{al}]+$z^black[{hyphen}]out[{al}]*$z^bouche[{hyphen}]por[{al}]+$z^burn[{hyphen}]out[{al}]*$z^by[{hyphen}]pass[{al}]*$z^ch[{elision}]tiis[{al}]+$)elisionr8z^chape[{hyphen}]chut[{al}]+$z^down[{hyphen}]load[{al}]*$u^[ée]tats[{hyphen}]uni[{al}]*$z,^droits?[{hyphen}]de[{hyphen}]l'homm[{al}]+$z^fac[{hyphen}]simil[{al}]*$z^fleur[{hyphen}]bleuis[{al}]+$z^flic[{hyphen}]flaqu[{al}]+$z^fox[{hyphen}]trott[{al}]+$z^google[{hyphen}]is[{al}]+$z^hard[{hyphen}]discount[{al}]*$z^hip[{hyphen}]hop[{al}]*$z^jet[{hyphen}]set[{al}]*$z^knock[{hyphen}]out[{al}]*$u^lèche[{hyphen}]bott[{al}]+$z"^litho[{hyphen}]typographi[{al}]+$z^lock[{hyphen}]out[{al}]*$z ^lombri[{hyphen}]compost[{al}]+$z^mac[{hyphen}]adamis[{al}]+$z^marque[{hyphen}]pag[{al}]+$z^mouton[{hyphen}]noiris[{al}]+$z^new[{hyphen}]york[{al}]*$z^pair[{hyphen}]programm[{al}]+$z^people[{hyphen}]is[{al}]+$z^plan[{hyphen}]socialis[{al}]+$z!^premier[{hyphen}]ministr[{al}]*$z^prud[{elision}]hom[{al}]+$u^réarc[{hyphen}]bout[{al}]+$z^refox[{hyphen}]trott[{al}]+$z^remicro[{hyphen}]ond[{al}]+$z^repique[{hyphen}]niqu[{al}]+$u!^repetit[{hyphen}]déjeun[{al}]+$z^rick[{hyphen}]roll[{al}]*$z^rond[{hyphen}]ponn[{al}]+$z^shift[{hyphen}]cliqu[{al}]+$z^soudo[{hyphen}]bras[{al}]+$z^stabilo[{hyphen}]boss[{al}]+$z^strip[{hyphen}]teas[{al}]+$z^terra[{hyphen}]form[{al}]*$z^teuf[{hyphen}]teuf[{al}]*$z^yo[{hyphen}]yo[{al}]+$z^zig[{hyphen}]zag[{al}]*$z^z[{elision}]yeut[{al}]+$cCsg|]}dj|tttdqS)z2^{prefix}[{hyphen}][{al}][{hyphen}{al}{elision}]*$)prefixr7r9r8)formatrrrr$prrrr&{su r?é?entrz grande?s?rcCsg|]}dj|tttdqS)z3^{prefix}[{elision}][{al}][{hyphen}{al}{elision}]*$)r:r9r7r8)r;rrrr<rrrr&sul[èe]s?Zlaenzdes?zd[eu]Zsurzaux?etuprèscCsg|]}dj|tttdqS)zA^[{a}]+[{hyphen}]{hyphen_combo}[{hyphen}](?:l[{elision}])?[{a}]+$)Z hyphen_combor9r7r)r;rrr )r$Zhcrrrr&s|ccs|]}d|VqdS)z(?:{})N)r;)r$mrrr srC)2 __future__rre punctuationrrZtokenizer_exceptionsrZ char_classesrr symbolsr r r ZFR_BASE_EXCEPTIONSrr_excZexc_dataZorthverbZ verb_lemmatitleZpronounr;tokenpreZ pre_lemmaZ _infixes_excr"r+ZinfixZvariants_infixr(updater,extendZ_hyphen_prefixZ _regular_expZ_elision_prefixZ_hyphen_combinationappendZTOKENIZER_EXCEPTIONScompilejoin IGNORECASEUNICODEmatchZ TOKEN_MATCHrrrrs                               N7