OwlCyberSecurity - MANAGER
Edit File: tokenize.cpython-38.opt-2.pyc
U ����e5d?R������������������� ���@���s���d�Z�dZddlZddlZddlmZmZ�ddlT�ddlm Z �dd ��e e �D��d ddg�Z[ ze�W�n�e k rz���eZY�nX�d d��Zdd��Zdd��Zdd��ZdZdZeede���ee��ZdZdZdZdZedd�Zeeeee�ZdZedd �ee��Zd!e�Zeee�Zed"ed#��Z ee ee�Z!d$Z"d%Z#d&Z$d'Z%d(Z&ee&d)�e&d*��Z'ee&d+�e&d,��Z(ed-d.d/d0d1d2d3d4d5� Z)d6Z*ed7d8d9�Z+ee)e*e+�Z,ee!e,e(e�Z-ee-�Z.ee&d:�ed;d��e&d<�ed=d���Z/edee'�Z0eee0e!e,e/e��Z1e2ej3e.e1e$e%f�\Z4Z5Z6Z7ed>d?d@dA�ed>d?dBdC�B�dDdEdFdGdHdIhB�Z8e�3e"�e�3e#�e6e7dJ�dKdL��e8D��dMdL��e8D��dNdL��e8D���Z9d)d*hdOdP��e8D��B�dQdP��e8D��B�Z:d;d=hdRdP��e8D��B�dSdP��e8D��B�Z;dTZ<G�dUdV��dVe=�Z>G�dWdX��dXe=�Z?dYdZ��Z@e@fd[d �ZAd\d]��ZBG�d^d_��d_�ZCe�3d`ejD�ZEe�3daejD�ZFdbdc��ZGddde��ZHdfd��ZIdgd��ZJeKdhk�r�ddlLZLeMeLjN�dk�r�eAeOeLjNd��jP��neAeLjQjP��dS�)izKa-Ping Yee <ping@lfw.org>z@GvR, ESR, Tim Peters, Thomas Wouters, Fred Drake, Skip Montanaro�����N)�BOM_UTF8�lookup)�*����)�tokenc�����������������C���s���g�|�]}|d��dkr|�qS�)r����_��)�.0�xr���r����./usr/lib64/python3.8/lib2to3/pgen2/tokenize.py� <listcomp>%���s������r����tokenize�generate_tokens� untokenizec������������������G���s���dd��|���d�S�)N�(�|�))�join��choicesr���r���r����group0��������r���c������������������G���s���t�|���d�S�)Nr����r���r���r���r���r����any1���r���r���c������������������G���s���t�|���d�S�)N�?r���r���r���r���r����maybe2���r���r���c���������������������s���t���fdd���D���S�)Nc�����������������3���s4���|�],}��d��D�]}|����|����kr||�V��qqdS�))��N)�casefold)r ���r ����y��lr���r���� <genexpr>4���s ���� ���z _combinations.<locals>.<genexpr>)�setr���r���r���r���� _combinations3���s�����r#���z[ \f\t]*z #[^\r\n]*z\\\r?\nz\w+z0[bB]_?[01]+(?:_[01]+)*z(0[xX]_?[\da-fA-F]+(?:_[\da-fA-F]+)*[lL]?z0[oO]?_?[0-7]+(?:_[0-7]+)*[lL]?z[1-9]\d*(?:_\d+)*[lL]?z0[lL]?z[eE][-+]?\d+(?:_\d+)*z\d+(?:_\d+)*\.(?:\d+(?:_\d+)*)?z\.\d+(?:_\d+)*z\d+(?:_\d+)*z\d+(?:_\d+)*[jJ]z[jJ]z[^'\\]*(?:\\.[^'\\]*)*'z[^"\\]*(?:\\.[^"\\]*)*"z%[^'\\]*(?:(?:\\.|'(?!''))[^'\\]*)*'''z%[^"\\]*(?:(?:\\.|"(?!""))[^"\\]*)*"""z'(?:[uUrRbBfF]|[rR][fFbB]|[fFbBuU][rR])?�'''�"""z'[^\n'\\]*(?:\\.[^\n'\\]*)*'z"[^\n"\\]*(?:\\.[^\n"\\]*)*"z\*\*=?z>>=?z<<=?z<>z!=z//=?z->z[+\-*/%&@|^=<>]=?�~z[][(){}]z\r?\nz:=z[:;.,`@]z'[^\n'\\]*(?:\\.[^\n'\\]*)*�'z"[^\n"\\]*(?:\\.[^\n"\\]*)*�"�r�R�f�F�b�B�u�UZurZuRZUrZUR)r'���r(���r$���r%���c�����������������C���s���i�|�]}|��d��t��qS��r$���)�single3prog�r ����prefixr���r���r���� <dictcomp>y���s������r5���c�����������������C���s���i�|�]}|��d��t��qS��r%���)�double3progr3���r���r���r���r5���z���s������c�����������������C���s���i�|�] }|d��qS��Nr���r3���r���r���r���r5���{���s������c�����������������C���s���h�|�]}|��d���qS�r1���r���r3���r���r���r���� <setcomp>���s�����r9���c�����������������C���s���h�|�]}|��d���qS�r6���r���r3���r���r���r���r9�������s�����c�����������������C���s���h�|�]}|��d���qS�)r'���r���r3���r���r���r���r9�������s�����c�����������������C���s���h�|�]}|��d���qS�)r(���r���r3���r���r���r���r9�������s���������c�������������������@���s���e�Zd�ZdS�)� TokenErrorN��__name__� __module__�__qualname__r���r���r���r���r;�������s����r;���c�������������������@���s���e�Zd�ZdS�)�StopTokenizingNr<���r���r���r���r���r@�������s����r@���c����������� ��� ���C���s4���|\}}|\}}t�d||||t|��t|�f���d�S�)Nz%d,%d-%d,%d: %s %s)�print�tok_name�repr) �typer���Zxxx_todo_changemeZxxx_todo_changeme1�lineZsrowZscolZerowZecolr���r���r���� printtoken����s �����rF���c�����������������C���s(���zt�|�|��W�n�tk r"���Y�nX�d�S�r8���)� tokenize_loopr@���)�readline� tokeneaterr���r���r���r �������s���� c�����������������C���s���t�|��D�]}||���qd�S�r8���)r���)rH���rI���Z token_infor���r���r���rG�������s����rG���c�������������������@���s,���e�Zd�Zdd��Zdd��Zdd��Zdd��Zd S�) �Untokenizerc�����������������C���s���g�|�_�d|�_d|�_d�S�)Nr���r���)�tokens�prev_row�prev_col)�selfr���r���r����__init__����s����zUntokenizer.__init__c�����������������C���s*���|\}}||�j��}|r&|�j�d|���d�S�)N� )rM���rK����append)rN����start�row�col� col_offsetr���r���r����add_whitespace����s���� zUntokenizer.add_whitespacec�����������������C���s����|D�]p}t�|�dkr$|��||���qv|\}}}}}|��|��|�j�|��|\|�_|�_|ttfkr|��jd7��_d|�_qd� |�j�S�)N����r���r���r���) �len�compatrV���rK���rQ���rL���rM����NEWLINE�NLr���)rN����iterable�t�tok_typer���rR����endrE���r���r���r���r�������s���� zUntokenizer.untokenizec����������� ������C���s����d}g�}|�j�j}|\}}|ttfkr,|d7�}|ttfkr<d}|D�]�}|d�d��\}}|ttttfkrl|d7�}|tkr�|�|��q@n>|t kr�|� ���q@n*|ttfkr�d}n|r�|r�||d���d}||��q@d�S�)NFrP���TrW������)rK���rQ����NAME�NUMBERrZ���r[����ASYNC�AWAIT�INDENT�DEDENT�pop) rN���r���r\���� startline�indents�toks_append�toknum�tokval�tokr���r���r���rY�������s0���� zUntokenizer.compatN)r=���r>���r?���rO���rV���r���rY���r���r���r���r���rJ�������s���rJ���z&^[ \t\f]*#.*?coding[:=][ \t]*([-\w.]+)s���^[ \t\f]*(?:[#\r\n]|$)c�����������������C���sH���|�d�d�������dd�}|dks*|�d�r.dS�|dks@|�d�rDdS�|�S�) N����r����-�utf-8zutf-8-)zlatin-1� iso-8859-1ziso-latin-1)zlatin-1-ziso-8859-1-ziso-latin-1-rq���)�lower�replace� startswith)�orig_enc�encr���r���r����_get_normal_name����s�����rw���c��������������������s����d��d�}d}�fdd�}��fdd�}|��}|��t�rHd��|dd���}d }|sT|g�fS�||�}|rj||gfS�t�|�s~||gfS�|��}|s�||gfS�||�}|r�|||gfS�|||gfS�) NFrp���c����������������������s(���z����W�S��t�k r"���t���Y�S�X�d�S�r8���)� StopIteration�bytesr���)rH���r���r����read_or_stop��s����z%detect_encoding.<locals>.read_or_stopc��������������������s����z|���d�}W�n�tk r$���Y�d�S�X�t�|�}|s8d�S�t|�d��}zt|�}W�n �tk rr���td|���Y�nX���r�|j dkr�td��|d7�}|S�)N�asciir���zunknown encoding: rp���zencoding problem: utf-8z-sig) �decode�UnicodeDecodeError� cookie_re�matchrw���r���r����LookupError�SyntaxError�name)rE����line_stringr����encoding�codec)� bom_foundr���r����find_cookie��s"���� z$detect_encoding.<locals>.find_cookieT����z utf-8-sig)rt���r����blank_rer���)rH���r�����defaultrz���r�����first�secondr���)r����rH���r����detect_encoding����s0���� r����c�����������������C���s���t���}|�|��S�r8���)rJ���r���)r\����utr���r���r���r���:��s����c�����������������c���st��d�}�}}d\}}d�}dg}d�}d} d} d}z |���}W�n�t�k rP���d}Y�nX�|d�}dt|��} }|�r2|s|td|��|�|�}|r�|�d��} }t||d�|���|||f||�fV��d\}}d�}nd|�r|dd���dk�r|d d���d k�rt||�||t|�f|fV��d}d�}q.n||�}||�}q.�nB|dk�r\|�s\|�sL�qd}| |k��r�|| �dk�rr|d�}n8|| �dk�r�|t�d�t�}n|| �d k�r�d}n�q�| d�} �qP| |k�rĐq|�r�|V��d�}|| �dk�r�|| �dk�rT|| d����d�}| t|��}t ||| f|| t|��f|fV��t ||d���||f|t|�f|fV��q.t t f|| �dk�|| d���|| f|t|�f|fV��q.||d�k�r�|�|��t|d�| ��|df|| f|fV��||d�k��r4||k�r�t dd|| |f��|d�d��}| �r| |d�k�rd} d}d} td|| f|| f|fV���q�| �rt|�rt| |d�k�rtd} d}d} n|�sptd|df��d}| |k�r.t�|| �}|�r�|�d�\}}||f||f|��}}} |||��||��}}|tjk�s�|dk�r�|dk�r�t||||fV���q|dk�rJt}|dk�rt }n | �r&d}|�r6|V��d�}|||||fV���q|dk�rx|�rd|V��d�}t ||||fV���q|tk�r�t|�}|�|| �}|�r�|�d�} ||| ��}|�r�|V��d�}t|||| f|fV��n||f}||d���}|}q.�q|tk�s$|d�d��tk�s$|d�d��tk�r�|d�dk�rx||f}t|��p\t|d���p\t|d��}||d���d�}}|}q.n |�r�|V��d�}t||||fV���q|����rr|dk�r�| �r�|dk�r�tnt||||fV���qtt||||f}|dk�r�|�s�|}�qt|dk�rZ|�rZ|d�tk�rZ|d�dk�rZd} |d�} t|d�|d�|d�|d�fV��d�}|�rj|V��d�}|V��nz|dk�r�|�r�|V��d�}t |||| f|fV��d}nF|dk�r�|d�}n|d k�r�|d�}|�r�|V��d�}t||||fV��n(t|| �|| f|| d�f|fV��| d�} �qtq.|�r,|V��d�}|dd���D�]}td|df|dfdfV���q8td|df|dfdfV��d�S�)!Nr���)r���r���Fr���r���zEOF in multi-line string���z\ ���z\ rP���� �z# �#z r`���z3unindent does not match any outer indentation levelz <tokenize>zEOF in multi-line statement�.TrW���r����� )�async�awaitr�����def�����\z([{z)]})rx���rX���r;���r���r_����STRING� ERRORTOKEN�tabsize�rstrip�COMMENTr[���rQ���re����IndentationErrorrf���� pseudoprog�span�stringZdigitsrb���rZ���� triple_quoted�endprogs� single_quoted�isidentifierrc���rd���ra����OP� ENDMARKER)rH����lnum�parenlev� continued�contstr�needcont�contlineri���ZstashedZ async_defZasync_def_indentZasync_def_nlrE����pos�max�strstart�endprog�endmatchr_����column� comment_tokenZnl_pos�pseudomatchrR����spos�eposr����initial�newlinerm����indentr���r���r���r���O��s���� ���*� ��� � �� ����� ��� �� ��� �� � ���� � ��� � �� ���__main__)R� __author__�__credits__r�����re�codecsr���r���Zlib2to3.pgen2.tokenr���r����dir�__all__ry���� NameError�strr���r���r���r#���� Whitespace�Comment�Ignore�Name� Binnumber� Hexnumber� Octnumber� Decnumber� Intnumber�Exponent� Pointfloat�Expfloat�Floatnumber� Imagnumber�Number�Single�Double�Single3�Double3Z _litprefix�Triple�StringZOperatorZBracket�Special�Funny� PlainToken�Token�ContStr�PseudoExtras�PseudoToken�map�compileZ tokenprogr����r2���r7���Z_strprefixesr����r����r����r����� Exceptionr;���r@���rF���r ���rG���rJ����ASCIIr~���r����rw���r����r���r���r=����sysrX����argv�openrH����stdinr���r���r���r����<module>���s������� ������� �������������8I�b �