Lines Matching refs:Token
89 STATIC_ASSERT(Token::NUM_TOKENS <= 0x100);
93 Token::ILLEGAL,
94 Token::ILLEGAL,
95 Token::ILLEGAL,
96 Token::ILLEGAL,
97 Token::ILLEGAL,
98 Token::ILLEGAL,
99 Token::ILLEGAL,
100 Token::ILLEGAL,
101 Token::ILLEGAL,
102 Token::ILLEGAL,
103 Token::ILLEGAL,
104 Token::ILLEGAL,
105 Token::ILLEGAL,
106 Token::ILLEGAL,
107 Token::ILLEGAL,
108 Token::ILLEGAL,
109 Token::ILLEGAL,
110 Token::ILLEGAL,
111 Token::ILLEGAL,
112 Token::ILLEGAL,
113 Token::ILLEGAL,
114 Token::ILLEGAL,
115 Token::ILLEGAL,
116 Token::ILLEGAL,
117 Token::ILLEGAL,
118 Token::ILLEGAL,
119 Token::ILLEGAL,
120 Token::ILLEGAL,
121 Token::ILLEGAL,
122 Token::ILLEGAL,
123 Token::ILLEGAL,
124 Token::ILLEGAL,
125 Token::ILLEGAL,
126 Token::ILLEGAL,
127 Token::ILLEGAL,
128 Token::ILLEGAL,
129 Token::ILLEGAL,
130 Token::ILLEGAL,
131 Token::ILLEGAL,
132 Token::ILLEGAL,
133 Token::LPAREN, // 0x28
134 Token::RPAREN, // 0x29
135 Token::ILLEGAL,
136 Token::ILLEGAL,
137 Token::COMMA, // 0x2c
138 Token::ILLEGAL,
139 Token::ILLEGAL,
140 Token::ILLEGAL,
141 Token::ILLEGAL,
142 Token::ILLEGAL,
143 Token::ILLEGAL,
144 Token::ILLEGAL,
145 Token::ILLEGAL,
146 Token::ILLEGAL,
147 Token::ILLEGAL,
148 Token::ILLEGAL,
149 Token::ILLEGAL,
150 Token::ILLEGAL,
151 Token::COLON, // 0x3a
152 Token::SEMICOLON, // 0x3b
153 Token::ILLEGAL,
154 Token::ILLEGAL,
155 Token::ILLEGAL,
156 Token::CONDITIONAL, // 0x3f
157 Token::ILLEGAL,
158 Token::ILLEGAL,
159 Token::ILLEGAL,
160 Token::ILLEGAL,
161 Token::ILLEGAL,
162 Token::ILLEGAL,
163 Token::ILLEGAL,
164 Token::ILLEGAL,
165 Token::ILLEGAL,
166 Token::ILLEGAL,
167 Token::ILLEGAL,
168 Token::ILLEGAL,
169 Token::ILLEGAL,
170 Token::ILLEGAL,
171 Token::ILLEGAL,
172 Token::ILLEGAL,
173 Token::ILLEGAL,
174 Token::ILLEGAL,
175 Token::ILLEGAL,
176 Token::ILLEGAL,
177 Token::ILLEGAL,
178 Token::ILLEGAL,
179 Token::ILLEGAL,
180 Token::ILLEGAL,
181 Token::ILLEGAL,
182 Token::ILLEGAL,
183 Token::ILLEGAL,
184 Token::LBRACK, // 0x5b
185 Token::ILLEGAL,
186 Token::RBRACK, // 0x5d
187 Token::ILLEGAL,
188 Token::ILLEGAL,
189 Token::ILLEGAL,
190 Token::ILLEGAL,
191 Token::ILLEGAL,
192 Token::ILLEGAL,
193 Token::ILLEGAL,
194 Token::ILLEGAL,
195 Token::ILLEGAL,
196 Token::ILLEGAL,
197 Token::ILLEGAL,
198 Token::ILLEGAL,
199 Token::ILLEGAL,
200 Token::ILLEGAL,
201 Token::ILLEGAL,
202 Token::ILLEGAL,
203 Token::ILLEGAL,
204 Token::ILLEGAL,
205 Token::ILLEGAL,
206 Token::ILLEGAL,
207 Token::ILLEGAL,
208 Token::ILLEGAL,
209 Token::ILLEGAL,
210 Token::ILLEGAL,
211 Token::ILLEGAL,
212 Token::ILLEGAL,
213 Token::ILLEGAL,
214 Token::ILLEGAL,
215 Token::ILLEGAL,
216 Token::LBRACE, // 0x7b
217 Token::ILLEGAL,
218 Token::RBRACE, // 0x7d
219 Token::BIT_NOT, // 0x7e
220 Token::ILLEGAL
224 Token::Value Scanner::Next() { in Next()
229 Token::Value token = static_cast<Token::Value>(one_char_tokens[c0_]); in Next()
230 if (token != Token::ILLEGAL) { in Next()
296 Token::Value Scanner::SkipSingleLineComment() { in SkipSingleLineComment()
308 return Token::WHITESPACE; in SkipSingleLineComment()
312 Token::Value Scanner::SkipMultiLineComment() { in SkipMultiLineComment()
329 return Token::WHITESPACE; in SkipMultiLineComment()
334 return Token::ILLEGAL; in SkipMultiLineComment()
338 Token::Value Scanner::ScanHtmlComment() { in ScanHtmlComment()
349 return Token::LT; in ScanHtmlComment()
355 Token::Value token; in Scan()
364 token = Token::WHITESPACE; in Scan()
370 token = Token::WHITESPACE; in Scan()
381 token = Select(Token::LTE); in Scan()
383 token = Select('=', Token::ASSIGN_SHL, Token::SHL); in Scan()
387 token = Token::LT; in Scan()
395 token = Select(Token::GTE); in Scan()
400 token = Select(Token::ASSIGN_SAR); in Scan()
402 token = Select('=', Token::ASSIGN_SHR, Token::SHR); in Scan()
404 token = Token::SAR; in Scan()
407 token = Token::GT; in Scan()
415 token = Select('=', Token::EQ_STRICT, Token::EQ); in Scan()
417 token = Token::ASSIGN; in Scan()
425 token = Select('=', Token::NE_STRICT, Token::NE); in Scan()
427 token = Token::NOT; in Scan()
435 token = Select(Token::INC); in Scan()
437 token = Select(Token::ASSIGN_ADD); in Scan()
439 token = Token::ADD; in Scan()
453 token = Token::DEC; in Scan()
456 token = Select(Token::ASSIGN_SUB); in Scan()
458 token = Token::SUB; in Scan()
464 token = Select('=', Token::ASSIGN_MUL, Token::MUL); in Scan()
469 token = Select('=', Token::ASSIGN_MOD, Token::MOD); in Scan()
480 token = Select(Token::ASSIGN_DIV); in Scan()
482 token = Token::DIV; in Scan()
490 token = Select(Token::AND); in Scan()
492 token = Select(Token::ASSIGN_BIT_AND); in Scan()
494 token = Token::BIT_AND; in Scan()
502 token = Select(Token::OR); in Scan()
504 token = Select(Token::ASSIGN_BIT_OR); in Scan()
506 token = Token::BIT_OR; in Scan()
512 token = Select('=', Token::ASSIGN_BIT_XOR, Token::BIT_XOR); in Scan()
521 token = Token::PERIOD; in Scan()
526 token = Select(Token::COLON); in Scan()
530 token = Select(Token::SEMICOLON); in Scan()
534 token = Select(Token::COMMA); in Scan()
538 token = Select(Token::LPAREN); in Scan()
542 token = Select(Token::RPAREN); in Scan()
546 token = Select(Token::LBRACK); in Scan()
550 token = Select(Token::RBRACK); in Scan()
554 token = Select(Token::LBRACE); in Scan()
558 token = Select(Token::RBRACE); in Scan()
562 token = Select(Token::CONDITIONAL); in Scan()
566 token = Select(Token::BIT_NOT); in Scan()
575 token = Token::WHITESPACE; in Scan()
577 token = Token::EOS; in Scan()
579 token = Select(Token::ILLEGAL); in Scan()
586 } while (token == Token::WHITESPACE); in Scan()
689 Token::Value Scanner::ScanString() { in ScanString()
699 if (c0_ < 0) return Token::ILLEGAL; in ScanString()
705 if (c0_ != quote) return Token::ILLEGAL; in ScanString()
709 return Token::STRING; in ScanString()
719 Token::Value Scanner::ScanNumber(bool seen_period) { in ScanNumber()
743 return Token::ILLEGAL; in ScanNumber()
779 if (kind == OCTAL) return Token::ILLEGAL; // no exponent for octals allowed in ScanNumber()
786 return Token::ILLEGAL; in ScanNumber()
796 return Token::ILLEGAL; in ScanNumber()
800 return Token::NUMBER; in ScanNumber()
819 KEYWORD("break", Token::BREAK) \
821 KEYWORD("case", Token::CASE) \
822 KEYWORD("catch", Token::CATCH) \
823 KEYWORD("class", Token::FUTURE_RESERVED_WORD) \
824 KEYWORD("const", Token::CONST) \
825 KEYWORD("continue", Token::CONTINUE) \
827 KEYWORD("debugger", Token::DEBUGGER) \
828 KEYWORD("default", Token::DEFAULT) \
829 KEYWORD("delete", Token::DELETE) \
830 KEYWORD("do", Token::DO) \
832 KEYWORD("else", Token::ELSE) \
833 KEYWORD("enum", Token::FUTURE_RESERVED_WORD) \
835 ? Token::EXPORT : Token::FUTURE_RESERVED_WORD) \
836 KEYWORD("extends", Token::FUTURE_RESERVED_WORD) \
838 KEYWORD("false", Token::FALSE_LITERAL) \
839 KEYWORD("finally", Token::FINALLY) \
840 KEYWORD("for", Token::FOR) \
841 KEYWORD("function", Token::FUNCTION) \
843 KEYWORD("if", Token::IF) \
844 KEYWORD("implements", Token::FUTURE_STRICT_RESERVED_WORD) \
846 ? Token::IMPORT : Token::FUTURE_RESERVED_WORD) \
847 KEYWORD("in", Token::IN) \
848 KEYWORD("instanceof", Token::INSTANCEOF) \
849 KEYWORD("interface", Token::FUTURE_STRICT_RESERVED_WORD) \
852 ? Token::LET : Token::FUTURE_STRICT_RESERVED_WORD) \
854 KEYWORD("new", Token::NEW) \
855 KEYWORD("null", Token::NULL_LITERAL) \
857 KEYWORD("package", Token::FUTURE_STRICT_RESERVED_WORD) \
858 KEYWORD("private", Token::FUTURE_STRICT_RESERVED_WORD) \
859 KEYWORD("protected", Token::FUTURE_STRICT_RESERVED_WORD) \
860 KEYWORD("public", Token::FUTURE_STRICT_RESERVED_WORD) \
862 KEYWORD("return", Token::RETURN) \
864 KEYWORD("static", Token::FUTURE_STRICT_RESERVED_WORD) \
865 KEYWORD("super", Token::FUTURE_RESERVED_WORD) \
866 KEYWORD("switch", Token::SWITCH) \
868 KEYWORD("this", Token::THIS) \
869 KEYWORD("throw", Token::THROW) \
870 KEYWORD("true", Token::TRUE_LITERAL) \
871 KEYWORD("try", Token::TRY) \
872 KEYWORD("typeof", Token::TYPEOF) \
874 KEYWORD("var", Token::VAR) \
875 KEYWORD("void", Token::VOID) \
877 KEYWORD("while", Token::WHILE) \
878 KEYWORD("with", Token::WITH) \
880 KEYWORD("yield", Token::FUTURE_STRICT_RESERVED_WORD)
883 static Token::Value KeywordOrIdentifierToken(const char* input, in KeywordOrIdentifierToken()
891 return Token::IDENTIFIER; in KeywordOrIdentifierToken()
920 return Token::IDENTIFIER; in KeywordOrIdentifierToken()
924 Token::Value Scanner::ScanIdentifierOrKeyword() { in ScanIdentifierOrKeyword()
934 return Token::ILLEGAL; in ScanIdentifierOrKeyword()
966 return Token::IDENTIFIER; in ScanIdentifierOrKeyword()
970 Token::Value Scanner::ScanIdentifierSuffix(LiteralScope* literal) { in ScanIdentifierSuffix()
979 return Token::ILLEGAL; in ScanIdentifierSuffix()
989 return Token::IDENTIFIER; in ScanIdentifierSuffix()