Lines Matching refs:Token
137 DCHECK_EQ(scanner_->next_next().token, Token::UNINITIALIZED); in Set()
143 DCHECK_IMPLIES(scanner_->current().token == Token::UNINITIALIZED, in Set()
146 bookmark_ = (scanner_->current().token == Token::UNINITIALIZED) in Set()
239 STATIC_ASSERT(Token::NUM_TOKENS <= 0x100);
244 Token::ILLEGAL,
245 Token::ILLEGAL,
246 Token::ILLEGAL,
247 Token::ILLEGAL,
248 Token::ILLEGAL,
249 Token::ILLEGAL,
250 Token::ILLEGAL,
251 Token::ILLEGAL,
252 Token::ILLEGAL,
253 Token::ILLEGAL,
254 Token::ILLEGAL,
255 Token::ILLEGAL,
256 Token::ILLEGAL,
257 Token::ILLEGAL,
258 Token::ILLEGAL,
259 Token::ILLEGAL,
260 Token::ILLEGAL,
261 Token::ILLEGAL,
262 Token::ILLEGAL,
263 Token::ILLEGAL,
264 Token::ILLEGAL,
265 Token::ILLEGAL,
266 Token::ILLEGAL,
267 Token::ILLEGAL,
268 Token::ILLEGAL,
269 Token::ILLEGAL,
270 Token::ILLEGAL,
271 Token::ILLEGAL,
272 Token::ILLEGAL,
273 Token::ILLEGAL,
274 Token::ILLEGAL,
275 Token::ILLEGAL,
276 Token::ILLEGAL,
277 Token::ILLEGAL,
278 Token::ILLEGAL,
279 Token::ILLEGAL,
280 Token::ILLEGAL,
281 Token::ILLEGAL,
282 Token::ILLEGAL,
283 Token::ILLEGAL,
284 Token::LPAREN, // 0x28
285 Token::RPAREN, // 0x29
286 Token::ILLEGAL,
287 Token::ILLEGAL,
288 Token::COMMA, // 0x2C
289 Token::ILLEGAL,
290 Token::ILLEGAL,
291 Token::ILLEGAL,
292 Token::ILLEGAL,
293 Token::ILLEGAL,
294 Token::ILLEGAL,
295 Token::ILLEGAL,
296 Token::ILLEGAL,
297 Token::ILLEGAL,
298 Token::ILLEGAL,
299 Token::ILLEGAL,
300 Token::ILLEGAL,
301 Token::ILLEGAL,
302 Token::COLON, // 0x3A
303 Token::SEMICOLON, // 0x3B
304 Token::ILLEGAL,
305 Token::ILLEGAL,
306 Token::ILLEGAL,
307 Token::CONDITIONAL, // 0x3F
308 Token::ILLEGAL,
309 Token::ILLEGAL,
310 Token::ILLEGAL,
311 Token::ILLEGAL,
312 Token::ILLEGAL,
313 Token::ILLEGAL,
314 Token::ILLEGAL,
315 Token::ILLEGAL,
316 Token::ILLEGAL,
317 Token::ILLEGAL,
318 Token::ILLEGAL,
319 Token::ILLEGAL,
320 Token::ILLEGAL,
321 Token::ILLEGAL,
322 Token::ILLEGAL,
323 Token::ILLEGAL,
324 Token::ILLEGAL,
325 Token::ILLEGAL,
326 Token::ILLEGAL,
327 Token::ILLEGAL,
328 Token::ILLEGAL,
329 Token::ILLEGAL,
330 Token::ILLEGAL,
331 Token::ILLEGAL,
332 Token::ILLEGAL,
333 Token::ILLEGAL,
334 Token::ILLEGAL,
335 Token::LBRACK, // 0x5B
336 Token::ILLEGAL,
337 Token::RBRACK, // 0x5D
338 Token::ILLEGAL,
339 Token::ILLEGAL,
340 Token::ILLEGAL,
341 Token::ILLEGAL,
342 Token::ILLEGAL,
343 Token::ILLEGAL,
344 Token::ILLEGAL,
345 Token::ILLEGAL,
346 Token::ILLEGAL,
347 Token::ILLEGAL,
348 Token::ILLEGAL,
349 Token::ILLEGAL,
350 Token::ILLEGAL,
351 Token::ILLEGAL,
352 Token::ILLEGAL,
353 Token::ILLEGAL,
354 Token::ILLEGAL,
355 Token::ILLEGAL,
356 Token::ILLEGAL,
357 Token::ILLEGAL,
358 Token::ILLEGAL,
359 Token::ILLEGAL,
360 Token::ILLEGAL,
361 Token::ILLEGAL,
362 Token::ILLEGAL,
363 Token::ILLEGAL,
364 Token::ILLEGAL,
365 Token::ILLEGAL,
366 Token::ILLEGAL,
367 Token::LBRACE, // 0x7B
368 Token::ILLEGAL,
369 Token::RBRACE, // 0x7D
370 Token::BIT_NOT, // 0x7E
371 Token::ILLEGAL
375 Token::Value Scanner::Next() { in Next()
376 if (next().token == Token::EOS) next().location = current().location; in Next()
384 if (V8_LIKELY(next_next().token == Token::UNINITIALIZED)) { in Next()
391 previous->token = Token::UNINITIALIZED; in Next()
392 previous->contextual_token = Token::UNINITIALIZED; in Next()
393 DCHECK_NE(Token::UNINITIALIZED, current().token); in Next()
399 Token::Value Scanner::PeekAhead() { in PeekAhead()
400 DCHECK(next().token != Token::DIV); in PeekAhead()
401 DCHECK(next().token != Token::ASSIGN_DIV); in PeekAhead()
403 if (next_next().token != Token::UNINITIALIZED) { in PeekAhead()
415 Token::Value Scanner::SkipSingleHTMLComment() { in SkipSingleHTMLComment()
418 return Token::ILLEGAL; in SkipSingleHTMLComment()
423 Token::Value Scanner::SkipSingleLineComment() { in SkipSingleLineComment()
431 return Token::WHITESPACE; in SkipSingleLineComment()
434 Token::Value Scanner::SkipSourceURLComment() { in SkipSourceURLComment()
440 return Token::WHITESPACE; in SkipSourceURLComment()
497 Token::Value Scanner::SkipMultiLineComment() { in SkipMultiLineComment()
513 return Token::WHITESPACE; in SkipMultiLineComment()
520 return Token::ILLEGAL; in SkipMultiLineComment()
523 Token::Value Scanner::ScanHtmlComment() { in ScanHtmlComment()
529 return Token::LT; in ScanHtmlComment()
542 Token::Value token; in Scan()
545 Token::Value token = static_cast<Token::Value>(one_char_tokens[c0_]); in Scan()
546 if (token != Token::ILLEGAL) { in Scan()
549 next().contextual_token = Token::UNINITIALIZED; in Scan()
570 token = Select(Token::LTE); in Scan()
572 token = Select('=', Token::ASSIGN_SHL, Token::SHL); in Scan()
576 token = Token::LT; in Scan()
584 token = Select(Token::GTE); in Scan()
589 token = Select(Token::ASSIGN_SAR); in Scan()
591 token = Select('=', Token::ASSIGN_SHR, Token::SHR); in Scan()
593 token = Token::SAR; in Scan()
596 token = Token::GT; in Scan()
604 token = Select('=', Token::EQ_STRICT, Token::EQ); in Scan()
606 token = Select(Token::ARROW); in Scan()
608 token = Token::ASSIGN; in Scan()
616 token = Select('=', Token::NE_STRICT, Token::NE); in Scan()
618 token = Token::NOT; in Scan()
626 token = Select(Token::INC); in Scan()
628 token = Select(Token::ASSIGN_ADD); in Scan()
630 token = Token::ADD; in Scan()
644 token = Token::DEC; in Scan()
647 token = Select(Token::ASSIGN_SUB); in Scan()
649 token = Token::SUB; in Scan()
657 token = Select('=', Token::ASSIGN_EXP, Token::EXP); in Scan()
659 token = Select(Token::ASSIGN_MUL); in Scan()
661 token = Token::MUL; in Scan()
667 token = Select('=', Token::ASSIGN_MOD, Token::MOD); in Scan()
685 token = Select(Token::ASSIGN_DIV); in Scan()
687 token = Token::DIV; in Scan()
695 token = Select(Token::AND); in Scan()
697 token = Select(Token::ASSIGN_BIT_AND); in Scan()
699 token = Token::BIT_AND; in Scan()
707 token = Select(Token::OR); in Scan()
709 token = Select(Token::ASSIGN_BIT_OR); in Scan()
711 token = Token::BIT_OR; in Scan()
717 token = Select('=', Token::ASSIGN_BIT_XOR, Token::BIT_XOR); in Scan()
726 token = Token::PERIOD; in Scan()
731 token = Token::ELLIPSIS; in Scan()
753 token = Token::EOS; in Scan()
756 if (token == Token::ILLEGAL) Advance(); in Scan()
763 } while (token == Token::WHITESPACE); in Scan()
766 if (Token::IsContextualKeyword(token)) { in Scan()
767 next().token = Token::IDENTIFIER; in Scan()
771 next().contextual_token = Token::UNINITIALIZED; in Scan()
793 case Token::UNINITIALIZED: in SanityCheckTokenDesc()
796 case Token::TEMPLATE_SPAN: in SanityCheckTokenDesc()
797 case Token::TEMPLATE_TAIL: in SanityCheckTokenDesc()
801 case Token::ESCAPED_KEYWORD: in SanityCheckTokenDesc()
802 case Token::ESCAPED_STRICT_RESERVED_WORD: in SanityCheckTokenDesc()
803 case Token::FUTURE_STRICT_RESERVED_WORD: in SanityCheckTokenDesc()
804 case Token::IDENTIFIER: in SanityCheckTokenDesc()
805 case Token::NUMBER: in SanityCheckTokenDesc()
806 case Token::BIGINT: in SanityCheckTokenDesc()
807 case Token::REGEXP_LITERAL: in SanityCheckTokenDesc()
808 case Token::SMI: in SanityCheckTokenDesc()
809 case Token::STRING: in SanityCheckTokenDesc()
810 case Token::PRIVATE_NAME: in SanityCheckTokenDesc()
822 DCHECK_IMPLIES(token.token != Token::IDENTIFIER, in SanityCheckTokenDesc()
823 token.contextual_token == Token::UNINITIALIZED); in SanityCheckTokenDesc()
824 DCHECK_IMPLIES(token.contextual_token != Token::UNINITIALIZED, in SanityCheckTokenDesc()
825 token.token == Token::IDENTIFIER && in SanityCheckTokenDesc()
826 Token::IsContextualKeyword(token.contextual_token)); in SanityCheckTokenDesc()
827 DCHECK(!Token::IsContextualKeyword(token.token)); in SanityCheckTokenDesc()
927 Token::Value Scanner::ScanString() { in ScanString()
936 return Token::STRING; in ScanString()
939 return Token::ILLEGAL; in ScanString()
945 return Token::ILLEGAL; in ScanString()
953 Token::Value Scanner::ScanPrivateName() { in ScanPrivateName()
957 return Token::ILLEGAL; in ScanPrivateName()
966 return Token::ILLEGAL; in ScanPrivateName()
970 Token::Value token = ScanIdentifierOrKeywordInner(&literal); in ScanPrivateName()
971 return token == Token::ILLEGAL ? Token::ILLEGAL : Token::PRIVATE_NAME; in ScanPrivateName()
974 Token::Value Scanner::ScanTemplateSpan() { in ScanTemplateSpan()
994 Token::Value result = Token::TEMPLATE_SPAN; in ScanTemplateSpan()
1002 result = Token::TEMPLATE_TAIL; in ScanTemplateSpan()
1051 next().contextual_token = Token::UNINITIALIZED; in ScanTemplateSpan()
1056 Token::Value Scanner::ScanTemplateStart() { in ScanTemplateStart()
1057 DCHECK_EQ(next_next().token, Token::UNINITIALIZED); in ScanTemplateStart()
1240 Token::Value Scanner::ScanNumber(bool seen_period) { in ScanNumber()
1252 return Token::ILLEGAL; in ScanNumber()
1255 if (!ScanDecimalDigits()) return Token::ILLEGAL; in ScanNumber()
1266 if (!ScanHexDigits()) return Token::ILLEGAL; in ScanNumber()
1270 if (!ScanOctalDigits()) return Token::ILLEGAL; in ScanNumber()
1274 if (!ScanBinaryDigits()) return Token::ILLEGAL; in ScanNumber()
1278 return Token::ILLEGAL; in ScanNumber()
1288 return Token::ILLEGAL; in ScanNumber()
1299 return Token::ILLEGAL; in ScanNumber()
1312 return Token::SMI; in ScanNumber()
1316 if (!ScanDecimalDigits()) return Token::ILLEGAL; in ScanNumber()
1321 return Token::ILLEGAL; in ScanNumber()
1323 if (!ScanDecimalDigits()) return Token::ILLEGAL; in ScanNumber()
1339 return Token::ILLEGAL; in ScanNumber()
1349 return Token::ILLEGAL; in ScanNumber()
1354 if (!ScanSignedInteger()) return Token::ILLEGAL; in ScanNumber()
1362 return Token::ILLEGAL; in ScanNumber()
1372 return is_bigint ? Token::BIGINT : Token::NUMBER; in ScanNumber()
1408 KEYWORD("arguments", Token::ARGUMENTS) \
1409 KEYWORD("as", Token::AS) \
1410 KEYWORD("async", Token::ASYNC) \
1411 KEYWORD("await", Token::AWAIT) \
1412 KEYWORD("anonymous", Token::ANONYMOUS) \
1414 KEYWORD("break", Token::BREAK) \
1416 KEYWORD("case", Token::CASE) \
1417 KEYWORD("catch", Token::CATCH) \
1418 KEYWORD("class", Token::CLASS) \
1419 KEYWORD("const", Token::CONST) \
1420 KEYWORD("constructor", Token::CONSTRUCTOR) \
1421 KEYWORD("continue", Token::CONTINUE) \
1423 KEYWORD("debugger", Token::DEBUGGER) \
1424 KEYWORD("default", Token::DEFAULT) \
1425 KEYWORD("delete", Token::DELETE) \
1426 KEYWORD("do", Token::DO) \
1428 KEYWORD("else", Token::ELSE) \
1429 KEYWORD("enum", Token::ENUM) \
1430 KEYWORD("eval", Token::EVAL) \
1431 KEYWORD("export", Token::EXPORT) \
1432 KEYWORD("extends", Token::EXTENDS) \
1434 KEYWORD("false", Token::FALSE_LITERAL) \
1435 KEYWORD("finally", Token::FINALLY) \
1436 KEYWORD("for", Token::FOR) \
1437 KEYWORD("from", Token::FROM) \
1438 KEYWORD("function", Token::FUNCTION) \
1440 KEYWORD("get", Token::GET) \
1442 KEYWORD("if", Token::IF) \
1443 KEYWORD("implements", Token::FUTURE_STRICT_RESERVED_WORD) \
1444 KEYWORD("import", Token::IMPORT) \
1445 KEYWORD("in", Token::IN) \
1446 KEYWORD("instanceof", Token::INSTANCEOF) \
1447 KEYWORD("interface", Token::FUTURE_STRICT_RESERVED_WORD) \
1449 KEYWORD("let", Token::LET) \
1451 KEYWORD("meta", Token::META) \
1453 KEYWORD("name", Token::NAME) \
1454 KEYWORD("new", Token::NEW) \
1455 KEYWORD("null", Token::NULL_LITERAL) \
1457 KEYWORD("of", Token::OF) \
1459 KEYWORD("package", Token::FUTURE_STRICT_RESERVED_WORD) \
1460 KEYWORD("private", Token::FUTURE_STRICT_RESERVED_WORD) \
1461 KEYWORD("protected", Token::FUTURE_STRICT_RESERVED_WORD) \
1462 KEYWORD("prototype", Token::PROTOTYPE) \
1463 KEYWORD("public", Token::FUTURE_STRICT_RESERVED_WORD) \
1465 KEYWORD("return", Token::RETURN) \
1467 KEYWORD("set", Token::SET) \
1468 KEYWORD("static", Token::STATIC) \
1469 KEYWORD("super", Token::SUPER) \
1470 KEYWORD("switch", Token::SWITCH) \
1472 KEYWORD("target", Token::TARGET) \
1473 KEYWORD("this", Token::THIS) \
1474 KEYWORD("throw", Token::THROW) \
1475 KEYWORD("true", Token::TRUE_LITERAL) \
1476 KEYWORD("try", Token::TRY) \
1477 KEYWORD("typeof", Token::TYPEOF) \
1479 KEYWORD("undefined", Token::UNDEFINED) \
1481 KEYWORD("var", Token::VAR) \
1482 KEYWORD("void", Token::VOID) \
1484 KEYWORD("while", Token::WHILE) \
1485 KEYWORD("with", Token::WITH) \
1487 KEYWORD("yield", Token::YIELD) \
1489 KEYWORD("__proto__", Token::PROTO_UNDERSCORED) \
1491 KEYWORD("#constructor", Token::PRIVATE_CONSTRUCTOR)
1493 static Token::Value KeywordOrIdentifierToken(const uint8_t* input, in KeywordOrIdentifierToken()
1499 return Token::IDENTIFIER; in KeywordOrIdentifierToken()
1514 DCHECK(token == Token::FUTURE_STRICT_RESERVED_WORD || \ in KeywordOrIdentifierToken()
1515 0 == strncmp(keyword, Token::String(token), sizeof(keyword))); \ in KeywordOrIdentifierToken()
1531 return Token::IDENTIFIER; in KeywordOrIdentifierToken()
1537 Token::Value Scanner::ScanIdentifierOrKeyword() { in ScanIdentifierOrKeyword()
1542 Token::Value Scanner::ScanIdentifierOrKeywordInner(LiteralScope* literal) { in ScanIdentifierOrKeywordInner()
1560 return Token::IDENTIFIER; in ScanIdentifierOrKeywordInner()
1565 Token::Value token = in ScanIdentifierOrKeywordInner()
1567 if (token == Token::IDENTIFIER || in ScanIdentifierOrKeywordInner()
1568 token == Token::FUTURE_STRICT_RESERVED_WORD || in ScanIdentifierOrKeywordInner()
1569 Token::IsContextualKeyword(token)) in ScanIdentifierOrKeywordInner()
1581 return Token::IDENTIFIER; in ScanIdentifierOrKeywordInner()
1588 return Token::ILLEGAL; in ScanIdentifierOrKeywordInner()
1602 return Token::ILLEGAL; in ScanIdentifierOrKeywordInner()
1616 Token::Value token = in ScanIdentifierOrKeywordInner()
1619 if (token == Token::FUTURE_STRICT_RESERVED_WORD) { in ScanIdentifierOrKeywordInner()
1621 if (escaped) return Token::ESCAPED_STRICT_RESERVED_WORD; in ScanIdentifierOrKeywordInner()
1624 if (token == Token::IDENTIFIER || Token::IsContextualKeyword(token)) { in ScanIdentifierOrKeywordInner()
1632 if (token == Token::LET || token == Token::STATIC) { in ScanIdentifierOrKeywordInner()
1633 return Token::ESCAPED_STRICT_RESERVED_WORD; in ScanIdentifierOrKeywordInner()
1635 return Token::ESCAPED_KEYWORD; in ScanIdentifierOrKeywordInner()
1639 return Token::IDENTIFIER; in ScanIdentifierOrKeywordInner()
1643 DCHECK_EQ(Token::UNINITIALIZED, next_next().token); in ScanRegExpPattern()
1644 DCHECK(next().token == Token::DIV || next().token == Token::ASSIGN_DIV); in ScanRegExpPattern()
1648 bool seen_equal = (next().token == Token::ASSIGN_DIV); in ScanRegExpPattern()
1692 next().token = Token::REGEXP_LITERAL; in ScanRegExpPattern()
1693 next().contextual_token = Token::UNINITIALIZED; in ScanRegExpPattern()
1699 DCHECK_EQ(Token::REGEXP_LITERAL, next().token); in ScanRegExpFlags()
1798 token.token = Token::UNINITIALIZED; in SeekNext()
1799 token.contextual_token = Token::UNINITIALIZED; in SeekNext()