jQuery源码剖析（七）——Sizzle选择器引擎之词法分析

<div>
  <p>
    <input type="text" />
  </p>
  <div class="clr">
    <input type="checkbox" name="readme" />
    <p>Hello World</p>
  </div>
</div>

//假设传入进来的选择器是：div > p + .clr[type="checkbox"], #id:first-child
//这里可以分为两个规则：div > p + .clr[type="checkbox"] 以及 #id:first-child
//返回的需要是一个Token序列
//Sizzle的Token格式如下 ：{value:'匹配到的字符串', type:'对应的Token类型', matches:'正则匹配到的一个结构'}
function tokenize( selector, parseOnly ) {
  var matched, match, tokens, type,
    soFar, groups, preFilters,
    cached = tokenCache[ selector + " " ];
  //这里的soFar是表示目前还未分析的字符串剩余部分
  //groups表示目前已经匹配到的规则组，在这个例子里边，groups的长度最后是2，存放的是每个规则对应的Token序列
 
 
  //如果cache里边有，直接拿出来即可
  if ( cached ) {
    return parseOnly ? 0 : cached.slice( 0 );
  }
 
  //初始化
  soFar = selector;
  groups = [];
 
  //这里的预处理器为了对匹配到的Token适当做一些调整
  //自行查看源码，其实就是正则匹配到的内容的一个预处理
  preFilters = Expr.preFilter;
 
  //当字符串还没解析完毕，循环开始
  while ( soFar ) {
 
    // Comma and first run
    if ( !matched || (match = rcomma.exec( soFar )) ) {
      if ( match ) {
        //如果匹配到逗号
        // Don't consume trailing commas as valid
        soFar = soFar.slice( match[0].length ) || soFar;
      }
      //往规则组里边压入一个Token序列，目前Token序列还是空的
      groups.push( tokens = [] );
    }
 
    matched = false;
 
    // Combinators
    //先处理这几个特殊的Token ： >, +, 空格, ~
    //因为他们比较简单，并且是单字符的
    if ( (match = rcombinators.exec( soFar )) ) {
      //获取到匹配的字符
      matched = match.shift();
 
      //放入Token序列中
      tokens.push( {
        value: matched,
        // Cast descendant combinators to space
        type: match[0].replace( rtrim, " " )
      } );
      //剩余还未分析的字符串需要减去这段已经分析过的
      soFar = soFar.slice( matched.length );
    }
 
    // Filters
    //这里开始分析这几种Token ： TAG, ID, CLASS, ATTR, CHILD, PSEUDO, NAME
    //Expr.filter里边对应地 就有这些key
    for ( type in Expr.filter ) {
      /*
        这里的正则如下，其实可以忽略此段。
        自己写一下正则也不会特别难
        matchExpr = {
          "ID": new RegExp( "^#(" + characterEncoding + ")" ),
          "CLASS": new RegExp( "^\\.(" + characterEncoding + ")" ),
          "NAME": new RegExp( "^\\[name=['\"]?(" + characterEncoding + ")['\"]?\\]" ),
          "TAG": new RegExp( "^(" + characterEncoding.replace( "w", "w*" ) + ")" ),
          "ATTR": new RegExp( "^" + attributes ),
          "PSEUDO": new RegExp( "^" + pseudos ),
          "CHILD": new RegExp( "^:(only|first|last|nth|nth-last)-(child|of-type)(?:\\(" + whitespace +
            "*(even|odd|(([+-]|)(\\d*)n|)" + whitespace + "*(?:([+-]|)" + whitespace +
            "*(\\d+)|))" + whitespace + "*\\)|)", "i" ),
          // For use in libraries implementing .is()
          // We use this for POS matching in `select`
          "needsContext": new RegExp( "^" + whitespace + "*[>+~]|:(even|odd|eq|gt|lt|nth|first|last)(?:\\(" +
            whitespace + "*((?:-\\d)?\\d*)" + whitespace + "*\\)|)(?=[^-]|$)", "i" )
        },
      */
      //如果通过正则匹配到了Token格式：match = matchExpr[ type ].exec( soFar )
      //然后看看需不需要预处理：!preFilters[ type ]
          //如果需要 ，那么通过预处理器将匹配到的处理一下 ： match = preFilters[ type ]( match )
      if ( (match = matchExpr[ type ].exec( soFar )) && (!preFilters[ type ] ||
        (match = preFilters[ type ]( match ))) ) {
        matched = match.shift();
 
        //放入Token序列中
        tokens.push( {
          value: matched,
          type: type,
          matches: match
        } );
        //剩余还未分析的字符串需要减去这段已经分析过的
        soFar = soFar.slice( matched.length );
      }
    }
 
    //如果到了这里都还没matched到，那么说明这个选择器在这里有错误
    //直接中断词法分析过程
    //这就是Sizzle对词法分析的异常处理
    if ( !matched ) {
      break;
    }
  }
 
  // Return the length of the invalid excess
  // if we're just parsing
  // Otherwise, throw an error or return tokens
  //如果只需要这个接口检查选择器的合法性，直接就返回soFar的剩余长度，倘若是大于零，说明选择器不合法
  //其余情况，如果soFar长度大于零，抛出异常；否则把groups记录在cache里边并返回，
  return parseOnly ?
    soFar.length :
    soFar ?
      Sizzle.error( selector ) :
      // Cache the tokens
      tokenCache( selector, groups ).slice( 0 );
}
 
//词法分析阶段需要的缓存器
tokenCache = createCache(),
 
/**
 * Create key-value caches of limited size
 * @returns {Function(string, Object)} Returns the Object data after storing it on itself with
 *  property name the (space-suffixed) string and (if the cache is larger than Expr.cacheLength)
 *  deleting the oldest entry
 */
//
function createCache() {
  var cache,
    keys = [];
 
  return (cache = function( key, value ) {
    // Use (key + " ") to avoid collision with native prototype properties (see Issue #157)
    // 为了避免缓存太多，导致内存使用过大，所以这里可以设置cache长度。默认是
    // cacheLength: 50,
    if ( keys.push( key += " " ) > Expr.cacheLength ) {
      // Only keep the most recent entries
      //超过缓存，那就把缓存的第一个删掉
      delete cache[ keys.shift() ];
    }
    return (cache[ key ] = value);
  });
}