ScannerModule.java

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * Исключение, возникающее при ошибках лексического анализа.
 * Содержит информацию о месте ошибки в исходном коде.
 */
class ScanError extends RuntimeException {
  /**
   * Конструктор ошибки сканирования.
   * @param message описание ошибки
   * @param ln номер строки
   * @param pos позиция в строке
   */
  public ScanError(String message, int ln, int pos) {
    super(String.format("[Сканер] строка %d, позиция %d: %s", ln, pos, message));
  }
}

/**
 * Лексический анализатор (сканер).
 * Преобразует исходный код в последовательность токенов.
 */
public class ScannerModule {
  private final String code;  // исходный код программы
  private int idx = 0;        // текущая позиция в строке
  private int ln = 1;         // текущий номер строки
  private int pos = 1;        // текущая позиция в строке

  // Словарь зарезервированных слов языка
  private static final Map<String, TokType> RESERVED = new HashMap<>();
  static {
    RESERVED.put("void", TokType.VOID);    // ключевое слово void
    RESERVED.put("int", TokType.INT);      // ключевое слово int
    RESERVED.put("return", TokType.RETURN); // ключевое слово return
  }

  /**
   * Конструктор сканера.
   * @param code исходный код программы
   */
  public ScannerModule(String code) {
    this.code = code;
  }

  /**
   * Возвращает текущий символ без продвижения по строке.
   * @return текущий символ или null, если достигнут конец строки
   */
  private Character ch() {
    if (idx >= code.length()) {
      return null;
    }
    return code.charAt(idx);
  }

  /**
   * Возвращает текущий символ и продвигается к следующему.
   * Обновляет счетчики строк и позиций.
   * @return текущий символ или null
   */
  private Character nextCh() {
    Character c = ch();
    idx++;
    if (c != null) {
      if (c == '\n') {
        ln++;     // новая строка
        pos = 1;  // сброс позиции
      } else {
        pos++;    // следующая позиция в строке
      }
    }
    return c;
  }

  /**
   * Пропускает все пробельные символы.
   */
  private void eatSpaces() {
    while (ch() != null && Character.isWhitespace(ch())) {
      nextCh();
    }
  }

  /**
   * Извлекает идентификатор из входного потока.
   * Идентификатор начинается с буквы или '_' и может содержать буквы, цифры и '_'.
   * @return токен идентификатора или ключевого слова
   */
  private Tok grabIdent() {
    int startLn = ln;     // запоминаем начальную позицию
    int startPos = pos;
    StringBuilder buf = new StringBuilder();

    // Собираем все символы, составляющие идентификатор
    while (ch() != null && (Character.isLetterOrDigit(ch()) || ch() == '_')) {
      buf.append(nextCh());
    }

    String ident = buf.toString();
    // Проверяем, является ли идентификатор ключевым словом
    TokType kind = RESERVED.getOrDefault(ident, TokType.IDENT);
    return new Tok(kind, ident, startLn, startPos);
  }

  /**
   * Извлекает числовую константу из входного потока.
   * Число состоит из последовательности цифр.
   * @return токен числа
   */
  private Tok grabNum() {
    int startLn = ln;     // запоминаем начальную позицию
    int startPos = pos;
    StringBuilder buf = new StringBuilder();

    // Собираем все цифры
    while (ch() != null && Character.isDigit(ch())) {
      buf.append(nextCh());
    }

    // Преобразуем строку в число
    return new Tok(TokType.NUMBER, Integer.parseInt(buf.toString()), startLn, startPos);
  }

  /**
   * Основной метод сканирования.
   * Преобразует весь исходный код в список токенов.
   * @return список токенов
   * @throws ScanError при обнаружении недопустимого символа
   */
  public List<Tok> scanAll() {
    List<Tok> result = new ArrayList<>();

    // Обрабатываем весь входной поток
    while (ch() != null) {
      eatSpaces();  // пропускаем пробелы
      if (ch() == null) break;

      char c = ch();
      int currentLn = ln;     // позиция текущего символа
      int currentPos = pos;

      // Обработка разных типов символов
      if (Character.isLetter(c) || c == '_') {
        // Идентификатор или ключевое слово
        result.add(grabIdent());
      } else if (Character.isDigit(c)) {
        // Числовая константа
        result.add(grabNum());
      } else {
        // Специальные символы и операторы
        nextCh(); // Потребляем символ
        Tok token = switch (c) {
          case '(' -> new Tok(TokType.LPAR, "(", currentLn, currentPos);
          case ')' -> new Tok(TokType.RPAR, ")", currentLn, currentPos);
          case '{' -> new Tok(TokType.LBRACE, "{", currentLn, currentPos);
          case '}' -> new Tok(TokType.RBRACE, "}", currentLn, currentPos);
          case ';' -> new Tok(TokType.SEMI, ";", currentLn, currentPos);
          case ',' -> new Tok(TokType.COMMA, ",", currentLn, currentPos);
          case '+' -> new Tok(TokType.PLUS, "+", currentLn, currentPos);
          case '-' -> new Tok(TokType.MINUS, "-", currentLn, currentPos);
          default -> throw new ScanError(
              String.format("неопознанный символ '%c'", c), currentLn, currentPos
          );
        };
        result.add(token);
      }
    }

    // Добавляем маркер конца потока
    result.add(new Tok(TokType.END, null, ln, pos));
    return result;
  }
}