Добавил детекцию фреймворков по содержимому файлов, LRU-кэш грамматик, двухуровневый повтор парсинга с удалением комментариев, класс ScopeIgnore и улучшил точность извлечения AST для C#, C++, Go, Python и Rust

Author: momentics

src/repo/extraction/FrameworkDetection.ts

@@ -1,8 +1,7 @@
 /**
  * Детекция фреймворков по списку файлов.
  *
- * Анализирует имена и пути файлов для обнаружения фреймворков.
- * Работает синхронно, не читает содержимое файлов.
+ * Анализирует имена, пути файлов и содержимое для обнаружения фреймворков.
  */
 
 /** Индикатор фреймворка: паттерн и имя фреймворка. */
@@ -11,6 +10,13 @@ interface FrameworkIndicator {
   name: string;
 }
 
+/** Индикатор по содержимому файла. */
+interface ContentIndicator {
+  match: RegExp;
+  name: string;
+  filePattern: RegExp;
+}
+
 /** Карта индикаторов фреймворков. */
 const FRAMEWORK_INDICATORS: FrameworkIndicator[] = [
   // --- JavaScript/TypeScript фреймворки ---
@@ -70,19 +76,27 @@ const FRAMEWORK_INDICATORS: FrameworkIndicator[] = [
   { pattern: (f) => f.endsWith('.csproj'), name: 'ASP.NET Core' },
 ];
 
+/** Индикаторы по содержимому файлов. */
+const CONTENT_INDICATORS: ContentIndicator[] = [
+  // Express: зависимость в package.json
+  { match: /"express"\s*:/, name: 'Express', filePattern: /^package\.json$/ },
+  // Spring Boot: аннотация @SpringBootApplication или @RestController
+  { match: /@(?:SpringBootApplication|RestController|SpringBootConfiguration)/, name: 'Spring Boot', filePattern: /\.java$/ },
+];
+
 /**
  * Обнаружение фреймворков по списку файлов.
  *
  * Проверяет имена и пути файлов на наличие индикаторов фреймворков.
  * Работает синхронно, не выполняет I/O.
  */
-export function detectFrameworks(fileList: string[]): string[] {
+export function detectFrameworks(fileList: string[], fileContents?: Map<string, string>): string[] {
   const frameworks = new Set<string>();
 
   // Приводим все пути к нижнему регистру для сравнения
   const lowerFiles = fileList.map((f) => f.toLowerCase());
 
-  // Проверяем каждый индикатор
+  // Проверяем каждый индикатор по имени файла
   for (const { pattern, name } of FRAMEWORK_INDICATORS) {
     for (const file of lowerFiles) {
       if (pattern(file)) {
@@ -92,6 +106,17 @@ export function detectFrameworks(fileList: string[]): string[] {
     }
   }
 
+  // Проверяем индикаторы по содержимому файлов
+  if (fileContents) {
+    for (const [filePath, content] of fileContents) {
+      for (const { match, name, filePattern } of CONTENT_INDICATORS) {
+        if (filePattern.test(filePath) && match.test(content)) {
+          frameworks.add(name);
+        }
+      }
+    }
+  }
+
   // Django требует обоих файлов: manage.py и settings.py
   if (frameworks.has('Django')) {
     const hasManage = lowerFiles.includes('manage.py');

src/repo/extraction/Gitignore.ts

@@ -177,3 +177,86 @@ export function matchGitignorePattern(filePath: string, pattern: string): boolea
 
   return true;
 }
+
+/**
+ * Класс для управления игнорированием файлов с поддержкой
+ * вложенных репозиториев и gitignore-паттернов.
+ */
+export class ScopeIgnore {
+  private readonly _baseDir: string;
+  private readonly _embeddedRepoRoots: string[];
+  private readonly _patterns: string[];
+
+  constructor(baseDir: string, embeddedRepoRoots: string[]) {
+    // Нормализуем разделители на POSIX-стиль
+    this._baseDir = baseDir.replace(/\\/g, '/').replace(/\/+$/, '');
+    this._embeddedRepoRoots = embeddedRepoRoots.map(r =>
+      r.replace(/\\/g, '/').replace(/\/+$/, '')
+    );
+    this._patterns = [];
+  }
+
+  /**
+   * Проверяет, следует ли игнорировать указанный файл.
+   * Пути сравниваются относительно baseDir.
+   * Файлы в вложенных репозиториях не игнорируются.
+   */
+  shouldIgnore(filePath: string): boolean {
+    // Нормализуем разделители
+    const norm = filePath.replace(/\\/g, '/').replace(/\/+$/, '');
+
+    // Файлы в вложенных репозиториях не игнорируются
+    for (const root of this._embeddedRepoRoots) {
+      if (norm === root || norm.startsWith(root + '/')) {
+        return false;
+      }
+    }
+
+    // Вычисляем относительный путь от baseDir
+    const relPath = this._relativePath(norm);
+    if (relPath === null) {
+      // Путь не находится под baseDir — не игнорируем
+      return false;
+    }
+
+    // Применяем паттерны последовательно (gitignore-логика:
+    // последний совпавший паттерн определяет результат)
+    let ignored = false;
+
+    for (const pattern of this._patterns) {
+      const isNegation = pattern.startsWith('!');
+      const result = matchGitignorePattern(relPath, pattern);
+
+      if (result) {
+        ignored = !isNegation;
+      }
+    }
+
+    return ignored;
+  }
+
+  /**
+   * Добавляет gitignore-паттерн. Поддерживаются обычные и
+   * отрицательные (!) паттерны. Паттерны применяются в порядке
+   * добавления, последний совпавший имеет приоритет.
+   */
+  addPattern(pattern: string): void {
+    this._patterns.push(pattern.replace(/\\/g, '/'));
+  }
+
+  /**
+   * Вычисляет относительный путь от baseDir.
+   * Возвращает null, если путь не находится под baseDir.
+   */
+  private _relativePath(absPath: string): string | null {
+    if (absPath === this._baseDir) {
+      return '';
+    }
+
+    if (absPath.startsWith(this._baseDir + '/')) {
+      return absPath.slice(this._baseDir.length + 1);
+    }
+
+    return null;
+  }
+}

src/repo/extraction/Grammars.ts

@@ -11,8 +11,9 @@ const GRAMMAR_MAP: Record<string, string> = {
   csharp: 'tree-sitter-c-sharp',
 };
 
-// Кэш загруженных грамматик для избежания повторных загрузок
+// Кэш загруженных грамматик с LRU-эвицией
 const grammarCache = new Map<string, any>();
+const MAX_CACHE_SIZE = 50;
 
 /**
  * Возвращает имя npm-пакета для заданного языка.
@@ -27,19 +28,38 @@ export function getGrammarName(language: string): string {
 
 /**
  * Загружает грамматику по имени языка с использованием кэша.
- *грамматики загружаются экстракторами через WASM, это возвращает заглушку.
  */
 export async function loadGrammar(language: string): Promise<any> {
   const cacheKey = language;
 
   // Проверяем кэш перед загрузкой
   if (grammarCache.has(cacheKey)) {
-    return grammarCache.get(cacheKey);
+    const cached = grammarCache.get(cacheKey);
+    grammarCache.delete(cacheKey);
+    grammarCache.set(cacheKey, cached);
+    return cached;
+  }
+
+  // Лимит кэша — удаляем наименее недавно используемый
+  if (grammarCache.size >= MAX_CACHE_SIZE) {
+    const firstKey = grammarCache.keys().next().value;
+    if (firstKey) {
+      grammarCache.delete(firstKey);
+    }
+  }
+
+  // Реальная загрузка грамматики через WASM
+  let grammar: any;
+  try {
+    const grammarName = getGrammarName(language);
+    const grammarModule = await import(grammarName);
+    grammar = grammarModule.default || grammarModule;
+  } catch {
+    grammar = { language, loaded: true };
   }
 
-  const placeholder = { language, loaded: true };
-  grammarCache.set(cacheKey, placeholder);
-  return placeholder;
+  grammarCache.set(cacheKey, grammar);
+  return grammar;
 }
 
 /**
@@ -107,16 +127,14 @@ export async function initGrammars(): Promise<void> {
 
 /**
  * Загружает грамматики только для указанных языков.
- *грамматики загружаются экстракторами, это операция без действия (no-op).
  */
 export async function loadGrammarsForLanguages(languages: string[]): Promise<void> {
-  // Операция без действия: экстракторы загружают свои грамматики через WASM
+  await Promise.all(languages.map(loadGrammar));
 }
 
 /**
  * Загружает все доступные грамматики.
- *грамматики загружаются экстракторами, это операция без действия (no-op).
  */
 export async function loadAllGrammars(): Promise<void> {
-  // Операция без действия: экстракторы загружают свои грамматики через WASM
+  await Promise.all(Object.keys(GRAMMAR_MAP).map(loadGrammar));
 }

src/repo/extraction/LanguageDetector.ts

@@ -109,7 +109,21 @@ export function isSourceFile(filePath: string): boolean {
     : '';
 
   // Проверяем, есть ли расширение в карте языков
-  return ext in EXTENSION_TO_LANGUAGE;
+  if (!(ext in EXTENSION_TO_LANGUAGE)) return false;
+
+  const lower = filePath.toLowerCase();
+
+  // Бинарные и минифицированные файлы
+  if (lower.includes('.min.js') || lower.includes('.min.css')) return false;
+  if (lower.endsWith('.bundle.js')) return false;
+
+  // Генерируемые директории
+  if (lower.includes('/__generated__/') || lower.includes('/generated/')) return false;
+
+  // Генерируемые файлы
+  if (lower.endsWith('.generated.ts') || lower.endsWith('.generated.js') || lower.endsWith('.generated.go')) return false;
+
+  return true;
 }
 
 /**

src/repo/extraction/Orchestrator.ts

@@ -44,7 +44,7 @@ import { discoverEmbeddedRepoRoots } from './EmbeddedRepos';
 import { IExtractor, ExtractorBase } from './ExtractorBase';
 import { TypeScriptExtractor } from './extractors/TypeScript';
 import { PythonExtractor } from './extractors/Python';
-import { parseFile as parseFileWorker, loadGrammars as loadGrammarsWorker, destroy as destroyWorker } from './ParserWorker';
+import { parseFile as parseFileWorker, loadGrammars as loadGrammarsWorker, destroy as destroyWorker, recycleWorker as recycleWorkerFn, rejectAllPending as rejectAllPendingFn } from './ParserWorker';
 
 /** Параметры индексации. */
 export interface IndexOptions {
@@ -391,6 +391,10 @@ export class ExtractionOrchestrator {
       const files = await scanDirectory(this.rootDir, { onProgress, signal });
 
       if (signal?.aborted) {
+        // Отменяем все ожидающие парсинги
+        if (PARSER_WORKER_AVAILABLE) {
+          rejectAllPendingFn();
+        }
         return this.abortResult(startTime, filesIndexed, filesSkipped, filesErrored, totalNodes, totalEdges, errors);
       }
 
@@ -424,6 +428,12 @@ export class ExtractionOrchestrator {
 
       // Обработка батчами для параллельного чтения файлов
       for (let i = 0; i < files.length; i += FILE_IO_BATCH_SIZE) {
+        // Отменяем все ожидающие парсинги при отмене
+        if (signal?.aborted) {
+          if (PARSER_WORKER_AVAILABLE) {
+            rejectAllPendingFn();
+          }
+        }
         checkAbort(signal);
 
         const batch = files.slice(i, i + FILE_IO_BATCH_SIZE);
@@ -497,7 +507,7 @@ export class ExtractionOrchestrator {
             continue;
           }
 
-          // Извлечение AST через экстрактор
+          // Извлечение AST через экстрактор с 2-уровневым повтором
           let result: IExtractionResult;
           try {
             if (PARSER_WORKER_AVAILABLE) {
@@ -506,15 +516,36 @@ export class ExtractionOrchestrator {
               result = this.extractFile(filePath, content, language, frameworkNames);
             }
           } catch (parseErr) {
-            processed++;
-            filesErrored++;
-            errors.push({
-              message: parseErr instanceof Error ? parseErr.message : String(parseErr),
-              filePath,
-              severity: 'error',
-              code: 'parse_error',
-            });
-            continue;
+            // Уровень 1: повтор с оригинальным содержимым
+            try {
+              if (PARSER_WORKER_AVAILABLE) {
+                // Пересоздаём воркер перед повторной попыткой
+                await recycleWorkerFn();
+                result = await parseFileWorker(filePath, content, frameworkNames ?? [], language, [language]);
+              } else {
+                result = this.extractFile(filePath, content, language, frameworkNames);
+              }
+            } catch (parseErr2) {
+              // Уровень 2: удаление комментариев и повтор
+              try {
+                const stripped = this.stripComments(content, language);
+                if (PARSER_WORKER_AVAILABLE) {
+                  result = await parseFileWorker(filePath, stripped, frameworkNames ?? [], language, [language]);
+                } else {
+                  result = this.extractFile(filePath, stripped, language, frameworkNames);
+                }
+              } catch (parseErr3) {
+                processed++;
+                filesErrored++;
+                errors.push({
+                  message: parseErr3 instanceof Error ? parseErr3.message : String(parseErr3),
+                  filePath,
+                  severity: 'error',
+                  code: 'parse_error',
+                });
+                continue;
+              }
+            }
           }
 
           processed++;
@@ -1176,7 +1207,45 @@ await this.storeExtractionResult(fileRecord, result);
   /**
    * Извлекает AST из файла через соответствующий экстрактор.
    */
-  private extractFile(
+  private stripComments(content: string, language: string): string {
+     const lines = content.split('\n');
+     if (language === 'typescript' || language === 'cpp' || language === 'csharp' || language === 'java') {
+       const result: string[] = [];
+       let inBlock = false;
+       for (const line of lines) {
+         let p = line;
+         if (inBlock) {
+           const ei = p.indexOf('*/');
+           if (ei !== -1) { p = p.slice(ei + 2); inBlock = false; }
+           else { result.push(''); continue; }
+         }
+         const si = p.indexOf('//');
+         if (si !== -1) p = p.slice(0, si);
+         const bs = p.indexOf('/*');
+         if (bs !== -1) {
+           const be = p.indexOf('*/', bs + 2);
+           if (be !== -1) p = p.slice(0, bs) + p.slice(be + 2);
+           else { p = p.slice(0, bs); inBlock = true; }
+         }
+         result.push(p);
+       }
+       return result.join('\n');
+     }
+     if (language === 'python' || language === 'go' || language === 'rust') {
+       const result: string[] = [];
+       for (const line of lines) {
+         const t = line.trim();
+         if (t.startsWith('#') || t.startsWith('//')) { result.push(''); continue; }
+         const ci = line.indexOf('#');
+         if (ci !== -1) result.push(line.slice(0, ci));
+         else result.push(line);
+       }
+       return result.join('\n');
+     }
+     return content;
+   }
+
+   private extractFile(
     filePath: string,
     content: string,
     language: string,