Добавлены рёбра returns/type_of/imports, заменён Module на File, добавлено реальное время извлечения и исправлены ложные срабатывания детекции фреймворков во всех экстракторах

Author: momentics

src/repo/extraction/ExtractorBase.test.ts

@@ -49,12 +49,12 @@ describe("extraction pipeline", () => {
       expect(detectLanguage("src/file.ts")).toBe("typescript")
     })
 
-    it("detects TypeScript from .tsx extension", () => {
-      expect(detectLanguage("src/file.tsx")).toBe("typescript")
+    it("detects TSX from .tsx extension", () => {
+      expect(detectLanguage("src/file.tsx")).toBe("tsx")
     })
 
     it("detects JavaScript from .js extension", () => {
-      expect(detectLanguage("src/file.js")).toBe("typescript")
+      expect(detectLanguage("src/file.js")).toBe("javascript")
     })
 
     it("detects Python from .py extension", () => {

src/repo/extraction/FrameworkDetection.ts

@@ -50,11 +50,8 @@ const FRAMEWORK_INDICATORS: FrameworkIndicator[] = [
   // Django: наличие manage.py и settings.py
   { pattern: (f) => f === 'manage.py' || f.endsWith('/settings.py') || f === 'settings.py', name: 'Django' },
 
-  // Flask: app.py с импортом Flask или requirements.txt с flask
-  { pattern: (f) => f === 'requirements.txt', name: 'Flask' },
-
-  // FastAPI: main.py с импортом FastAPI
-  { pattern: (f) => f === 'main.py', name: 'FastAPI' },
+  // Flask: детекция по содержимому файла (import flask)
+  // FastAPI: детекция по содержимому файла (import fastapi)
 
   // --- Java фреймворки ---
 
@@ -67,8 +64,7 @@ const FRAMEWORK_INDICATORS: FrameworkIndicator[] = [
 
   // --- Rust фреймворки ---
 
-  // Actix-web, Axum: Cargo.toml с соответствующей зависимостью
-  { pattern: (f) => f === 'Cargo.toml', name: 'Actix-web' },
+  // Actix-web, Axum: детекция по содержимому Cargo.toml
 
   // --- C# фреймворки ---
 
@@ -82,6 +78,12 @@ const CONTENT_INDICATORS: ContentIndicator[] = [
   { match: /"express"\s*:/, name: 'Express', filePattern: /^package\.json$/ },
   // Spring Boot: аннотация @SpringBootApplication или @RestController
   { match: /@(?:SpringBootApplication|RestController|SpringBootConfiguration)/, name: 'Spring Boot', filePattern: /\.java$/ },
+  // Flask: импорт flask в Python файле
+  { match: /(?:^|\s)import\s+flask(?:\s|$|\.|:)/i, name: 'Flask', filePattern: /\.py$/ },
+  // FastAPI: импорт fastapi в Python файле
+  { match: /(?:^|\s)import\s+fastapi(?:\s|$|\.|:)/i, name: 'FastAPI', filePattern: /\.py$/ },
+  // Actix-web: зависимость actix-web в Cargo.toml
+  { match: /actix-web/, name: 'Actix-web', filePattern: /^Cargo\.toml$/ },
 ];
 
 /**

src/repo/extraction/Gitignore.ts

@@ -78,7 +78,7 @@ interface IGitignorePatternResult {
  * Транслирует gitignore-паттерн в регулярное выражение.
  * Поддерживает *, **, ? и анкоринг.
  */
-function patternToRegex(pattern: string): IGitignorePatternResult {
+function patternToRegex(pattern: string): IGitignorePatternResult | null {
   let isNegation = false;
 
   if (pattern.startsWith('!')) {
@@ -147,9 +147,13 @@ function patternToRegex(pattern: string): IGitignorePatternResult {
     regexSource = '^' + regexSource + '(?:/.*)?$';
   }
 
-  const re = new RegExp(regexSource);
-
-  return { re, isNegation, dirOnly };
+  try {
+    const re = new RegExp(regexSource);
+    return { re, isNegation, dirOnly };
+  } catch {
+    console.warn(`[Gitignore] Неверный regex для паттерна: ${pattern}`);
+    return null;
+  }
 }
 
 /**
@@ -160,7 +164,16 @@ function patternToRegex(pattern: string): IGitignorePatternResult {
 export function matchGitignorePattern(filePath: string, pattern: string): boolean {
   const normalizedPath = filePath.replace(/\\/g, '/');
 
-  const { re, isNegation, dirOnly } = patternToRegex(pattern);
+  // Оборачиваем в try-catch: невалидные паттерны игнорируются
+  let result: IGitignorePatternResult | null;
+  try {
+    result = patternToRegex(pattern);
+  } catch {
+    console.warn(`[Gitignore] Ошибка обработки паттерна: ${pattern}`);
+    return false;
+  }
+  if (!result) return false;
+  const { re, isNegation, dirOnly } = result;
 
   if (dirOnly) {
     // Паттерн только для директорий — путь должен заканчиваться / или

src/repo/extraction/Grammars.ts

@@ -8,6 +8,8 @@ const GRAMMAR_MAP: Record<string, string> = {
   rust: 'tree-sitter-rust',
   java: 'tree-sitter-java',
   cpp: 'tree-sitter-cpp',
+  // Грамматика для языка C
+  c: 'tree-sitter-c',
   csharp: 'tree-sitter-c-sharp',
 };
 

src/repo/extraction/LanguageDetector.ts

@@ -3,9 +3,9 @@ import { Language } from '../ntgraph/Types';
 // Карта соответствия расширений файлов языкам программирования
 export const EXTENSION_TO_LANGUAGE: Record<string, Language> = {
   '.ts': 'typescript',
-  '.tsx': 'typescript',
-  '.js': 'typescript',
-  '.jsx': 'typescript',
+  '.tsx': 'tsx',
+  '.js': 'javascript',
+  '.jsx': 'jsx',
   '.mjs': 'typescript',
   '.cjs': 'typescript',
   '.py': 'python',
@@ -32,7 +32,7 @@ export const EXTENSION_TO_LANGUAGE: Record<string, Language> = {
   '.scala': 'scala',
   '.sc': 'scala',
   '.lua': 'lua',
-  '.luau': 'lua',
+  '.luau': 'luau',
   '.m': 'objc',
   '.r': 'r',
   '.R': 'r',

src/repo/extraction/Orchestrator.ts

@@ -551,11 +551,11 @@ export class ExtractionOrchestrator {
           processed++;
 
           // Создание записи файла
-          const fileRecord: IFileRecord = {
-            path: filePath,
-            contentHash: hashContent(content),
-            language,
-            size: stats.size,
+       const fileRecord: IFileRecord = {
+          path: filePath,
+          contentHash: hashContent(content),
+          language: language as Language,
+          size: stats.size,
             modifiedAt: stats.mtimeMs,
             indexedAt: Date.now(),
             nodeCount: result.nodes.length,
@@ -641,6 +641,15 @@ await this.storeExtractionResult(fileRecord, result);
 
     onProgress?.({ phase: 'scanning', current: 0, total: 0, file: '', durationMs: 0 });
 
+    // Загрузка грамматик перед основным циклом извлечения
+    if (PARSER_WORKER_AVAILABLE) {
+      try {
+        await loadGrammarsWorker(['typescript', 'python']);
+      } catch {
+        // Игнорируем ошибки загрузки грамматик
+      }
+    }
+
     // Пытаемся использовать git для быстрого обнаружения изменений
     const gitChanges = getGitChangedFiles(this.rootDir);
 
@@ -900,6 +909,9 @@ await this.storeExtractionResult(fileRecord, result);
     this._detectedFrameworks = null;
     const frameworkNames = this.ensureDetectedFrameworks(filePaths);
 
+    // Уровень 2: сборка списка файлов, которые не удалось распарсить
+    const failedFiles: { filePath: string; content: string; language: string; stats: fs.Stats }[] = [];
+
     const total = filePaths.length;
     let processed = 0;
 
@@ -959,20 +971,33 @@ await this.storeExtractionResult(fileRecord, result);
           continue;
         }
 
-        // Извлечение AST через экстрактор
+        // Извлечение AST через экстрактор с 2-уровневым повтором
         let result: IExtractionResult;
         try {
           result = this.extractFile(filePath, content, language, frameworkNames);
         } catch (parseErr) {
-          processed++;
-          filesErrored++;
-          errors.push({
-            message: parseErr instanceof Error ? parseErr.message : String(parseErr),
-            filePath,
-            severity: 'error',
-            code: 'parse_error',
-          });
-          continue;
+          // Уровень 1: повтор с оригинальным содержимым
+          try {
+            result = this.extractFile(filePath, content, language, frameworkNames);
+          } catch (parseErr2) {
+            // Уровень 2: удаление комментариев и повтор
+            try {
+              const stripped = this.stripComments(content, language);
+              result = this.extractFile(filePath, stripped, language, frameworkNames);
+            } catch (parseErr3) {
+              // Сохраняем для повторной обработки с фолбэком
+              failedFiles.push({ filePath, content, language, stats });
+              processed++;
+              filesErrored++;
+              errors.push({
+                message: parseErr3 instanceof Error ? parseErr3.message : String(parseErr3),
+                filePath,
+                severity: 'error',
+                code: 'parse_error',
+              });
+              continue;
+            }
+          }
         }
 
         processed++;
@@ -1015,6 +1040,49 @@ await this.storeExtractionResult(fileRecord, result);
       }
     }
 
+    // Уровень 2: повторная обработка файлов, которые не удалось распарсить, с фолбэком
+    for (const { filePath, content, language, stats } of failedFiles) {
+      // Фолбэк: пробовать каждый доступный экстрактор
+      let fallbackResult: IExtractionResult | null = null;
+      for (const [lang, extractor] of EXTRACTOR_MAP) {
+        try {
+          fallbackResult = extractor.extract(content, filePath, frameworkNames);
+          if (fallbackResult.nodes.length > 0) {
+            break;
+          }
+        } catch {
+          // Пробуем следующий экстрактор
+        }
+      }
+
+      if (fallbackResult && fallbackResult.nodes.length > 0) {
+        const fileRecord: IFileRecord = {
+          path: filePath,
+          contentHash: hashContent(content),
+          language: language as Language,
+          size: stats.size,
+          modifiedAt: stats.mtimeMs,
+          indexedAt: Date.now(),
+          nodeCount: fallbackResult.nodes.length,
+          errors: fallbackResult.errors.length > 0 ? fallbackResult.errors : undefined,
+        };
+
+        await this.storeExtractionResult(fileRecord, fallbackResult);
+
+        filesErrored--;
+        filesIndexed++;
+        totalNodes += fallbackResult.nodes.length;
+        totalEdges += fallbackResult.edges.length;
+
+        if (fallbackResult.errors.length > 0) {
+          for (const err of fallbackResult.errors) {
+            if (!err.filePath) err.filePath = filePath;
+          }
+          errors.push(...fallbackResult.errors);
+        }
+      }
+    }
+
     return {
       indexed: filesIndexed,
       updated: 0,
@@ -1436,10 +1504,10 @@ await this.storeExtractionResult(fileRecord, result);
     try {
       const result = this.extractFile(filePath, content, language, frameworkNames);
 
-      const fileRecord: IFileRecord = {
-        path: filePath,
-        contentHash: hashContent(content),
-        language,
+       const fileRecord: IFileRecord = {
+          path: filePath,
+          contentHash: hashContent(content),
+          language: language as Language,
         size: stats.size,
         modifiedAt: stats.mtimeMs,
         indexedAt: Date.now(),

src/repo/extraction/ParserWorker.ts

@@ -35,13 +35,14 @@ async function parseInProcess(
   language: string,
   content: string,
   filePath: string,
+  frameworkNames: string[],
   languages: string[],
 ): Promise<IExtractionResult> {
   const { loadGrammarsForLanguages } = await import('./Grammars');
   await loadGrammarsForLanguages(languages);
 
   const { extractFromSource } = await import('./tree-sitter');
-  return extractFromSource(filePath, content, language);
+  return extractFromSource(filePath, content, language, frameworkNames);
 }
 
 class ParserWorkerManager {
@@ -219,10 +220,43 @@ class ParserWorkerManager {
   }
 
   private retryParse(id: number, req: PendingParse): void {
-    // Повторная отправка запроса на парсинг в восстановленный воркер.
+    // Генерируем новый ID запроса, так как старый устарел после отклонения.
+    const newId = this.nextRequestId++;
+
+    // Вычисляем таймаут для повторного запроса.
+    const timeout = calcTimeout(req.content);
+
+    // Устанавливаем таймаут для нового запроса.
+    const timeoutId = setTimeout(() => {
+      this.pendingParses.delete(newId);
+      req.reject(new Error('Таймаут парсинга: ' + timeout + 'ms'));
+      this.worker?.terminate().catch(() => {});
+    }, timeout);
+
+    // Создаём новый PendingParse с обновлённым таймаутом, но теми же resolve/reject.
+    const newPending: PendingParse = {
+      resolve: (value) => {
+        clearTimeout(timeoutId);
+        req.resolve(value);
+      },
+      reject: (reason) => {
+        clearTimeout(timeoutId);
+        req.reject(reason);
+      },
+      timeout: timeoutId,
+      filePath: req.filePath,
+      content: req.content,
+      frameworkNames: req.frameworkNames,
+      language: req.language,
+    };
+
+    // Добавляем новый запрос в карту ожидающих парсингов.
+    this.pendingParses.set(newId, newPending);
+
+    // Отправляем запрос на парсинг в восстановленный воркер.
     this.worker!.postMessage({
       type: 'parse',
-      id,
+      id: newId,
       filePath: req.filePath,
       content: req.content,
       frameworkNames: req.frameworkNames,
@@ -347,7 +381,7 @@ class ParserWorkerManager {
     }
 
     if (!this.workerThreadsAvailable) {
-      return parseInProcess(language, content, filePath, languages);
+      return parseInProcess(language, content, filePath, frameworkNames, languages);
     }
 
     if (this.languages.length === 0 || languages.some(l => !this.languages.includes(l))) {