Skip to content

GUI_EXISTING_FILES_FIX.md

Latest commit

 

History

History
275 lines (206 loc) · 6.17 KB

GUI_EXISTING_FILES_FIX.md

File metadata and controls

275 lines (206 loc) · 6.17 KB

GUI现有文件处理功能修复

问题

用户在GUI中设置了"Skip all"跳过已存在文件，但转换仍在进行，没有生效。

原因

GUI的ConverterWorker是自己实现的转换逻辑，没有调用convert_directory API，所以existing_files参数被传入但没有使用。

修复内容

1. 在ConverterWorker中添加文件存在检查

def run(self):
    # ... 初始化代码 ...

    success_count = 0
    failed_count = 0
    skipped_count = 0

    for index, filepath in self.files:
        # 计算输出路径
        out_path = get_output_path(
            Path(filepath), self.input_dir, self.output_dir, self.recursive
        )

        # 检查文件是否存在
        should_convert = True
        if out_path.exists():
            if self.existing_files == "skip":
                should_convert = False
                self.status_signal.emit(index, "Skipped")
                self.log_signal.emit(f"[{filename}] Skipped (already exists)")
                skipped_count += 1
                continue
            elif self.existing_files == "update":
                src_mtime = Path(filepath).stat().st_mtime
                out_mtime = out_path.stat().st_mtime
                if src_mtime <= out_mtime:
                    should_convert = False
                    self.status_signal.emit(index, "Skipped")
                    self.log_signal.emit(f"[{filename}] Skipped (source not newer)")
                    skipped_count += 1
                    continue
                else:
                    self.log_signal.emit(f"[{filename}] Updating (source is newer)")
            elif self.existing_files == "overwrite":
                self.log_signal.emit(f"[{filename}] Overwriting existing file")

        if not should_convert:
            continue

        # 开始转换
        # ... 转换逻辑 ...

2. 添加统计输出

self.log_signal.emit(
    f"Done: {success_count} converted, {skipped_count} skipped, {failed_count} failed"
)

使用效果

CLI日志输出

[Batch] 1/100: paper1.pdf - Skipping (already exists)
[Batch] 2/100: paper2.pdf - Skipping (already exists)
[Batch] 3/100: paper3.pdf
[Batch] ✓ paper3.pdf
[Batch] Done: 1 converted, 2 skipped, 0 failed

GUI日志输出

[12:30:15] Starting processing of 100 files...
[12:30:15] Engine: marker, Device: cuda
[12:30:15] Converter ready.
[12:30:16] [paper1.pdf] Skipped (already exists)
[12:30:16] [paper2.pdf] Skipped (already exists)
[12:30:17] Processing: paper3.pdf
[12:30:19] [paper3.pdf] Done -> paper3.md
[12:30:19] Done: 1 converted, 2 skipped, 0 failed

GUI界面状态

Filename Status Progress
paper1.pdf Skipped 0%
paper2.pdf Skipped 0%
paper3.pdf Completed 100%

四种处理模式

1. Ask (interactive)

默认模式，发现已存在文件时询问用户：

Output file already exists: /output/paper.md
[o] Overwrite this file
[s] Skip this file
[u] Update if source is newer
[O] Overwrite all remaining
[S] Skip all remaining
[U] Update all remaining

2. Skip all

跳过所有已存在的文件：

[paper.pdf] Skipped (already exists)

特点：

  • 立即跳过，不转换
  • 状态显示"Skipped"
  • 速度最快

3. Update if newer

只更新源文件比输出文件新的情况：

[paper.pdf] Skipped (source not newer)
或
[paper.pdf] Updating (source is newer)

特点：

  • 检查修改时间
  • 只转换更新的文件
  • 适合增量更新

4. Overwrite all

覆盖所有已存在的文件：

[paper.pdf] Overwriting existing file

特点：

  • 全部重新转换
  • 会覆盖已有结果
  • 适合完全重做

性能对比

44315个PDF，已有40000个转换结果：

模式 操作 耗时
Skip all 检查40000个 + 转换4315个 ~6天
Update 检查40000个 + 转换更新的 ~6-7天
Overwrite 转换44315个 ~61天
Ask 交互式选择 取决于选择

Skip模式比Overwrite模式快10倍！

修复验证

测试代码

# test_gui_existing_files.py
def test_gui_skip_existing():
    from nuoyi.gui import ConverterWorker
    from pathlib import Path
    import tempfile

    with tempfile.TemporaryDirectory() as tmpdir:
        input_dir = Path(tmpdir) / "input"
        output_dir = Path(tmpdir) / "output"
        input_dir.mkdir()
        output_dir.mkdir()

        # 创建输入文件
        pdf_file = input_dir / "test.pdf"
        pdf_file.write_text("fake pdf")

        # 创建已存在的输出文件
        existing_output = output_dir / "test.md"
        existing_output.write_text("existing markdown")

        # 测试skip模式
        worker = ConverterWorker(
            files=[(0, str(pdf_file))],
            input_dir=str(input_dir),
            output_dir=str(output_dir),
            existing_files="skip",
        )
        worker.run()

        # 验证输出文件未被修改
        assert existing_output.read_text() == "existing markdown"

验证结果

✓ GUI import OK
✓ 测试通过
✓ CLI功能正常

使用建议

1. 首次批量转换

nuoyi --gui
# Options → Existing Files: Overwrite all

或

nuoyi ./papers --batch --existing-files overwrite

2. 增量更新（推荐）

nuoyi --gui
# Options → Existing Files: Skip all

或

nuoyi ./papers --batch --existing-files skip

3. 只更新修改过的文件

nuoyi --gui
# Options → Existing Files: Update if newer

或

nuoyi ./papers --batch --existing-files update

代码位置

  • GUI检查逻辑：src/nuoyi/gui.py:153-186
  • 统计输出：src/nuoyi/gui.py:232-236
  • API检查逻辑：src/nuoyi/api.py:325-402
  • get_output_path函数：src/nuoyi/utils.py:1384

总结

✅ 已修复：

  • GUI的ConverterWorker现在正确检查已存在文件
  • 支持 skip/update/overwrite/ask 四种模式
  • 跳过操作在转换前执行，不浪费时间
  • 统计正确显示转换/跳过/失败数量

✅ 性能提升：

  • Skip模式避免重复转换，节省大量时间
  • Update模式只转换更新的文件
  • 与CLI功能完全一致