改进去除程序

Author: LinFei83

ai/enhance.py

@@ -24,11 +24,37 @@ def parse_args():
     parser.add_argument("--data", type=str, required=True, help="jsonline data file")
     return parser.parse_args()
 
+def load_existing_ids(output_file):
+    """加载输出文件中已有的论文ID"""
+    existing_ids = set()
+    if os.path.exists(output_file):
+        try:
+            with open(output_file, "r", encoding='utf-8') as f:
+                for line in f:
+                    line = line.strip()
+                    if line:
+                        try:
+                            data = json.loads(line)
+                            if 'id' in data:
+                                existing_ids.add(data['id'])
+                        except json.JSONDecodeError:
+                            continue
+        except Exception as e:
+            print(f"读取现有文件时出错: {e}", file=sys.stderr)
+    return existing_ids
+
 def main():
     args = parse_args()
     model_name = os.environ.get("MODEL_NAME", 'deepseek-chat')
     language = os.environ.get("LANGUAGE", 'Chinese')
 
+    # 构建输出文件名
+    output_file = args.data.replace('.jsonl', f'_AI_enhanced_{language}.jsonl')
+    
+    # 加载已有的论文ID
+    existing_ids = load_existing_ids(output_file)
+    print(f'已有论文数量: {len(existing_ids)}', file=sys.stderr)
+
     data = []
     with open(args.data, "r") as f:
         for line in f:
@@ -37,11 +63,20 @@ def main():
     seen_ids = set()
     unique_data = []
     for item in data:
-        if item['id'] not in seen_ids:
-            seen_ids.add(item['id'])
+        item_id = item['id']
+        # 同时检查当前批次的重复和输出文件中的重复
+        if item_id not in seen_ids and item_id not in existing_ids:
+            seen_ids.add(item_id)
             unique_data.append(item)
+        elif item_id in existing_ids:
+            print(f'跳过已处理的论文: {item_id}', file=sys.stderr)
 
     data = unique_data
+    print(f'需要处理的新论文数量: {len(data)}', file=sys.stderr)
+
+    if not data:
+        print('没有需要处理的新论文', file=sys.stderr)
+        return
 
     print('Open:', args.data, file=sys.stderr)
 
@@ -70,8 +105,8 @@ def main():
                  "result": "Error",
                  "conclusion": "Error"
             }
-        with open(args.data.replace('.jsonl', f'_AI_enhanced_{language}.jsonl'), "a") as f:
-            f.write(json.dumps(d) + "\n")
+        with open(output_file, "a", encoding='utf-8') as f:
+            f.write(json.dumps(d, ensure_ascii=False) + "\n")
 
         print(f"Finished {idx+1}/{len(data)}", file=sys.stderr)
 

daily_arxiv/daily_arxiv/pipelines.py

@@ -14,7 +14,7 @@
 
 
 class DuplicatesPipeline:
-    """去重Pipeline，支持跨天去重检查（最近15天）"""
+    """去重Pipeline，支持跨天去重检查（最近15天），从AI增强文件中加载已有论文ID"""
 
     def __init__(self):
         self.seen_ids = set()
@@ -28,7 +28,7 @@ def open_spider(self, spider):
         self.load_recent_ids()
 
     def get_recent_date_files(self):
-        """获取最近15天的数据文件路径"""
+        """获取最近15天的AI增强数据文件路径"""
         current_dir = os.path.dirname(os.path.abspath(__file__))
         data_path = os.path.join(current_dir, self.data_dir)
 
@@ -44,27 +44,47 @@ def get_recent_date_files(self):
             date = today - timedelta(days=i)
             recent_dates.append(date.strftime("%Y-%m-%d"))
 
-        # 查找对应日期的.jsonl文件
+        # 查找对应日期的AI增强文件，支持多种语言
         recent_files = []
         for date_str in recent_dates:
-            file_pattern = os.path.join(data_path, f"{date_str}.jsonl")
-            if os.path.exists(file_pattern):
-                recent_files.append(file_pattern)
+            # 查找所有可能的AI增强文件模式
+            ai_enhanced_patterns = [
+                f"{date_str}_AI_enhanced_Chinese.jsonl",
+                f"{date_str}_AI_enhanced_English.jsonl", 
+                f"{date_str}_AI_enhanced_*.jsonl"
+            ]
+            
+            for pattern in ai_enhanced_patterns:
+                if '*' in pattern:
+                    # 使用glob匹配通配符模式
+                    file_pattern = os.path.join(data_path, pattern)
+                    matching_files = glob.glob(file_pattern)
+                    recent_files.extend(matching_files)
+                else:
+                    # 直接检查文件是否存在
+                    file_path = os.path.join(data_path, pattern)
+                    if os.path.exists(file_path):
+                        recent_files.append(file_path)
+        
+        # 去重（因为可能有重复的文件路径）
+        recent_files = list(set(recent_files))
 
         return recent_files
 
     def load_recent_ids(self):
-        """加载最近15天数据中的所有论文ID"""
+        """加载最近15天AI增强数据中的所有论文ID"""
         try:
             recent_files = self.get_recent_date_files()
 
             if not recent_files:
                 if self.logger:
-                    self.logger.info("未找到最近15天的历史数据文件，将进行首次运行去重检查")
+                    self.logger.info("未找到最近15天的AI增强历史数据文件，将进行首次运行去重检查")
                 return
 
             if self.logger:
-                self.logger.info(f"找到 {len(recent_files)} 个最近15天的数据文件")
+                self.logger.info(f"找到 {len(recent_files)} 个最近15天的AI增强数据文件")
+                for file_path in recent_files:
+                    self.logger.debug(f"加载文件: {os.path.basename(file_path)}")
 
             for file_path in recent_files:
                 try:
@@ -84,11 +104,11 @@ def load_recent_ids(self):
                         self.logger.error(f"读取文件错误 {os.path.basename(file_path)}: {e}")
 
             if self.logger:
-                self.logger.info(f"已加载 {len(self.seen_ids)} 个论文ID用于去重检查")
+                self.logger.info(f"已从AI增强文件中加载 {len(self.seen_ids)} 个论文ID用于去重检查")
 
         except Exception as e:
             if self.logger:
-                self.logger.error(f"加载最近15天ID时出错: {e}")
+                self.logger.error(f"加载最近15天AI增强数据ID时出错: {e}")
 
     def process_item(self, item, spider):
         """检查论文ID是否重复"""

run.sh

@@ -5,14 +5,14 @@ cd daily_arxiv
 if [ -f "data/${today}.jsonl" ]; then
     line_count=$(wc -l < "data/${today}.jsonl")
     if [ "$line_count" -gt 20 ]; then
-        echo "文件 data/${today}.jsonl 已存在，共 $line_count 行 (>20)，跳过爬虫程序..."
+        echo "文件 data/${today}_AI_enhanced_${LANGUAGE}.jsonl 已存在，共 $line_count 行 (>20)，跳过爬虫程序..."
     else
-        echo "文件 data/${today}.jsonl 已存在但仅有 $line_count 行 (<=20)，重新运行爬虫..."
-        scrapy crawl arxiv -o ../data/${today}.jsonl
+        echo "文件 data/${today}_AI_enhanced_${LANGUAGE}.jsonl 已存在但仅有 $line_count 行 (<=20)，重新运行爬虫..."
+        scrapy crawl arxiv -o ../data/${today}_AI_enhanced_${LANGUAGE}.jsonl
     fi
 else
-    echo "文件 data/${today}.jsonl 不存在，开始运行爬虫..."
-    scrapy crawl arxiv -o ../data/${today}.jsonl
+    echo "文件 data/${today}_AI_enhanced_${LANGUAGE}.jsonl 不存在，开始运行爬虫..."
+    scrapy crawl arxiv -o ../data/${today}_AI_enhanced_${LANGUAGE}.jsonl
 fi
 
 cd ../ai