ELO计算分数问题

[MurfLi]

前面比较两个观点的时候代码是：
for i,idea_1 in enumerate(ideas):
for j,idea_2 in enumerate(ideas):
if i != j:
tasks.append(judge_idea(i,j,idea_1,idea_2,topic,self.llm))
会出现某一对代码被比较两次的情况（1，2），（2，1），两次的评分可能不同，最后elo的时候会不会有影响？

[MurfLi]

又看了一遍，get到i和j有idea的区分，得到的是idea0的分数。可是两次调用能否保证分数是匹配的？（比如1和2，1的分数是1，1，0，0，2，1，如果再调用一次llm得到的2的分数不一定是0，0，1，1，2，0吧）

[jianghuyihei]

前面比较两个观点的时候代码是： for i,idea_1 in enumerate(ideas): for j,idea_2 in enumerate(ideas): if i != j: tasks.append(judge_idea(i,j,idea_1,idea_2,topic,self.llm)) 会出现某一对代码被比较两次的情况（1，2），（2，1），两次的评分可能不同，最后elo的时候会不会有影响？

我们是分两次比较取综合结果。
比如说1跟2第一次比较的时候1赢，调换位置比较后1输，视为平局，调换位置后平局，视为1赢。
这样子可以尽可能减少LLM judge时的位置偏见