aifollow.news Search
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score40

University of Toronto and Google paper proposes common rules for evaluating web edits that influence AI answersMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

Website owners edit pages to increase their chances of being cited or recommended by AI assistants. A University of Toronto and Google paper argues that current benchmarks allow different kinds of edits, making scores hard to compare. It proposes fixed editing rules and joint reporting of visibility, answer quality and rule compliance. The paper runs no experiments; its evidence maps 11 published methods.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

多伦多大学与谷歌的一篇新论文认为,选择哪位 AI 助手可能是人们做出的最后一个重大决定,因为此后的决定都由该助手来做。

文章认为,测试网站如何操纵 AI 回答时,需要统一的编辑规则,否则评分无法比较。

内容所有者如今会修改网页,让 AI 助手引用或推荐其内容,这种做法称为生成式引擎优化,即 GEO。现有的 GEO 基准测试允许不同的修改方式,因此,重写整个页面的方法看起来可能比只在页面末尾添加一行的方法更好。

他们提议按页面修改的位置、修改方式以及修改所针对的线索(例如权威性)为每项 GEO 修改标注类别。测试应限定允许的修改,并同时报告可见度、回答质量和规则遵守情况。

这篇论文没有开展实验。其证据是对 11 种已发表的 GEO 方法所做的梳理,显示每种方法都只涵盖了可能修改方式中的不同部分。

比较 GEO 方法或 AI 系统时,应核查各项评分允许哪些修改,以及是否衡量了回答质量。

Source: Rohan Paul · x.com

Research
Found an error? Send a correction