围绕自主研究工作坊提出的新颖性与测量问题,给出AI研究建议的近似工作检索、引用核对与小规模验证办法。
AI给出一段研究建议,还附上一句“这个方向尚未有人讨论”。这句话最容易让人兴奋,也最值得追问。生成一个没见过的表述,和提出一个经过查证的新问题,验证工作不同。11月10日在横琴举办的ARRSI自主研究工作坊,把新颖性、评估与可测量性列入讨论范围。会议手册可以确认活动安排,活动讨论本身不能证明某个系统已经取得原创突破。对用智能体协助调研的团队,可以先要求它交出检索记录。
把新在哪里拆成可以寻找的相似点
假设工具建议研究“用逐步提示帮助新人处理采购询价”。可以先拆成对象、任务、方法和结果。对象是新人,任务是询价整理,方法是逐步提示,结果可能是缺项减少或交接更清楚。分别查这些要素的近义说法,再看哪些已有工作组合过它们。只搜工具给出的完整题名,很容易因为没人用过同一串词,就误以为没有相近研究。
检索记录应当写清数据库、关键词、时间和查到的相近资料。权限受限看不到全文时标出来,不能把未读内容填成已经排除。某项研究题名看着相关,也要核对摘要、任务和结果,判断它与新建议究竟相同到哪一步。保留理由,下一位同事才知道为什么没有选它作直接参照。
每篇参考资料至少查到实际页面
研究智能体可以帮忙整理候选,但引用进入报告前,应确认题名、作者、年份与直接来源能对上。打开后看材料实际支持哪一句。如果工具只找到一篇新闻转述,继续寻找论文或正式报告。发现作者、日期不一致,先把该项标为待核实。给工具另一轮任务时,明确让它补证据,而不是把同一句结论换个说法再写一遍。
还可以让人类复核者只接到一个断言和几条来源,独立判断这几条能否支持它。如果必须听完整个工具对话才能理解,可能说明报告里的推理没有写出来。把可复核的论点与尚待检验的猜想分别标明,有利于团队决定把时间花到哪里。
用一个小实验检查可执行性
新颖性核对以后,再问这个建议能不能被测试。比如给两组练习者不同形式的提示,究竟要测缺项、独立解释还是完成时间?参与者原有经验怎样记录?谁制定标准、谁核对结果?先做无敏感资料的小规模演练,看看任务描述能否让别人复现。若评价标准会因为看见答案才改变,就先把标准写定。
这一步即使执行顺利,也只能说明当前练习与记录可行。要声称某方法更好,需要与相应设计和数据匹配。工具自评“提升显著”时,要求列明它比较了什么、由谁评分、是否使用测试结果反过来修改了答案。涉及正式研究时,还需按所在机构要求处理伦理、数据与发表程序。
把检索边界留在成果旁边
最终材料可以写“在所列数据库、关键词和核对日期范围内,发现与某几类工作存在这些差异”。这样的说明提供可继续核验的线索。别人补上一项你遗漏的资料时,也容易定位差异是检索遗漏、术语不同,还是问题确有新意。避免用一个无法穷尽的“全球首创”替代检索过程。
如果只是内部学习任务,同样可以保留一页近似工作对照表。题目、相似点、不同点和下一步验证动作,足够帮助主管判断是否值得继续。让AI提供线索,再让可追溯记录承接判断,这份成果才有机会被团队后来的人理解和使用。
团队还可以给检索任务设一个结束条件。例如先查指定数据库与近几年相关主题,发现关键近似工作后,请负责人决定是否扩大范围。工具连续多轮没有找到结果时,检查是否术语过窄或接口失效,而不是让它继续输出更强的原创判断。结束时把未覆盖的数据库和语言一并写明,下一位接手者能从缺口继续。
