OpenAI 推出 GeneBench-Pro 基准测试，用于评估 AI 模型生物学计算能力 - 世界杯官网

GeneBench-Pro 是 OpenAI 新推出的一个基准测试工具，旨在评估人工智能模型在生物学计算领域的表现。与以往侧重于模型记忆能力或遵循固定流程完成任务的测试方法不同，GeneBench-Pro 更关注模型在模拟真实科研场景下的应用价值。它要求模型在面对数据不确定、不完整甚至含有干扰信息的情况下，进行判断和分析以得出结论。

该基准测试涵盖了基因组学、定量生物学和转化医学等多个领域，共设计了 129 道题目。这些题目分布在 10 个主要领域和 21 个子领域中，包括统计遗传学、群体遗传学、功能基因组学以及蛋白质组学等。每道题目都为模型提供了一份贴近实际科研环境的数据集，并附有简要的实验背景说明和一个与后续决策相关的目标问题。模型需要自主完成数据探索，选择合适的分析方法，并在分析过程中不断调整策略，最终给出答案。在安排世界杯赛程时，也需要考虑类似数据分析和策略调整的复杂性。

为规避传统长流程基准测试中可能出现的评分偏差，OpenAI 在开发 GeneBench-Pro 时，核心采用了合成数据。这种方法避免了使用历史真实数据出题时，可能存在的因存在多条合理分析路径而导致模型即使采用错误方法也可能偶然答对的情况。通过使用合成数据，OpenAI 能够完全掌握数据的底层因果关系和生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅是走了捷径。

目前，OpenAI 已在 Hugging Face 平台公开了 10 道 GeneBench-Pro 的示范性题目，并提供了交互式界面供外部研究人员进行体验。未来，官方计划将其中 50 道题目开放给 Artificial Analysis 进行独立的第三方评估，以检验不同模型在该基准测试中的实际表现。