由美国明尼苏达大学主导，明尼联合卡内基梅隆大学、苏达手打韩国科学技术院、大学等机剑桥大学及汉阳大学等多所顶尖机构共同完成的构联研究成果，以arXiv预印本形式于2026年6月27日正式发布，造进论文编号为 arXiv:2606.29082。化式研究人员旨在通过这一编号提供直接检索入口，微调方便学术社区深入研读原文。明尼

AI解题困境：从“失忆新手”到“经验继承者”

想象一位资深棋手，苏达手打凭借多年积淀的大学等机直觉，在攻防转换间游刃有余。构联然而，造进当前主流AI系统在面对新问题时，化式却如同从未下过棋的微调新手，无法继承上一局的明尼经验教训。

这正是本论文试图解决的核心痛点。在数学证明、代码生成、芯片设计及生物信息学等复杂领域，存在大量“优化任务”——这类问题没有唯一标准答案，只能通过评估候选解法的优劣，经过多轮迭代逼近最优解。

近年来，将大语言模型（LLM）与“进化搜索”（模拟生物进化的变异与筛选机制）结合，已成为解决此类问题的主流方案。其流程通常被称为“进化搜索脚手架”：AI生成候选解 -> 系统评分 -> 筛选优质解 -> AI基于优质解进一步迭代。

然而，现有架构存在根本性缺陷：AI并未真正“学会”进化。每次任务结束后，AI积累的经验即被丢弃，导致其在下一次任务中必须从零开始。这种“失忆”状态限制了AI在长期复杂任务中的表现上限。

现有方法的三重局限

目前的进化搜索策略主要分为两类，但均存在显著短板：

1. 测试时搜索（Test-time Search）
2. 机制：AI参数固定，由外部系统控制搜索策略。
3. 缺陷：极度依赖顶级商业模型（如GPT-5、Claude等）的高质量输出。对于参数量小于90亿的开源模型，由于缺乏足够的推理能力，往往在搜索过程中频繁出错，表现远不如人意。
4. 测试时学习（Test-time Learning）
5. 机制：允许AI在解题过程中动态更新参数，实现“边做边学”。
6. 缺陷：知识迁移能力极差。AI在任务A中学到的技巧无法自动应用于任务B，如同学生每次考试前临时抱佛脚，考后即忘，缺乏通用性。

本质问题：无论哪种方法，“如何进化”的能力始终外置於脚手架系统，而非内化於AI自身的认知结构中。

灵感来源：达尔文雀的跨域适应力

研究团队从生物学中获得启发：达尔文在加拉帕戈斯群岛观察到的雀鸟，并非针对单一食物源进化，而是通过适应多样化环境压力，形成了跨环境的通用适应能力。

基于此，团队提出了“进化式微调”（Evolution Fine-Tuning, EFT），并将训练出的模型系列命名为“Finch”（芬奇/雀鸟）。其核心理念是：让AI像达尔文雀一样，在海量、多样化的优化任务中积累经验，内化一种跨领域、跨任务的通用进化能力。

数据基石：构建17万条进化轨迹

EFT的核心在于将AI在进化搜索中的历史数据转化为训练素材。

1. 数据采集

研究团队收集了371个来自不同领域的优化任务，涵盖：
* 数学猜想（如厄多斯最小重叠问题）
* 竞技编程
* 数值算法优化
* GPU内核设计
* 符号回归
* 生物信息学（单细胞RNA去噪）
* 组合优化难题

利用开源脚手架OpenEvolve，驱动超大参数模型（Qwen3.5-397B）在这些任务上进行进化搜索，累计生成172,997条原始进化轨迹。

2. 数据清洗与构建

为确保训练质量，团队剔除了三类低价值轨迹：
* 系统错误（3.7%）：超时、语法错误等。
* 无效参考（0.9%）：参考解法本身错误，导致AI无法学习。
* 超长样本（5.0%）：超出长度限制，影响训练稳定性。

最终保留156,731条高质量轨迹，构建出目前规模最大、领域最多样的“Finch Collection”数据集。

3. 数据集特征洞察

• 语言分布：Python (68.5%)，C++ (31.5%)。
• 修改策略：“局部差异修改”与“整体重写”各占约50%，分布均衡。
• 改进比例：39.4%的轨迹实现了得分提升，19.2%无变化，41.3%出现退步。
• 输入输出比：平均输入长度约8902词元，输出仅6865词元。这表明AI需从海量信息中高效提炼信号。值得注意的是，在“无改进”轨迹中，AI输出长度是改进轨迹的2.9倍，暗示AI在遇到瓶颈时会尝试更复杂的思考路径。

4. 训练策略设计

• 监督学习（SFT）：主要使用39.4%的“改进轨迹”，让模型模仿成功路径。
• 偏好学习（KTO）：利用41.3%的“退步轨迹”，通过KTO算法训练模型区分优劣，培养其“解题品味”。

Finch模型诞生：内化进化基因

利用Finch Collection，团队对Qwen3.5系列（2B, 4B, 9B）及Qwen3-8B进行了微调，生成Finch-2B/4B/8B/9B模型。

• 微调逻辑：输入“当前状态+历史轨迹+反馈”，输出“下一步改进策略”。
• 训练平衡：为防止数据偏差，每个任务仅选取一条改进轨迹参与训练，最终使用30,445条轨迹在8块NVIDIA H200 GPU上完成一个周期的训练。

性能验证：跨任务迁移与涌现能力

1. 陌生任务测试

团队选取了22个未在训练中出现的任务（涵盖数学发现、算法工程、系统优化、竞技编程等），测试Finch模型的泛化能力。

• 平均提升：Finch系列模型在同等规模下，平均性能超越基础模型10.22%。
• 极致突破：在ahc058任务中，Finch-9B得分较基础模型提升290.59%，从近乎无法解题提升至5.25亿分的高水平。
• 小模型胜大模型：Finch-4B在厄多斯问题上的表现（0.386460）已接近参数量两倍的基础模型Qwen3-8B（0.403585）。这证明EFT不仅提升了能力“量”，更改变了思考“质”。

2. 跨领域知识迁移（涌现现象）

在分析CALICO P263竞技编程题时，发现Finch展现出惊人的跨领域知识搬运能力：
* 基础模型：局限于单一方法（高斯-赛德尔迭代），如同只会用锤子的工匠。
* Finch模型：灵活调用推荐系统的“对数域交替最小二乘法”、数值优化的“莱文贝格-马夸特算法”以及计算机视觉的“RANSAC”思路，组合出超越基础模型的复杂解法。

这种能力源于训练数据中涵盖的10个不同领域的进化轨迹，使模型学会了将不同领域的工具进行创造性组合。

3. 训练规模效应

实验显示，随着训练任务数量从15个增加至355个，模型在固定测试任务上的表现呈线性上升趋势。例如在AC2任务中，得分从0.8801提升至0.9122。这证实了数据多样性与规模对提升通用进化能力的关键作用。

进阶优化：与在线强化学习协同

EFT被定位为预训练后的“中间训练”阶段，可与测试时强化学习（Test-time RL）形成互补。

• 协同效果：在nanodiscover系统辅助下，Finch-8B结合测试时RL，在圆形填充任务上达到当前最优水平，并在厄多斯问题上比单纯基础模型+RL提升约3.2%。
• 性价比优势：即使不结合RL，仅作为进化搜索中的“变异算子”，Finch模型在多个任务上已能逼近Claude-Opus-4.6等昂贵商业模型的效果，极大降低了科学发现门槛。

偏好学习：赋予AI“审美”

通过KTO算法引入偏好学习，让Finch同时接触“改进”与“退步”轨迹，进一步提升了其辨别能力。
* AC1任务：Finch-8B得分降至1.5089，超越最佳人类记录（1.5097）。
* AC2任务：得分达0.9146，同样超越人类最佳记录（0.9015）。

这表明，教会AI“识别坏解法”与“生成好解法”同样重要。

案例解析：Finch如何优化2D卷积

在Convolve2D任务中：
* 基础模型：局限于SciPy库的反复微调，难以突破性能瓶颈。
* Finch-9B：受训练数据中JAX相关轨迹启发，将实现迁移至JAX框架，利用即时编译和零拷贝内存优化，速度分从121.96提升至124.85（提升约2.4%）。

局限性与未来展望

研究团队坦诚指出了当前局限：
1. 脚手架依赖：数据仅来自OpenEvolve，在其他框架（如EvoX）中的泛化性待验证。
2. RL验证范围：测试时RL仅在数学任务验证，工程任务（如GPU优化）需进一步研究。
3. 交互模式：当前为“单轮”生成，未来可探索“多轮对话”式的迭代反思机制。
4. 多模态扩展：目前仅限文本/代码，未来可拓展至图像、实验数据等多模态科学发现场景。

总结与意义

这项研究的核心价值在于将AI的解题经验从“用完即弃”转变为“融入基因”。通过进化式微调，Finch模型如同经过多地形训练的马拉松运动员，具备了通用的肌肉记忆。

对于科研界而言，这意味着科学发现工具不再垄断于昂贵的大模型API。小型开源模型经过EFT训练后，也能具备强大的自主进化能力，这将极大促进科研机构、初创公司及个人研究者利用AI推动科学进步。

资源获取：
* 论文编号：arXiv:2606.29082
* 代码、数据集及模型权重均已开源。

Q&A

Q1：Evolution Fine-Tuning（EFT）与普通大模型微调有何本质区别？
A：普通微调旨在让模型记忆特定问题的“标准答案”；而EFT训练的是“元能力”——即“如何改进已有方案”。EFT的训练数据不是简单的问答对，而是完整的进化搜索轨迹（包含中间状态、反馈及迭代过程）。这使得模型习得的是通用的“进化思维”，而非特定问题的解法。

Q2：Finch Collection数据集包含哪些类型的任务？
A：数据集涵盖10大类别，共计371个任务：
* 数学发现（厄多斯问题、圆形填充等）
* 竞技编程（172道FrontierCS题目）
* 数值算法优化（47个加速任务）
* 启发式优化（35个AtCoder题目）
* 符号回归（物理/化学公式发现）
* GPU内核优化
* 生物信息学（单细胞RNA去噪）
* 构造搜索等

Q3：Finch模型在未见过的陌生任务上表现如何？
A：
* 平均提升：在22个陌生任务上，Finch系列模型平均性能超越基础模型10.22%。
* 最大突破：在ahc058任务中，提升幅度高达290.59%。
* 以小博大：参数量仅40亿的Finch-4B，在厄多斯问题上的表现已接近参数量80亿的基础模型，证明了EFT在提升模型效率与质量方面的显著优势。