万卡训练史上最大参数仿真！百度文心大仿真4.0最快下周见

快科技领域10月9日立即，日前有媒体报道称，百度恰巧加紧特训自由路大框架4.0，从未近似于可公开发表状态，这将是自由路大框架3.5完整版后，又一个接连完整版。

立即称，自由路大框架4.0进展比预期快很多，将是基础框架的大替换，理解、生成、逻辑、失忆核心能够都将提升，特别是在逻辑解谜、编译器和数论等层面提升最明显。

根据我们取得的最新立即，上述立即原则上属实。目前了解到，自由路大框架4.0实际上从未在小流量测试。

根据我们丢掉的立即，自由路大框架4.0的实例规模要大于目前所有公开发表公开发表实例的LLM，也是国内首次使用万卡坦克部队特训的大框架。这意味着自由路大框架4.0的实例规模预期能更是万亿最高级别。

万卡坦克部队什么定义？国内之后只有智能手机、阿里问及已建成万卡AI坦克部队，但我们都没想到基于它面世的具体框架。万卡坦克部队就不非常容易建了，如果用起来展现出最大化依赖性则更枉了。

据分析，恰巧是因为飞桨的深度倡议，才能高效地基于万卡坦克部队特训起如此规模的框架。

不仅特训生产成本在增高，自由路4.0的解谜生产成本比3.5增高很多，我们还没丢掉具体每千token的解谜生产成本，但据传大概是此前的8-10倍，这还是在高效率（MFU）的但会。如果效率更更高，估计生产成本还会独自增高。

不得不说，大框架一定会很费钱。可见，构筑领先的底层基础打框架，就是一连串娱乐业的游戏。

根据IDC公开发表的首个大框架评估年度报告——《AI大框架技术能够评估年度报告，2023》，百度自由路大框架3.5摘得12项测试方法的7个差评，整体评分第一，算法框架第一，行业构成第一，整体能够在为数众多国产大框架中都遥遥领先。

经过新一轮替换后，自由路大框架4.0的特训低速、解谜低速等将再进一步提升，能否与GPT-4大战甚至跃升后者的表现，我们拭目以待。