半岛远行言之不用

第212章 出人意料地大模型2(第3页)

 班行远说:“都说说吧,这个程序本来就是设计的用来识读甲骨文的,能理解语义这是前提条件。但是模型规模达到这种程度后发生的变化确实出乎了我的预料。程序演化算法核心是基于生物进化原理,通过对输出结果的反馈制造一种类似于自然选择的演化压力。我看了一下演化程序自己发展出了类似神经网络、卷积之类处理方式,这和目前的人工智能发展方向是一致的。但是但是那个大模型还是头一次看到,似乎还没有出现这种人工智能跟大模型结合的报道。”

 “虽然我们只是演示了文字方面的问答,但是显然这个人工智能的应用范围要大得多,可以用在各种方面。研究院组件专门的小组吧,对相关理论和应用进行深入研究。等级……等级和光刻机项目是一样的。”

 “都有说说下一步怎么干吧。”

 一位专家说:“算力,要研究这个肯定需要极为强大的算力。现在使用蛋白质的算力中心仅仅是语言学方面的内容已经捉襟见肘,应用范围扩大的话需要训练模型肯定不够用。需要新建计算中心。”

 班行远考虑了一下,摇了摇头:“这个行不通,首先泰熙肯定不会批的,蛋白质项目每个月一百多万的电费就够她整天跟我念叨了,这要是再建一个她得和我拼命。”

 “而且使用现有的加速芯片处理这个大模型人工智能的运算完全是浪费。这款加速芯片是为了研究院高精度的科学运算设计的,针对fp64高精度浮点运算进行了专门的优化。大模型人工智能撑死用到fp32的精度,我估计大多数场景用fp16半精度就够了,很多场景甚至fp4、fp8甚至是8位的整数运算就能覆盖了。同样规模的芯片针对fp64高精度浮点运算优化和针对低精度运算优化在算力上可不是简简单单的翻倍。”