https://zhuanlan.zhihu.com/p/449345588 BF16 是对FP32单精度浮点数截断数据,即用8bit 表示指数,7bit 表示小数。 FP16半精度浮点数,用5bit 表示指数,10bit 表示小数; 与32位相比,采用BF16/FP16吞吐量可以翻倍,内存需求可以