[转帖]BF16 与 FP16 在模型上哪个精度更高呢

bf16,fp16,模型,哪个,精度 · 浏览次数 : 0

小编点评

## 内容解析 **问题 1：性能加速比** BF16 的半精度精度比 FP16 高，但整数范围更小。这意味着，FP16 可以表示的整数范围比 BF16 更宽，但尾数精度更高。因此，BF16 通常用于需要快速处理整数数据的场景，例如： * 数值计算 * 循环计算 * 整数加减 **问题 2：性能加速比** 与 FP16 相似的性能加速比通常在以下情况下使用 BF16： * 需要对整数进行快速计算的场景 * 需要处理大量整数数据的场景 **总结** * BF16 比 FP16 在整数表示能力方面具有更广泛的范围，但尾数精度较低。 * FP16 的精度更高，但整数表示能力更有限。 * 在性能加速方面，BF16 通常比 FP16 更有效。 * 在 ARM 上，高端机支持 FP16 运算指令，但 BF16 运算指令只能在 V8.5 上支持。 * 这块性能和精度的具体值取决于具体架构和编译器的实现。

正文

https://zhuanlan.zhihu.com/p/449345588

BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。

FP16半精度浮点数，用5bit 表示指数，10bit 表示小数；

与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以减半。但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；FP16 表示整数范围较小，但是尾数精度较高。

那么，问题来了，两者性能加速比相似，但精度diff不一样，在哪些情况用BF16，哪些用FP16呢？

第二个问题：在ARM 上，高端机支持v8.2 指令集，提供FP16 运算指令；BF16 运算指令只能在V8.5 上支持，需要耐心等待。但现在开源框架上，有通过将FP32 数据截断方式，用int16 指令集代替BF16 计算，不知道这块性能和精度是怎样的，是否符合实际需求呢？

这些问题基于推理角度上，用FP16 和 BF16的差异

提前先感谢各位读者浏览该文章，希望大家给出自己的见解，一起相互学习