关于代码有些疑问

[chenzean]

其中这两个变量似乎在后面没有用到。请问作者是这样吗

[Yaziwel]

其中这两个变量似乎在后面没有用到。请问作者是这样吗

n_layer和layer_id我没有用，vision-rwkv初始化使用了这两个参数

[chenzean]

哦哦哦好滴

[chenzean]

作者，你好！我对于RWKV不是很了解。所以我想问一下。进行Bi-WKV计算的时候必须要以同样的方式扫描才可以吗？
可以用不同的方式去扫描再去计算Bi-WKV吗？

[Yaziwel]

作者，你好！我对于RWKV不是很了解。所以我想问一下。进行Bi-WKV计算的时候必须要以同样的方式扫描才可以吗？ 可以用不同的方式去扫描再去计算Bi-WKV吗？

K和V必须严格对齐的，Bi-WKV的公式里有

[chenzean]

作者，你好！
关于K和V必须是以相同的方式进行扫描。这是为什么呢？

作者可以解释一下吗？

[Yaziwel]

k_i影响v_i的加权权重，对齐的情况很好理解，当前token的value的权重由当前key决定，这是完全没问题的；如果不对齐，当前token的value的权重由其他某个位置的key决定，直觉上是不合理的，不过你可以试试。

[chenzean]

好的，感谢作者的解答，我有点明白了