想了解一些datanode、indexnode、querynode的内存消耗细节

[qiqiqi998]

按照sizing工具计算统计的资源，但datanode会出现oom情况。
集合一开始打了500w向量，1024维度，集合数总共20，分片2，并已经建好了索引。
后续以1个并发，针对20个集合顺序新增，每次插入数据量2w执行flush，间隔10min后，然后删除，再间隔10min后再插入，如此循环。
datanode的资源配额为1c4G*3节点。

[yhmo]

5 million 1024 dim，工具推荐的是1个datanode 2 core 8GB

由于你每次插入数据的间隔时间比较长，1个datanode也应没问题。
datanode干的事情主要是flush, compaction。flush所需的内存较小，compaction所需的内存较大。如果你没改milvus.yaml中的segment.maxSize配置的话，默认是每个segemtn大约1GB。compaction做的事情是把较小的segment合并成大约1GB的segment，理论上每次compaction的内存用量不会大于1GB的3倍左右

[qiqiqi998]

没有改segment.maxSize。也就是说1个节点 8G 内存是够的，但如果搞3个，每个分4G，在compaction时候内存就可能会不够是么。

[qiqiqi998]

我发现工具推荐有变化，之前的工具评估datanode的1c4G就够了，但会出现oom。还有indexnode的内存大小大概是怎么算的。
可以提供一下这些节点的资源评估公式么。

[yhmo]

按经验值给的。
indexnode做的事情是给segment建索引，如果segment的大小是1GB，indexnode要把1GB数据加载进内存，在内存中建索引，建立索引需要额外内存，给索引类型相关，hnsw所需的内存比1GB大一些，IVF_PQ比1GB小一些。那么理论上需要的内存至少是2GB。由于milvus是Go和C++混合写法，在语言间的数据传递会有额外消耗，所以峰值会高于理论值不少，一般按2倍以上估计，有时甚至达到3倍。datanode, querynode都是如此。