Skip to content

使用C++进行RK3588板上推理模型,对于相同的FP16输入,量化模型可以运行但非量化模型在rknn_inputs_set()处报错out_of_range #137

@Saikq2000

Description

@Saikq2000

对于相同的FP16输入,进行了部分INT8量化的Convnext模型可以正确推理,但是对于非量化的FP16精度的Convnext模型,执行到类内的rknn_inputs_set()函数会报错“terminate called after throwing an instance of 'std::out_of_range'
what(): vector::_M_range_check: __n (which is 18446744073709551615) >= this->size() (which is 1)
已放弃”,由于librknn.so并不包含调试信息,我在GDB调试中无法具体定位到rknn_inputs_set()内部的问题,所以想请教下大家有没有遇到过类似的问题或者能提供一下解决的思路。

使用量化模型可以正确多线程推理并输出:
Image

使用非量化模型相同输入下报错:

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions