Skip to content

executor_type为ray的模式下,open_tracer不生效,关于filter,deduplicator的算子留存率是否只支持default模式,ray模式下目前没有有效的解决方案? #815

@CodeSurface

Description

@CodeSurface

Before Asking 在提问之前

  • I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。

  • I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码,重新运行之后,问题仍不能解决。

Search before asking 先搜索,再提问

  • I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。

Question

使用yml:
open_tracer: true
trace_num: 10
op_list_to_trace: [] # 追踪所有 OP

保留统计信息以便分析

keep_stats_in_res_ds: true
相关参数在default模式下会输出一个xxx_stats.jsonl的统计文件,但是在ray模式下参数不生效,是否当前ray模式不支持统计,如果我想搜集filter及deduplicator的算子处理数据后的留存率等信息是否只支持default模式?
ray模式下data-juicer是否有效的解决方案?

Additional 额外信息

No response

Metadata

Metadata

Assignees

Labels

questionFurther information is requested

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions