You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
1.1 KiB
1.1 KiB
用于批量处理AI题目的检测功能
会自动处理原始数据、进行数据过滤、第一次ai检测、第二次ai检测，最终合并在ai_2_total中。 分割文件大小自主控制一下，使一个文件分割成100个左右的文件来并行执行
使用方法
-
在服务器上创建一个目录，例如./test_01，也可以用绝对路径，将原始jsonl文件放在路径中，例如./test_01/test.jsonl
-
执行 sh start.sh ，按提示输入参数，例如： 请将原始文件放在一个单独目录，请输入文件夹路径: ./test_01 请输入文件名: test.jsonl 请输入处理的科目名称，例如：物理: 测试 请输入AI并行提问分割文件的大小,例如：10000: 10
-
运行成功后，会在./test_01下创建多个目录 transformed: 数据初步有有效性筛选后保存在这里 spilited_ai1：分割后的文件，用于第一次AI检测 ai_1:第一次AI检测后的存储目录 ai_2:第二次AI检测后的存储目录 ai_2_total:最终两次检测后合并在一起的数据
启动后会在process.log中可以查看日志情况。