本文分享自天翼云开发者社区《Doris-HDFS LOAD常见问题汇总（二）》，作者：刘****阳
1、HDFS Load导入错误，quality not good enough to cancel，现象描述：导入显示状态为Canceled,URL错误详情显示：quality not good enough to cancel
可能原因：
1、导入的数据字段长度设置有问题，原始数据超长。
2、导入的数据被异常切分了。字段值中含有换行或者文件解析错误。
3、字段对应错误，字段值字段转换异常。
定位方式：
查询任务状态show load where label="" from db_name;
show load warnings on "URL" 。日志详情里显示具体错误详情。
解决方案：
1、字段值超长可以修改字段值或者截断原始数据。
2、数据被异常切分，需探查所有数据还是极少数数据，极少数数据可通过设置允许脏数据来自动过滤部分脏数据。
3、字段对应错误或者字段转换异常，对应设置相应的set进行显式转换。
现象描述：导入后数据少了很多
可能原因：
1、数据导入任务有大量脏数据，当设置允许脏数据，可能会过滤
2、导入的格式是Parquet格式，但在任务中未指定，默认引擎同步异常
3、原始数据重新生成。
定位方式：
确认是否设置允许脏数据，如果允许可查看ETLinfo详情里查询具体导入情况。
show load where label="" from db;
unselected.rows=0; dpp.abnorm.ALL=18; dpp.norm.ALL=221221
查询原始数据的文件格式是什么
2. 查询原始数据生成时间，是否更新为数据导入任务后，或者有增量数据生成。
解决方案：
1、字段值超长可以修改字段值或者截断原始数据。
2、数据被异常切分，需探查所有数据还是极少数数据，极少数数据可通过设置允许脏数据来自动过滤部分脏数据。
3、字段对应错误或者字段转换异常，对应设置相应的set进行显式转换。
现象描述：导入显示状态为Canceled,错误详情为
type:ETL_RUN_FAIL; msg:errCode = 2, detailMessage = HDFS list path exception. path=hdfs://user/XXXXXXXXXXX/5G_D/20240418/*, err: errCode = 2, detailMessage = HDFS list path failed. path=hdfs://user/XXXXXXXXXX/5G_D/20240418/*,msg=errors while get file status java.net.UnknownHostException: user
可能原因：
1、host设置异常
定位方式：
确认配置的HDFS路径是否正确。
解决方案：
修改正确HDFS路径后，重新导入。
现象描述：导入显示状态为Canceled,错误详情为
type:ETL_RUN_FAIL; msg:errCode = 2, detailMessage = No source file in this table(o_zXXXXX_d).
可能原因：
HDFS路径配置错误，或者HDFS目录下没有相关文件。
定位方式：
确认配置的HDFS路径是否正确。
确认原始的数据是否正常生成。
解决方案：
修改正确HDFS路径后或生成原始数据后，重新导入。
现象描述：导入显示状态为Canceled,URL详情为
Reason: column_name[con_bis_type], the length of input is too long than schema. first 32 bytes of input str: [用户姓名] schema length: 10; actual length: 12; . src line [];
可能原因：
中文字段在Doris中单个汉字长度为3.
定位方式：
查看原始数据的长度
解决方案：
修改表字段的长度，重新导入。
ALTER TABLE example_db.my_table MODIFY COLUMN val1 VARCHAR(64)
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
发布文章
