你好,游客 登录
背景:
阅读新闻

Scala报错:Caused by: org.apache.hadoop.fs.ChecksumException

[日期:2018-09-15] 来源:csdn  作者: [字体: ]
Caused by: org.apache.hadoop.fs.ChecksumException: Checksum error: file

之前上传文件失败造成的
Hadoop客户端将本地文件cheap_all上传到hdfs上时,hadoop会通过fs.FSInputChecker判断需要上传的文件是否存在.crc校验文件。如果存在.crc校验文件,则会进行校验。如果校验失败,自然不会上传该文件。
将隐藏的文件.crc删除就可以

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file

类似的输出目录已经存在,删除文件夹

收藏 推荐 打印 | 阅读: