煤矿综采设备运行状态大数据清洗建模

来源期刊：工矿自动化2018年第11期

论文作者：马宏伟 吴少杰 曹现刚 徐博远 张鑫媛

文章页码：80 - 83

关键词：综采设备;设备运行状态;大数据;数据清洗;MapReduce;

摘    要：针对煤矿综采设备运行状态数据量大、数据存在噪声和缺失值等问题,建立了一种基于MapReduce的煤矿综采设备运行状态大数据清洗模型。该模型采用双MapReduce协同工作:通过第1个MapReduce对数据中的噪声点和缺失值进行修正,输出多个清洗后的数据文件;通过第2个MapReduce对多个清洗后的数据文件按采集时间及日期进行排序,并合并成单个数据文件输出。实验结果表明,该模型能有效剔除噪声数据和补全缺失数据,具有较好的数据清洗效果。