大数据时代我们经常要批量处理一些文件，有一部分是重复的各种字符串操…