news 2026/4/18 8:02:35

mapreduce输出乱码的处理

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
mapreduce输出乱码的处理

mapreduce输出乱码的处理,主要在于数据的编码,默认是以utf-8编码。

若数据源不是以utf-8编码,如以gbk编码的。若在mapreduce中要以gbk进行解码。

核心语句:

String str = new String(value.getBytes(), 0, value.getLength(), "GBK");

解释:value.getBytes()是获取字节码数据,转换成字符码是需要加相应编码。

程序实验:

package org.two; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; public class CleanOneDriver { public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { Configuration conn = new Configuration(); Job job = Job.getInstance(conn); job.setJarByClass(CleanOneDriver.class); job.setMapperClass(CleanOneMapper.class); job.setReducerClass(CleanOneReduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(NullWritable.class); FileInputFormat.addInputPath(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); System.exit(job.waitForCompletion(true)?0:1); } private static class CleanOneMapper extends Mapper<LongWritable,Text,Text,NullWritable> { @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException { String str = new String(value.getBytes(), 0, value.getLength(), "GBK"); context.write(new Text(str),NullWritable.get()); } } private static class CleanOneReduce extends Reducer<Text,NullWritable,Text,NullWritable> { @Override protected void reduce(Text key, Iterable<NullWritable> values, Reducer<Text, NullWritable, Text, NullWritable>.Context context) throws IOException, InterruptedException { context.write(key,NullWritable.get()); } } }
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 1:55:17

GLM-TTS微信开发者答疑精华整理,新手必读

GLM-TTS微信开发者答疑精华整理&#xff0c;新手必读 你是不是刚部署好 GLM-TTS&#xff0c;点开 http://localhost:7860 却卡在第一步——不知道该传什么音频、填什么文本、调哪个参数&#xff1f; 是不是试了三次都生成出“机械音”&#xff0c;怀疑自己操作有误&#xff0c…

作者头像 李华
网站建设 2026/4/18 7:10:36

Swin2SR云端部署:基于容器的可扩展架构设计

Swin2SR云端部署&#xff1a;基于容器的可扩展架构设计 1. 什么是Swin2SR&#xff1f;——AI显微镜的底层逻辑 你有没有试过把一张手机拍的老照片放大到海报尺寸&#xff0c;结果满屏都是马赛克&#xff1f;或者用AI画图工具生成了一张构图惊艳的草稿&#xff0c;却因为分辨率…

作者头像 李华
网站建设 2026/4/18 3:34:57

如何让文档开口说话?这款AI工具让知识获取效率提升300%

如何让文档开口说话&#xff1f;这款AI工具让知识获取效率提升300% 【免费下载链接】open-notebooklm Convert any PDF into a podcast episode! 项目地址: https://gitcode.com/gh_mirrors/op/open-notebooklm 你是否曾遇到这样的困境&#xff1a;下载了重要的PDF资料却…

作者头像 李华
网站建设 2026/4/18 2:51:17

为什么推荐用LoRA微调Qwen2.5-7B?省显存还高效

为什么推荐用LoRA微调Qwen2.5-7B&#xff1f;省显存还高效 1. 真实痛点&#xff1a;大模型微调不是“买卡就能跑” 你是不是也遇到过这些情况&#xff1f; 下载好Qwen2.5-7B&#xff0c;一运行微调脚本就报错 CUDA out of memory&#xff0c;显存直接爆满&#xff1b;想在单…

作者头像 李华
网站建设 2026/4/10 20:23:52

ST7789与FT6X06结合在触控穿戴设备中的集成指南

以下是对您提供的技术博文进行 深度润色与结构重构后的专业级技术文章 &#xff0c;严格遵循您的全部优化要求&#xff08;去除AI痕迹、强化人话表达、逻辑自然递进、杜绝模板化标题、融合教学性与实战性、删除总结段落、结尾开放互动&#xff09;&#xff0c;全文约 3800 字…

作者头像 李华
网站建设 2026/4/18 3:26:43

如何用NUIST本科毕业论文LaTeX模板快速搞定论文排版?

如何用NUIST本科毕业论文LaTeX模板快速搞定论文排版&#xff1f; 【免费下载链接】NUIST_Bachelor_Thesis_LaTeX_Template 南京信息工程大学本科生毕业论文 LaTeX 模板 项目地址: https://gitcode.com/gh_mirrors/nu/NUIST_Bachelor_Thesis_LaTeX_Template 还在为毕业论…

作者头像 李华