開個(gè)錯(cuò)誤集錦貼，來記錄代碼中的錯(cuò)誤，不論大小，提個(gè)醒：
1、run.sh 內(nèi)容，要記得最后都有個(gè)反斜線
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH_1 \
-output $OUTPUT_PATH \
#這個(gè)后邊的參數(shù)都有雙引號
-mapper "python map.py mapper_func WH.gz" \
-reducer "python red.py reducer_func" \
-jobconf "mapred.job.name=map_output_compress_demo" \
#是mapred.reduce.tasks 不是red、reducer、task、
-jobconf "mapred.reduce.tasks=2" \
#是mapred.compress.map.output
-jobconf "mapred.compress.map.output=true" \
#只有這個(gè)等號前邊是compression
-jobconf "mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \
#是mapred.output.compress
-jobconf "mapred.output.compress=true" \
-jobconf "mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \
-file "./map.py" \
-file "./red.py"
2、map和red函數(shù)，要理解思想，按思想敲，而不是背代碼，切記：背代碼不是最終結(jié)果
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。
