linux 大文件排序、去重

總體思路,分而治之

  • 編寫shell腳本 vim sort_bigfile.sh
#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
let lines_per_file=lines/$3

split -d -l $lines_per_file $1 _part_$1

for file in _part_*
do
{
  sort $file > sort_$file
}
done
wait

sort -smu sort_* > $2
rm -f _part_*
rm -f sort_*
  • 執(zhí)行shell, 目標(biāo)大文件bigfile.txt,最終生成的文件final.txt,切割文件分?jǐn)?shù)30
    sh sort_bigfile.sh bigfile.txt final.txt 30
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、Python簡介和環(huán)境搭建以及pip的安裝 4課時實驗課主要內(nèi)容 【Python簡介】: Python 是一個...
    _小老虎_閱讀 6,356評論 0 10
  • Linux習(xí)慣問題: 在vim編輯時,按了ctrl + s后,再按ctrl + q就可以繼續(xù)執(zhí)行了。ctrl + ...
    光著腳的鞋閱讀 4,709評論 0 16
  • 命令行的藝術(shù) 前言 基礎(chǔ) 日常使用 文件及數(shù)據(jù)處理 系統(tǒng)調(diào)試 單行腳本 冷門但有用 僅限 OS X 系統(tǒng) 僅限 W...
    進(jìn)擊的諾基亞閱讀 3,938評論 0 19
  • 本文轉(zhuǎn)自于: 本站(SimonSu’Blog)歡迎各類網(wǎng)站交換鏈接。只要你的站點有特色,不是垃圾采集站都可以。需要...
    小沭閱讀 12,355評論 2 14
  • 我常告誡自己,做當(dāng)下該做的,不要質(zhì)疑“去做”的選擇??倱?dān)心自己反復(fù)思考,有了質(zhì)疑,會沒了做事的勇氣。我這個年...
    阿逾閱讀 571評論 0 0

友情鏈接更多精彩內(nèi)容