ログデータを正規化するイディオム「sort」「uniq」をよく忘れる自分のための備忘録。ついでにPythonでも同様のこと書いたメモ

ログデータを正規化するイディオム「sort」「uniq」をよく忘れる自分のための備忘録。ついでにPythonでも同様のこと書いたメモ:

はじめに

シェルでログデータをガチャガチャする場合も時としてありますよね。

そんな時に使う[cat][sort][uniq]の熟語的なスクリプトがありますが、

よく忘れるのでここに置いときます。

それだけでは記事として面白みが薄いので、Pythonで同様のふるまいをするコードも置いときます。

シェル

重複削除の正規化

cat log.txt | sort | uniq > uniq.txt 

Python

sort_uniq.py

l = [3, 3, 2, 1, 5, 1, 4, 2, 3] 
l_unique = list(set(l)) 
print(l_unique) # [1, 2, 3, 4, 5] 

思ったこと

sort->uniqやset()では、中身の順序性を保持しないのが欠点。