熱搜:win11繞過(guò)硬件限制安裝 一鍵重裝Win10系統(tǒng) 最干凈的u盤啟動(dòng)盤 真正純凈版的win7系統(tǒng)
時(shí)間:2014-12-18 16:54:33 作者:qipeng 來(lái)源:系統(tǒng)之家 1. 掃描二維碼隨時(shí)看資訊 2. 請(qǐng)使用手機(jī)瀏覽器訪問(wèn): https://m.xitongzhijia.net/xtjc/20141218/32916.html 手機(jī)查看 評(píng)論 反饋
Linux系統(tǒng)操作中,文本的內(nèi)容難免會(huì)出現(xiàn)重復(fù)行,如果手動(dòng)刪除的話,量多的時(shí)候又比較麻煩,那么有什么方法能夠快速刪除重復(fù)行呢?下面小編就給大家介紹下Linux中如何使用uniq命令刪除重復(fù)行。
一,uniq干什么用的
文本中的重復(fù)行,基本上不是我們所要的,所以就要去除掉。linux下有其他命令可以去除重復(fù)行,但是我覺(jué)得uniq還是比較方便的一個(gè)。使用uniq的時(shí)候要注意以下二點(diǎn)
1,對(duì)文本操作時(shí),它一般會(huì)和sort命令進(jìn)行組合使用,因?yàn)閡niq 不會(huì)檢查重復(fù)的行,除非它們是相鄰的行。如果您想先對(duì)輸入排序,使用sort -u。
2,對(duì)文本操作時(shí),若域中為先空字符(通常包括空格以及制表符),然后非空字符,域中字符前的空字符將被跳過(guò)
二,uniq參數(shù)說(shuō)明
代碼如下:
。踷hangy@BlackGhost ~]$ uniq --help
用法:uniq [選項(xiàng)]。。。 [文件]
從輸入文件或者標(biāo)準(zhǔn)輸入中篩選相鄰的匹配行并寫入到輸出文件或標(biāo)準(zhǔn)輸出!/p》 《p》不附加任何選項(xiàng)時(shí)匹配行將在首次出現(xiàn)處被合并!/p》 《p》長(zhǎng)選項(xiàng)必須使用的參數(shù)對(duì)于短選項(xiàng)時(shí)也是必需使用的。
-c, --count //在每行前加上表示相應(yīng)行目出現(xiàn)次數(shù)的前綴編號(hào)
-d, --repeated //只輸出重復(fù)的行
-D, --all-repeated //只輸出重復(fù)的行,不過(guò)有幾行輸出幾行
-f, --skip-fields=N //-f 忽略的段數(shù),-f 1 忽略第一段
-i, --ignore-case //不區(qū)分大小寫
-s, --skip-chars=N //根-f有點(diǎn)像,不過(guò)-s是忽略,后面多少個(gè)字符 -s 5就忽略后面5個(gè)字符
-u, --unique //去除重復(fù)的后,全部顯示出來(lái),根mysql的distinct功能上有點(diǎn)像
-z, --zero-terminated end lines with 0 byte, not newline
-w, --check-chars=N //對(duì)每行第N 個(gè)字符以后的內(nèi)容不作對(duì)照
--help //顯示此幫助信息并退出
--version //顯示版本信息并退出
其中-z不知道有什么用
三,測(cè)試文本文件uniqtest
代碼如下:
this is a test
this is a test
this is a test
i am tank
i love tank
i love tank
this is a test
whom have a try
WhoM have a try
you have a try
i want to abroad
those are good men
we are good men
四,實(shí)例詳解
代碼如下:
。踷hangy@BlackGhost mytest]$ uniq -c uniqtest
3 this is a test
1 i am tank
2 i love tank
1 this is a test //和第一行是重復(fù)的
1 whom have a try
1 WhoM have a try
1 you have a try
1 i want to abroad
1 those are good men
1 we are good men
從上例子中我們可以看出,uniq的一個(gè)特性,檢查重復(fù)行的時(shí)候,只會(huì)檢查相鄰的行。重復(fù)數(shù)據(jù),肯定有很多不是相鄰在一起的。
代碼如下:
。踷hangy@BlackGhost mytest]$ sort uniqtest |uniq -c
1 WhoM have a try
1 i am tank
2 i love tank
1 i want to abroad
4 this is a test
1 those are good men
1 we are good men
1 whom have a try
1 you have a try
這樣就可以解決上個(gè)例子中提到的問(wèn)題
代碼如下:
。踷hangy@BlackGhost mytest]$ uniq -d -c uniqtest
3 this is a test
2 i love tank
uniq -d 只顯示重復(fù)的行
代碼如下:
[zhangy@BlackGhost mytest]$ uniq -D uniqtest
this is a test
this is a test
this is a test
i love tank
i love tank
uniq -D 只顯示重復(fù)的行,并且把重復(fù)幾行都顯示出來(lái)。他不能和-c一起使用
代碼如下:
[zhangy@BlackGhost mytest]$ uniq -f 1 -c uniqtest
3 this is a test
1 i am tank
2 i love tank
1 this is a test
2 whom have a try
1 you have a try
1 i want to abroad
2 those are good men //只有一行,顯示二行
在這里those只有一行,顯示的卻是重復(fù)了,這是因?yàn)椋?f 1 忽略了第一列,檢查重復(fù)從第二字段開(kāi)始的。
代碼如下:
。踷hangy@BlackGhost mytest]$ uniq -i -c uniqtest
3 this is a test
1 i am tank
2 i love tank
1 this is a test
2 whom have a try //一個(gè)大寫,一個(gè)小寫
1 you have a try
1 i want to abroad
1 those are good men
1 we are good men
檢查的時(shí)候,不區(qū)分大小寫
代碼如下:
[zhangy@BlackGhost mytest]$ uniq -s 4 -c uniqtest
3 this is a test
1 i am tank
2 i love tank
1 this is a test
3 whom have a try //根上一個(gè)例子有什么不同
1 i want to abroad
1 those are good men
1 we are good men
檢查的時(shí)候,不考慮前4個(gè)字符,這樣whom have a try 就和 you have a try 就一樣了。
代碼如下:
。踷hangy@BlackGhost mytest]$ uniq -u uniqtest
i am tank
this is a test
whom have a try
WhoM have a try
you have a try
i want to abroad
those are good men
we are good men
去重復(fù)的項(xiàng),然后全部顯示出來(lái)
代碼如下:
。踷hangy@BlackGhost mytest]$ uniq -w 2 -c uniqtest
3 this is a test
3 i am tank
1 this is a test
1 whom have a try
1 WhoM have a try
1 you have a try
1 i want to abroad
1 those are good men
1 we are good men
對(duì)每行第2個(gè)字符以后的內(nèi)容不作檢查,所以i am tank 根 i love tank就一樣了。
上面就是Linux下使用uniq命令刪除重復(fù)行命令的方法介紹了,有時(shí)文本中的重復(fù)行不僅沒(méi)有用處,還占用空間,快使用uniq命令進(jìn)行清除吧。
發(fā)表評(píng)論
共0條
評(píng)論就這些咯,讓大家也知道你的獨(dú)特見(jiàn)解
立即評(píng)論以上留言僅代表用戶個(gè)人觀點(diǎn),不代表系統(tǒng)之家立場(chǎng)