R语言常用的去重命令有unique duplicated

 

unique主要是返回一个把重复元素或行给删除的向量、数据框或数组

> x <- c(3:5, 11:8, 8 + 0:5)

> x

 [1]  3  4  5 11 10  9  8  8  9 10 11 12 13

> unique(x)

[1]  3  4  5 11 10  9  8 12 13

> unique(x, fromLast = TRUE)

[1]  3  4  5  8  9 10 11 12 13    #排序后的

> a

     [,1] [,2] [,3]

[1,]    1    2    3

[2,]    1    2    4

[3,]    1    3    5

[4,]    1    2    3

> unique(a)

     [,1] [,2] [,3]

[1,]    1    2    3

[2,]    1    2    4

[3,]    1    3    5   #去除重复的最后一行

 

duplicated主要是判定向量或数据框中的元素是否重复，它返回一个元素（行）是不是重复的逻辑向量

> duplicated(a)

[1] FALSE FALSE FALSE  TRUE    # 返回一个是否重复的逻辑判断

> a[!duplicated(a),]

     [,1] [,2] [,3]

[1,]    1    2    3

[2,]    1    2    4

[3,]    1    3    5                         #去除重复的最后一行

 

如果把第二列有重复的去除，则需要加一个索引

> index <- duplicated(a[,2])

> index

[1] FALSE  TRUE FALSE  TRUE

> a[!index,]

     [,1] [,2] [,3]

[1,]    1    2    3

[2,]    1    3    5