R中的文本处理

处理文本是每一种计算机语言都应该具备的功能,但不是每一种语言都侧重于处理文本。R语言是统计的语言,处理文本不是它的强项。尽管R语言处理文本的能力不够强,但适当使用可以大幅提高工作效率的,而且有些文本操作还不得不用。高效处理文本少不了正则表达式(regular expression),虽然R在这方面先天不高效,但其中处理文本的绝大多数函数都支持正则表达式。

正则表达式

正则表达式是用于描述和匹配一个文本集合的表达式。它不是R的专属内容,这里也只简单介绍,更详细的内容请查阅其他文章。

  1. 所有英文字母、数字和很多可显示的字符本身就是正则表达式,用于匹配它们自己。比如 ‘a’ 就是匹配字母 ‘a’ 的正则表达式
  2. 一些特殊的字符在正则表达式中被“转义”不在用来描述它自身,这些字符称为“元字符”。常见元字符的意义如下:
    • \^放在表达式开始处表示匹配文本开始位置,放在方括号内开始处表示非方括号内的任一字符
    • $ 匹配一个字符串的结尾
    • 点号. 表示除了换行符以外的任一字符
    • * 表示将其前的字符进行0个或多个的匹配
    • .* 可以匹配任意字符
    • + 匹配1或多个正好在它之前的那个字符
    • ? 匹配0或1个正好在它之前的那个字符
    • 大括号{}表示前面的字符或表达式的重复次数
    • 方括号[]表示选择方括号中的任意一个(如[a-z] 表示任意一个小写字符)
    • | 表示可选项,即| 前后的表达式任选一个
  3. 如果要在正则表达式中表示元字符本身,比如我就要在文本中查找问号‘?’,那么就要使用引用符号(或称换码符号),一般是反斜杠 ‘'。需要注意的是,在R语言中得用两个反斜杠即 ‘\\’,如要匹配括号就要写成 ’\\(\\)‘

  4. 不同语言或应用程序(事实上很多规则都通用)定义了一些特殊的元字符用于表示某类字符,如 :
    • \d 表示数字0-9,\D 表示非数字
    • \s 表示空白字符(包括空格、制表符、换行符等),\S 表示非空白字符,
    • \w 表示字(字母和数字),\W 表示非字
    • \< 和 \> 分别表示以空白字符开始和结束的文本 需要注意的是,反斜杠 ‘\‘在R语言中得用两个反斜杠即 ‘\\’,如’\s’就要写成 ’\\s‘。
  5. 正则表达式符号运算顺序:圆括号括起来的表达式最优先,然后是表示重复次数的操作(即:* + {} ),接下来是连接运算(其实就是几个字符放在一起,如abc),最后是表示可选项的运算(|)。所以’foot|bar’ 可以匹配’foot‘或者’bar‘,但是 ‘foot|ba{2}r’匹配的是’foot‘或者’baar‘。
  6. “贪婪”和“懒惰”的匹配规则。默认情况下是匹配尽可能多的字符,是为贪婪匹配,比如 “a.*b”默认匹配最长的a开头b结尾的字串,也就是整个字符串。如果要进行懒惰匹配,也就是匹配最短的字串,只需要在后面加个 ?,比如 “a.*?b”,就会匹配最开始找到的最短的a开头b结尾的字串

文本处理

字符数统计

函数nchar,统计向量中每个元素的字符个数,注意这个函数和length函数的差别:length是向量长度(向量元素的个数)。

x <- c("Hellow", "World", "!") 
nchar(x); length(x)
	# [1] 6 5 1 
	# [1] 3
length(''); nchar('') 
	# [1] 1 
	# [1] 0 

字符大小写转化

  • 函数tolower,将向量中的元素转化为小写字母
  • 函数toupper,将向量中的元素转化为大写字母
  • 函数casefold,将向量中的元素转化为小或大写字母(upper = F,转化为小写;upper = T,转化为大写)
  • 函数chartr,按指定的规则进行转换
tolower(x)
	# [1] "hellow" "world"  "!"  
toupper(x)
	# [1] "HELLOW" "WORLD"  "!" 
casefold(x) # 默认upper = F
	# [1] "hellow" "world"  "!" 
casefold(x, upper = T)
	# [1] "HELLOW" "WORLD"  "!"  

chartr('ol', 'pm', x) # o转化为p,l转化为m
	# "Hemmpw" "Wprmd"  "!"
	
DNA <- "AtGCtttACC" # DNA为长度为1的字符向量
tolower(DNA) 
	# [1] "atgctttacc" 
toupper(DNA) 
	# [1] "ATGCTTTACC" 
chartr("Tt", "Uu", DNA) # T转化为U,t转化为u
	# [1] "AuGCuuuACC" 
chartr("Tt", "UU", DNA) 
	# [1] "AUGCUUUACC"

字符串连接

函数paste应该是R中最常用字符串函数了,也是R字符串处理函数里面非常纯的不使用正则表达式的函数(因为用不着)。

paste("CK", 1:6, sep = "")
	# [1] "CK1" "CK2" "CK3" "CK4" "CK5" "CK6"
x <- list(a = "aaa", b = "bbb", c = "ccc")
y <- list(d = 1, e = 2)
paste(x, y, sep = "-")  #较短的向量被循环使用
	# [1] "aaa-1" "bbb-2" "ccc-1"

paste函数还有一个用法,设置collapse参数,连成一个字符串。

paste(x, y, sep = "-", collapse = "; ")
	# [1] "aaa-1; bbb-2; ccc-1"
paste(x, collapse = "; ")
	# [1] "aaa; bbb; ccc"

字符串拆分

strsplit函数使用正则表达式,使用格式为:

strsplit(x, split, fixed = FALSE, perl = FALSE, useBytes = FALSE)
  • 参数x为字串向量,每个元素都将单独进行拆分。
  • 参数split为拆分位置的字串向量,
  • 默认为正则表达式匹配(fixed=FALSE)。如果你没接触过正则表达式,设置fixed=TRUE,表示使用普通文本匹配或正则表达式的精确匹配。普通文本的运算速度快。
  • 参数perl=TRUE/FALSE的设置和perl语言版本有关,如果正则表达式很长,正确设置表达式并且使用perl=TRUE可以提高运算速度。
  • 参数useBytes设置是否逐个字节进行匹配,默认为FALSE,即按字符而不是字节进行匹配。
text <- "Hello Adam!\nHello Ava!"
strsplit(text, " ") # R语言的字符串事实上也是正则表达式,文本中的\n在图形输出中是被解释为换行符的。
	# [[1]]
	# [1] "Hello"        "Adam!\nHello" "Ava!"
strsplit(text, "\\s")
	# [[1]]
	# [1] "Hello" "Adam!" "Hello" "Ava!"

strsplit得到的结果是列表,后面要怎么处理就得看情况而定了。

class(strsplit(text, "\\s"))
	# [1] "list"

有一种情况很特殊,如果split参数的字符长度为0,得到的结果就是一个个的字符。

strsplit(text, "")
	# [[1]]
	#  [1] "H"  "e"  "l"  "l"  "o"  " "  "A"  "d"  "a"  "m"  "!"  "\n" "H"  "e" 
	# [15] "l"  "l"  "o"  " "  "A"  "v"  "a"  "!"

从这里也可以看到R把 \n 是当成一个字符来处理的。

字符串查询和替换

R中字符串的查询函数有:grep、grepl、regexpr、gregexpr和regexpr,字符串的替换函数有sub和gsub。

# 字符串查询
grep(pattern, x, ignore.case = FALSE, perl = FALSE, value = FALSE,
     fixed = FALSE, useBytes = FALSE, invert = FALSE)

grepl(pattern, x, ignore.case = FALSE, perl = FALSE,
      fixed = FALSE, useBytes = FALSE)

regexpr(pattern, text, ignore.case = FALSE, perl = FALSE,
        fixed = FALSE, useBytes = FALSE)

gregexpr(pattern, text, ignore.case = FALSE, perl = FALSE,
         fixed = FALSE, useBytes = FALSE)

regexec(pattern, text, ignore.case = FALSE,
        fixed = FALSE, useBytes = FALSE)
# 字符串替换
sub(pattern, replacement, x, ignore.case = FALSE, perl = FALSE,
    fixed = FALSE, useBytes = FALSE)
## sub函数会根据pattern的规则对x中各元素进行搜索,遇到符合条件的第一个子字符串的位置,用replacement替换该子字符串,返回替换后的结果,和x的结构相同
gsub(pattern, replacement, x, ignore.case = FALSE, perl = FALSE,
     fixed = FALSE, useBytes = FALSE)
## gsub函数会根据pattern的规则对x中各元素进行搜索,找出所有符合条件的子字符串的位置,用replacement替换该子字符串,返回替换后的结果,和x的结构相同	 

这几个函数有相似的格式,都使用正则表达式的规则进行匹配。默认是egrep的规则,也可以选用Perl语言的规则。

  • pattern为字符串表示正则表达式
  • replacement也是字符串表示替换的内容
  • x为字符型向量表示被替换的字符向量
  • 参数ignore.case = FALSE,表示大小写敏感
  • 参数extended = TRUE,表示使用egrep规则
  • perl = FALSE,表示不使用Perl规则
  • fixed = FALSE,表示不使用精确匹配
  • useBytes = FALSE,表示按字符匹配

字符串查询

grep和grepl函数这两个函数返回向量水平的匹配结果,不涉及匹配字符串的详细位置信息。此外,尽管这两个函数的参数看起来差不多,但是返回结果的形式并不一样。 regexpr、gregexpr和regexpr这三个函数返回的结果包均含了匹配的具体位置和字符串长度信息,只是他们的结果显示方式不同。

text <- c("Hellow, Adam!", "Hi, Paul!", "How are you, Adam.")
grep("Adam", text)
	# [1] 1 3
grepl("Adam", text)
	# [1]  TRUE FALSE  TRUE
regexpr("Adam", text)
	# [1]  9  -1 14
	# attr(,"match.length")
	# [1] 4 -1 4
	# attr(,"useBytes")
	# [1] TRUE
gregexpr("Adam", text)
	# [[1]]
	# [1] 9
	# attr(,"match.length")
	# [1] 4
	# attr(,"useBytes")
	# [1] TRUE
	# 
	# [[2]]
	# [1] -1
	# attr(,"match.length")
	# [1] -1
	# attr(,"useBytes")
	# [1] TRUE
	# 
	# [[3]]
	# [1] 14
	# attr(,"match.length")
	# [1] 4
	# attr(,"useBytes")
	# [1] TRUE
regexec("Adam", text)
	# [[1]]
	# [1] 9
	# attr(,"match.length")
	# [1] 4
	# 
	# [[2]]
	# [1] -1
	# attr(,"match.length")
	# [1] -1
	# 
	# [[3]]
	# [1] 14
	# attr(,"match.length")
	# [1] 4

字符串替换

尽管sub和gsub是用于字符串替换的函数,但严格地说R语言没有字符串替换的函数,因为R语言不管什么操作对参数都是传值不传址。

text
	# [1] "Hellow, Adam!"      "Hi, Paul!"          "How are you, Adam."
sub(pattern = "Adam", replacement = "world", text)
	# [1] "Hellow, world!"      "Hi, Paul!"          "How are you, world."
text
	# [1] "Hellow, Adam!"      "Hi, Paul!"          "How are you, Adam."

可以看到:虽然说是“替换”,但原字符串并没有改变,要改变原变量我们只能通过再赋值的方式。 sub和gsub的区别是前者只做一次替换(不管有几次匹配),而gsub把满足条件的匹配都做替换。

text1 = c("Hellow, Adam!", "Hi, Paul!", "How are you, Adam, Ava.")
sub(pattern = "Adam|Ava", replacement = "world", text1)
	# [1] "Hellow, world!"      "Hi, Paul!"          "How are you, world, Ava."
gsub(pattern = "Adam|Ava", replacement = "world", text1)
	# [1] "Hellow, world!"      "Hi, Paul"          "How are you, world, world."

sub和gsub函数可以使用提取表达式(转义字符+数字)让部分变成全部:

sub(pattern = ".*(Adam).*", replacement = "Hi, \\1", text)
	# [1] "Hi, Adam"  "Hi, Paul!" "Hi, Adam" 

字符串提取

substr和substring函数通过位置进行字符串拆分或提取,它们本身并不使用正则表达式,但是结合正则表达式函数regexpr、gregexpr或regexec使用可以非常方便地从大量文本中提取所需信息。两者的参数设置基本相同,但它们的返回值的长度(个数)有差别:substr返回的字串个数等于第一个参数的长度,而substring返回字串个数等于三个参数中最长向量长度,短向量循环使用。

substr(x, start, stop)
substring(text, first, last = 1000000L)
  • x均为要拆分的字串向量
  • start/first 为截取的起始位置向量
  • stop/last 为截取字串的终止位置向量

先看第1参数(要拆分的字符向量)长度为1例子。

x <- "123456789"
substr(x, c(2, 4), c(4, 5, 8))
	# [1] "234"
substring(x, c(2, 4), c(4, 5, 8))
	# [1] "234"     "45"      "2345678"

因为x的向量长度为1,所以substr获得的结果只有1个字串,即第2和第3个参数向量只用了第一个组合:起始位置2,终止位置4。 而substring的语句三个参数中最长的向量为c(4,5,8),执行时按短向量循环使用的规则第一个参数事实上就是c(x,x,x),第二个参数就成了c(2,4,2),最终截取的字串起始位置组合为:2-4, 4-5和2-8。

字符串的整理

  • strtrim 函数

该函数用于将字符串修剪到特定的显示宽度,其用法为,

strtrim(x,width)

返回字符串向量的长度等于x的长度。因为是“修剪”,所以只能去掉多余的字符不能增加其他额外的字符:如果字符串本身的长度小于width,得到的是原字符串,别指望它会用空格或其他什么字符补齐。

strtrim(c("abcdef", "abcdef", "abcdef"), c(1, 5, 10))
	# [1] "a"      "abcde"  "abcdef"
strtrim(c(1, 123, 1234567), 4)
	# [1] "1"    "123"  "1234"
  • strwrap函数

该函数把一个字符串当成一个段落的文字(不管字符串中是否有换行符),按照段落的格式(缩进和长度)和断字方式进行分行,每一行是结果中的一个字符串。

str1 <- "Each character string in the input is first split into paragraphs\n(or lines containing whitespace only).  The paragraphs are then\nformatted by breaking lines at word boundaries.  The target\ncolumns for wrapping lines and the indentation of the first and\nall subsequent lines of a paragraph can be controlled\nindependently."
str2 <- rep(str1, 2)
strwrap(str2, width = 80, indent = 2)
	#  [1] "  Each character string in the input is first split into paragraphs (or lines"
	#  [2] "containing whitespace only).  The paragraphs are then formatted by breaking"  
	#  [3] "lines at word boundaries.  The target columns for wrapping lines and the"     
	#  [4] "indentation of the first and all subsequent lines of a paragraph can be"      
	#  [5] "controlled independently."                                                    
	#  [6] "  Each character string in the input is first split into paragraphs (or lines"
	#  [7] "containing whitespace only).  The paragraphs are then formatted by breaking"  
	#  [8] "lines at word boundaries.  The target columns for wrapping lines and the"     
	#  [9] "indentation of the first and all subsequent lines of a paragraph can be"      
	# [10] "controlled independently."

simplify参数用于指定结果的返回样式,默认为TRUE,即结果中所有的字符串都按顺序放在一个字符串向量中(如上);如果为FALSE,那么结果将是列表。另外一个参数exdent用于指定除第一行以外的行缩进。

strwrap(str1, width = 80, indent = 0, exdent = 2)
	# [1] "Each character string in the input is first split into paragraphs (or lines"  
	# [2] "  containing whitespace only).  The paragraphs are then formatted by breaking"
	# [3] "  lines at word boundaries.  The target columns for wrapping lines and the"   
	# [4] "  indentation of the first and all subsequent lines of a paragraph can be"    
	# [5] "  controlled independently."
  • match和charmatch函数

这两个函数用于字符的匹配。

match("xx", c("abc", "xx", "xxx", "xx"))
	# [1] 2
match(2, c(3, 1, 2, 4))
	# [1] 3
charmatch("xx", "xx")
	# [1] 1
charmatch("xx", "xxa")
	# [1] 1
charmatch("xx", "axx")
	# [1] NA

match按向量进行运算,返回第一次匹配的元素的位置(如果有),非字符向量也可用。正如原作者说的那样,charmatch函数真太坑爹了,不建议使用。

-—–

参考文章

  1. R语言进阶之二:文本(字符串)处理与正则表达式(这篇文章在许多网站都有转载,然而原创链接失效了)
  2. R中正则表达式简介
Previous     Next Xu Kuang /
Published under (CC) BY-NC-SA in categories 技术篇  tagged with 文本  R