爬取豆瓣电影数据

# 加载需要的R包
library(rvest)
library(rjson)
library(stringr)
library(dplyr)

# 读取数据
url = 'https://movie.douban.com/j/search_tags?type=movie'
web <- read_html(url,encoding="UTF-8")

# 找出电影的不同类型
tags <- web %>% html_nodes('p') %>% html_text() %>% fromJSON()
tag = tags$tags

basicurl<-"https://movie.douban.com/j/search_subjects?type=movie&tag="

# 爬取不同类型电影函数
WebSpider = function(m){
  i = 0
  # 存放每个类型电影的结果
  result = data.frame()
  while(1){
    #Sys.sleep(runif(1,1,2)) # 限制两次爬虫运行的时间
    url = str_c(basicurl,m,'&sort=recommend&page_limit=20&page_start=', i)
    
    web<-read_html(url,encoding="UTF-8")
    
    # 提取不同页的电影数据，并把数据格式由json转化list
    movies.inf = web %>% html_nodes("p") %>% html_text() %>% fromJSON()
    
    # 转化为数据格式为数据框
    temp = do.call("rbind",movies.inf$subjects)
    
    # 合并每个类型所有页的电影数据
    result = rbind(result, temp)
    if(is.null(temp)){
      print(i);break} else{
        i = i + 1} 
  }
  
  # 在数据中添加电影分类
  result$tags = m
  # 合并不同类型的电影数据
  return(result)
}

# 存放所有类型的电影
movies <- data.frame()

# 爬取所有类型的电影
for(j in 1:length(tag)){
  movies <- rbind(movies, WebSpider(tag[j]))}

# 转化列表中的每一项为字符型
movies.df = lapply(movies, as.character)

# 去除重复的电影
movies.unique = movies.df %>% tbl_df() %>% distinct(id, .keep_all = T)

# 写出数据
write.csv(movies.unique, file = 'data/douban_movies_unique_R.csv', row.names = F)