从R中的网页中提取所有可能的文本

我会去rvest梳理链接并purrr进行迭代：

library(rvest)
library(purrr)

url <- "http://www.dlink.com/it/it"

r <- read_html(url) %>% 
    html_nodes('a') %>% 
    html_attr('href') %>% 
    Filter(function(f) !is.na(f) & !grepl(x = f, pattern = '#|facebook|linkedin|twitter|youtube'), .) %>% 
    map(~{
        print(.x)
        html_session(url) %>% 
            jump_to(.x) %>% 
            read_html() %>% 
            html_nodes('body') %>% 
            html_text() %>% 
            toString()
    })

我从链接列表中过滤掉了社交网络和无效链接，可能还需要进行一些调整。

建议您将浪费很多垃圾。可能还需要针对每个页面中要擦除的内容进行定位（例如：比整个body标签更具体的内容）