阅读mutate源码学习dplyr

dplyr是R语言里面处理数据数据非常好使的包，但是最近使用它解决一些问题时遇到了瓶颈，并且搜到的教程都特别基础，所以我打算从源码的角度去找解决方案。

为了理解dplyr::mutate这个函数，我们需要借助一个实例，分别思考mutate(mtcars), mutate(mtcars, gear+carb)和mutate(mtcars, new=gear+carb)会在运行的时候的处理流。

在R语言中直接输入函数的名字，就能看到"mutate"的源码

> dplyr::mutate
function (.data, ...) 
{
    UseMethod("mutate")
}
<environment: namespace:dplyr>

这告诉我们，"mutate"其实是一个泛型函数( generic function)，因为它使用UseMethod()调用和数据结构对应的"mutate". 我们可以用”methods“去找给定泛型函数的所有实现方法

PS: 如果你输入的不是数据框或者tbl_df，那么泛型函数就会报错, 因为找不到对应的

> methods(mutate)
[1] mutate.data.frame* mutate.default*    mutate.tbl_df* 

由于"mtcars"是数据框，那么UseMethod就会选择mutate.data.frame作为实际使用的函数。但是你不能通过直接在命令里输这些mutate.data.frame来查看它的源代码，这是因为*标注的是不可见函数(nonvisible function)，就是不在默认命名空间中的而函数，，你需要用getAnywhere()找到这些函数，然后使用命名空间限定符来访问。

> getAnywhere(mutate.data.frame)
A single object matching ‘mutate.data.frame’ was found
It was found in the following places
  registered S3 method for mutate from namespace dplyr
  namespace:dplyr
with value

function (.data, ...) 
{
    as.data.frame(mutate(tbl_df(.data), ...))
}

这说明对于data.frame类的数据，会先用tbl_df更改数据结构，重新调用mutate函数。那么对于tbl_df类，泛型函数就会调用mutate.tbl_df*

> getAnywhere(mutate.tbl_df)
A single object matching ‘mutate.tbl_df’ was found
It was found in the following places
  registered S3 method for mutate from namespace dplyr
  namespace:dplyr
with value

function (.data, ...) 
{
    dots <- named_quos(...)
    mutate_impl(.data, dots)
}

第一个函数named_quos有两个作用，第一返回quosure类，第二保证quosure类都是由名字的，所以mutate(mtcars, gear+carb)的新增列的名字就是gear+carb.

第二个函数调用了mutate_impl，以.data和dots作为输入，这个函数也是不可见的，所以也要用getAnywhere

> getAnywhere(mutate_impl)
A single object matching ‘mutate_impl’ was found
It was found in the following places
  namespace:dplyr
with value

function (df, dots) 
{
    .Call(`_dplyr_mutate_impl`, df, dots)
}

.Call函数是C/C++代码的交互界面，负责调用_dplyr_mutate_impl模块，传入的就是数据框和dots对象。

R语言部分的代码到此就结束了，因为后续就是调用C/C++代码编译后的函数。
这部分的代码在GitHub上托管，https://github.com/tidyverse/dplyr/blob/master/src/mutate.cpp。虽然我几乎没用C/C++写代码，但还能勉强看代码

接着之前_dplyr_mutate_impl，对应代码如下

// [[Rcpp::export]]
SEXP mutate_impl(DataFrame df, QuosureList dots) {
  if (dots.size() == 0) return df;
  check_valid_colnames(df);
  if (is<RowwiseDataFrame>(df)) {
    return mutate_grouped<RowwiseDataFrame, LazyRowwiseSubsets>(df, dots);
  } else if (is<GroupedDataFrame>(df)) {
    return mutate_grouped<GroupedDataFrame, LazyGroupedSubsets>(df, dots);
  } else {
    return mutate_not_grouped(df, dots);
  }
}

SEXP类由Rcpp包提供，让R包能够方便的使用.Call和C/C++代码交互，这样子就不需要写专门的代码将R语言的数据结构转换成C++数据结构。

然后判断quosure列表的长度，数据框是否存在无效的列名，是否需要分组计算。当长度为0时返回原来的数据框。后面就是具体运算的代码，读起来真的是费劲，但是对于我而言，只需要了解 QuosureList dots 最后是如何被使用的就行。

dots只是存放表达的中间态，随后会经由循环传给NamedQuosure类，后续这些指令传给call_proxy,而这个类来自于"#include <dplyr/Result/CallProxy.h>"。不能再继续了，因为此恨绵绵无绝期，继续就是Rcpp这个无底洞，放弃吧。

总结一句：理解dplyr包的关键在于，你得知道dplyr包本身不参与的数据处理，它只是生成SQL语言转述给后端的数据库，让数据库完成数据处理部分。换句话说，它对SQL语句的简洁封装，实现前后端分离。

通过读源代码的方式，我理解到掌握mutate的核心其实学会dplyr编程，学会将你需要执行的表达式传递给dots，你就能自由的使用mutate甚至是其他所有dplyr系列。

mutate拓展函数: mutate_if,mutate_all,mutate_at就是学习mutate的最好案例

这三个函数虽然看起来不同，但是殊途同归，最后都是mutate(.tbl, !(!(!funs))),funs虽然由看似不同的manip_if， manip_at, manip_all构建，但是本质上都是manip_apply_sym的变体而已。接下来用mutate_all(mtcars, funs(mean)的执行过程来辅助理解。

首先以.tbl=mtcars，.funs=funs(mean)设置函数内局部变量，

然后调用manip_all,源代码如下

manip_all <- function (.tbl, .funs, .quo, .env, ...) 
{
  syms <- syms(tbl_nongroup_vars(.tbl))
# 这一步得到目标处理列列名的符号列表
  funs <- as_fun_list(.funs, .quo, .env, ...)
# 这里的.funs会是funs(./2.54)运算后的fun_list, 而.quo则是funs(./2.54本身，是一个quosure类
#.env则表示当前所处环境，最后将所有提供的函数合并成一个fun_list。
  manip_apply_syms(funs, syms, .tbl)
}

syms以列表形式存储待处理的列名的符号（不是字符串），funs以fun_calls数据结构存放要执行的函数。最后这些参数连同数据框本身传给manip_apply_syms，返回一个列表，这个列表记录着需要执行的运算。

syms <- syms(tbl_nongroup_vars(mtcars))
funlist <- dplyr:::as_fun_list(funs(mean), quo(mean), caller_env())
dplyr:::manip_apply_syms(funlist,syms, mtcars)
# 运行结果
$mpg
<quosure>
  expr: ^mean(mpg)
  env:  global
$cyl
<quosure>
  expr: ^mean(cyl)
  env:  global
...
$carb
<quosure>
  expr: ^mean(carb)
  env:  global

最后就会出现一个非常神奇的表达形式!(!(!funs)), 我目前还不知道有什么用。可能是rlange !!!，用于将列表的内容解压,所以下面两个表达是等价的

# 表达一
mutate_all(mtcars,funs(mean)
# 表达二
syms <- syms(tbl_nongroup_vars(mtcars))
funlist <- dplyr:::as_fun_list(funs(mean), quo(mean), caller_env())
rs <- dplyr:::manip_apply_syms(funlist,syms, mtcars)
mutate(mtcars,!!!rs)