一些场景无法直接从binlog dml的信息中直接提取到信息需要反查sql， srcDataSources是个map可以配置多个

原回答者GitHub用户rewerma

根据您的描述，在使用Canal-adapter时，您想知道srcDataSources的作用是什么，以及在分库场景下如何配置。

srcDataSources是Canal-adapter配置文件中的一个参数，用于指定源数据库的连接信息。默认情况下，Canal-adapter会从Canal-server中获取binlog数据，然后将数据转换为目标系统可以处理的格式。然而，在某些情况下，Canal-server可能无法提供足够的信息来进行数据回查或其他操作。在这种情况下，您可以使用srcDataSources参数指定源数据库的连接信息，从而获得更多的数据。

在分库场景下，您可以为每个分库配置不同的srcDataSources。例如，您可以按照以下方式配置Canal-adapter：

canal.conf.dir = /path/to/canal/conf canal.destinations = mytest canal.instance.master.address = mysql_host:3306 canal.instance.dbUsername = canal canal.instance.dbPassword = canal canal.instance.defaultDatabaseName = mytest canal.instance.connectionCharset = UTF-8

canal.instance.filter.regex = ...

指定源数据库的连接信息

数据源1

canal.adapter.dbType = mysql canal.adapter.dbDriver = com.mysql.jdbc.Driver canal.adapter.dbUrl = jdbc:mysql://mysql_host:3306/db1 canal.adapter.dbUser = user1 canal.adapter.dbPassword = password1 canal.adapter.srcDataSources = ds1

数据源2

canal.adapter.dbType = mysql canal.adapter.dbDriver = com.mysql.jdbc.Driver canal.adapter.dbUrl = jdbc:mysql://mysql_host:3306/db2 canal.adapter.dbUser = user2 canal.adapter.dbPassword = password2 canal.adapter.srcDataSources = ds2

指定目标系统的连接信息

canal.adapter.es.cluster.name = my-es-cluster canal.adapter.es.cluster.addresses = 192.168.1.1:9300,192.168.1.2:9300 canal.adapter.es.username = elastic canal.adapter.es.password = changeme canal.adapter.es.index = mytest_user canal.adapter.es.type = user canal.adapter.es.id = id 在这个示例中，我们为两个分库配置了不同的srcDataSources。数据源1使用了ds1，数据源2使用了ds2。在Canal-adapter中，您可以使用这些数据源来获取更多的数据，然后将其同步到目标系统中。

在ES adapter中，不支持配置多个dataSourceKey。因此，在分库场景中，如果需要使用多个数据源，您需要手动实现数据同步逻辑。例如，您可以在Canal-adapter中使用事件过滤器或其他方式来过滤或修改数据，然后将其发送到目标系统中，以实现数据同步。