背景：
canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。所以前提基础是mysql。canal服务监听mysql服务的binlog日志，获取增量变更进行同步
前提说明：
本次安装配置是在公司的dev环境，实现的功能是：canal通过监听mysql服务的binlog日志，并将消息推送到kafka。具体服务器地址不便展示，大家使用自己的服务器地址即可。
配置说明：
mysql:
mysql服务器地址：xxxxx
mysql安装路径：/usr/local/mysql/mysql-8.0.11
mysql配置文件my.cnf路径：/etc
canal:
canal服务器地址：xxxxx
canal安装路径：/usr/local/canal
canal全局配置文件canal.properties：/usr/local/canal/conf
canal具体实例配置文件instance.properties：/usr/local/canal/conf/example
kafka:
kafka集群地址（测试环境）：xxxxxx
第一步：配置Mysql服务
a.首先判断mysql服务是否已经开启binlog，ON代表已开启，OFF代表未开启
如果OFF未开启，则需要在原有的mysql配置文件my.cnf中添加如下配置：
log-bin=mysql-bin # 打开二进制日志功能.
binlog-format=ROW # 日志中会记录每一行数据被修改的形式，
server-id=1 # 表明当前mysql服务器作为主服务器，id标识唯一，不可与其他slave重复
b.重启mysql服务
c.创建canal用户
mysql创建了canal用户,并开启远程连接，相当于模拟一个Mysql的slave
create user canal identified by 'canal';
赋予权限，必不可少
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
flush privileges;
第二步：安装配置canal
a.下载：https://github.com/alibaba/canal/releases
b.解压
c.修改全局配置文件
关键配置文件参数说明：
canal.port = 11111 #对外提供的socket接口。如端口不冲突，使用默认即可
canal.serverMode = kafka # 这一步是关键，选择kafka的推送模式，发送kafka消息
kafka.bootstrap.servers = xxxxxx # 配置kafka服务器地址
如无特别需求，其他配置不必改动
d.修改实例配置文件参数说明：
canal.instance.master.address=xxxxx #mysql服务器地址和端口
canal.instance.dbUsername=canal #mysql 上面创建的canal用户 用户名
canal.instance.dbPassword=canal #mysql 上面创建的canal用户 密码
canal.instance.connectionCharset = UTF-8 # mysql 数据解析编码
canal.instance.filter.regex=.*\\..* # mysql 数据解析关注的表，此处配置标识是全库全表都关注
canal.mq.dynamicTopic=.* #转发kafka动态topic配置规则，此处是一库一topic
canal.mq.dynamicTopic=.*\\..* #此处配置是一库一表一topic,例如库：iot_device,表：terminal,转发后的topic：iot_device_terminal
canal.mq.partition=0 #设置kafka存放分区
第三步：启动canal
cd /usr/local/canal/bin
./startup.sh
启动完成后，看下日志，无报错即可。
第四步：验证
随便选择监听的数据库，选择一张表，执行sql语句，去kafka查询是否创建了相应的topic
执行了iot_device库的，station_mac表，插入sql语句
此时登录kafka查看topic已被建立，这里说明一下：只有监听的表产生了row变动，topic才会创建出来。
监听的消息体：
{
"data": [{
"id": "3",
"station_mac": "00:02:a0:00:97:13",
"station_no": "1700001",
"create_time": null,
"update_time": null,
"is_deleted": null
}],
"database": "iot_device",
"es": 1663899674000,
"id": 54,
"isDdl": false,
"mysqlType": {
"id": "int(11)",
"station_mac": "varchar(150)",
"station_no": "varchar(150)",
"create_time": "timestamp",
"update_time": "timestamp",
"is_deleted": "tinyint(2)"
},
"old": null,
"pkNames": ["id"],
"sql": "",
"sqlType": {
"id": 4,
"station_mac": 12,
"station_no": 12,
"create_time": 93,
"update_time": 93,
"is_deleted": -6
},
"table": "station_mac",
"ts": 1663899674377,
"type": "INSERT"
}
canal安装配置过程中遇到的问题：
第一个坑：
原因：
自MySQL 8.0.3开始，身份验证插件默认使用caching_sha2_password
解决方案：
修改canal用户对应的身份验证插件为mysql_native_password
ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
flush privileges;
第二个坑(只有canal和mysql安装在一台服务器时会遇到)：
是我本地安装遇到的，我将canal与mysql安装到一个服务器上，我给canal用户配置的允许所有ip可以连接该mysql服务，那么此时，canal配置里面mysql服务器配置成localhost就不允许连接本机mysql了。
解决：
将canal用户的连接权限配置成只允许localhost本地连接即可
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我打算为ruby脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn
我有一个奇怪的问题:我在rvm上安装了rubyonrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(
我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs
我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
我有一个在Linux服务器上运行的ruby脚本。它不使用rails或任何东西。它基本上是一个命令行ruby脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
