jjzjj

mysql - 如何在不授予 INSERT 权限的情况下在 dplyr 中创建 left_join(..., copy=TRUE)

coder 2023-10-22 原文

我们需要将一个数据库表与一个 excel 文件的内容连接起来。使用 dplyr left_join 很简单，但需要在连接中设置 copy=TRUE，因为数据不是来自同一源.这反过来意味着代码将仅在数据库用户具有 INSERT 权限时运行，以便 left_join 可以在/tmp 文件夹中创建临时表。

有没有办法在不授予 INSERT 权限的情况下执行 copy=TRUE left_join？访问数据进行分析的数据库用户实际上应该只是一个读者。

如果未授予插入权限，则会出现如下错误:

Error in .local(conn, statement, ...) : 
  could not run statement: INSERT command denied to user 
  'reader'@'192.168.135.1' for table 'utiexriryc'

将出现(每次连接时使用不同的随机表名称)。

一个简短的可重现示例是困难的，因为它需要一个数据库连接(在本例中是通过 src_mysql() 连接到 mysql)和一个 excel 文件(在本例中是用 readxl 读取的) >).连接看起来像:

df.biozones <- db.sites %>% 
  left_join(ef.join_site_ids, by=c("site_id"="id"), copy=TRUE) %>% 
  collect()

其中 db.sites 是一个 mysql 数据库表，ef.join_site_ids 是一个使用 readxl 读取的 excel 电子表格中的 data.frame。

有没有办法在 dplyr 中执行上述操作并避免为读取数据的用户授予 INSERT 权限？

最佳答案

虽然没有办法按照我直接要求的去做，正如@hadley 所说，但是有一种不同的方式来看待这个问题。我花了一些时间才明白 dplyr 将每个连接视为不同的源(或简称为 src)。 src 上始终存在，它是内存中对象的集合。

所以在我的问题中，我实际上是在处理三个来源:

  1. 内存中的对象
  2. 数据库_1
  3. 数据库_2

这三个中的任何一个之间的任何连接都需要 dplyr 的权限来创建临时表并插入其中。这三个中任何一个的任何连接都不是问题。因此，当您无法获得对数据库的额外权限时，(至少)有三种可能的方法来处理这个问题。

<强>1。将所有内容加载到内存中

如果您将所有需要的对象从两个数据库中获取到内存中，那么您将把它们放入一个共享的 src 中，并且能够对它们进行任何连接。 Dplyr 提供了 collect() 函数来执行此操作:

db_table_of_interest <- tbl(Database_1, "table_of_interest")
df_table_of_interest <- collect(db_table_of_interest).

您实际上会将表格变成本地数据框。您将需要对所有感兴趣的数据库中的所有感兴趣的表执行此操作。只要您有足够的 RAM 来存放您正在阅读的所有数据，它就可以正常工作。

<强>2。在数据库之间复制标识符

如果(如我们的情况)您需要在两个具有相同站点但 ID 不同的数据库之间加入记录标识符(如站点或样本 ID)，那么最简单的方法是将两个表中的 ID 加倍数据库。因此，与其使用在其中列出每个数据库中每个站点的所有 ID 并设置匹配项的外部工作表，不如在每个数据库的 site_table 中添加一列并引用另一列。

只要不需要用实际数据建立连接表，就可以了。例如，如果您需要读取按物种分类的站点和按环境分类的站点表，其中物种和环境数据存储在单独的数据库中，并且每个站点具有不同的 ID。

如果您确实需要连接表，那么至少您可以在执行 collect() 并读取内存中的所有内容之前在两个数据库中进行预选。当有大量数据要读取时，这将节省您的内存需求。

<强>3。将所有内容复制到一个分析数据库中

如果由于某种原因无法使用更多内存，那么理论上您可以先将所有数据复制到一个数据库中。我无法想象这在任何情况下都是一个可行的选择，除了只有几个感兴趣的表，以便将它们合并到一个新的联合数据库中是可行的。也许在数据集非常大且不变的情况下。

如果我在此列表中遗漏了一个选项，我很乐意知道您可能找到了哪些其他解决方案。

关于mysql - 如何在不授予 INSERT 权限的情况下在 dplyr 中创建 left_join(..., copy=TRUE)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30489695/

中创何在code的sectionmysqlrdplyr

有关mysql - 如何在不授予 INSERT 权限的情况下在 dplyr 中创建 left_join(..., copy=TRUE)的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  4. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  5. ruby - 默认情况下使选项为 false - 2

    这是在Ruby中设置默认值的常用方法:classQuietByDefaultdefinitialize(opts={})@verbose=opts[:verbose]endend这是一个容易落入的陷阱:classVerboseNoMatterWhatdefinitialize(opts={})@verbose=opts[:verbose]||trueendend正确的做法是:classVerboseByDefaultdefinitialize(opts={})@verbose=opts.include?(:verbose)?opts[:verbose]:trueendend编写Verb

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  8. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  9. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  10. ruby-on-rails - 如何在 ruby​​ 交互式 shell 中有多行？ - 2

    这可能是个愚蠢的问题。但是，我是一个新手......你怎么能在交互式ruby​​shell中有多行代码？好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗？再次抱歉，如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f

随机推荐