jjzjj

import-csv

全部标签

ruby - 快速处理大量 CSV 数据的最佳方式

我有大型CSV数据集(超过1000万行)需要处理。我有两个其他文件需要引用输出-它们包含的数据放大了我们对CSV文件中数百万行的了解。目标是输出一个新的CSV文件,其中每条记录都与来自其他文件的附加信息合并。假设大型CSV文件有交易,但客户信息和账单信息记录在另外两个文件中,我们想要输出一个新的CSV,其中每笔交易都链接到客户ID和账户ID等。一位同事有一个用Java编写的功能程序来执行此操作,但速度很慢。原因是数百万行的CSV文件显然要遍历很多很多次。我的问题是——是的,我已经开始了——我应该如何在Ruby中处理这个问题?目标是让它更快(现在18小时以上,CPU事件很少)我可以将这么

Ruby:无法解析在 OS X 中导出为 CSV 的 Excel 文件

我正在使用Ruby的CSV库来解析一些CSV。我有一个看似格式正确的CSV文件,它是通过将Excel文件导出为CSV创建的。但是CSV.open(filename,'r')会导致CSV::IllegalFormatError。文件中没有恶意逗号或引号,也没有我认为可能会导致问题的任何其他内容。我怀疑问题可能与行结尾有关。我能够解析通过文本编辑器(Aquamacs)手动输入的数据。就在我尝试使用从Excel(适用于OSX)导出的数据时出现问题。当我在vim中打开导出的CSV文件时,所有文本都显示在一行中,行与行之间出现^M。从文档来看,您似乎可以为open提供行分隔符;但是我不确定在这种

ruby - sass @import "compass/reset"错误

我想在我的静态HTML项目中使用带有Compass的Sass,但按照说明操作是行不通的。这就是我所做的:$geminstallcompass$cd$compassinstallcompass.正在等待:directory./sass/directory./stylesheets/create./sass/screen.scsscreate./sass/print.scsscreate./sass/ie.scsscreate./stylesheets/screen.csscreate./stylesheets/ie.csscreate./stylesheets/print.css但是当我

ruby - 引用 CSV 输出中的所有字段

@out=File.open("#{File.expand_path("CSV")}/#{file_name}.csv","w")CSV::Writer.generate(@out)do|csv|csv当我运行上面的代码时,它将CSV中的值存储为01、02.测试我希望它们存储为“01”、“02”、“测试” 最佳答案 改变CSV::Writer.generate(@out)do|csv|到CSV::Writer.generate(@out,{:force_quotes=>true})do|csv|

ruby - 你如何使用 Ruby CSV 转换器?

假设您有以下文件:textfield,datetimefield,numfieldfoo,2008-07-0117:50:55.004688,1bar,2008-07-0217:50:55.004688,2读取.csv的Ruby代码类似于:#!/usr/bin/envrubyrequire'csv'csv=CSV($stdin,:headers=>true,:converters=>:all)csv.eachdo|row|print"#{row}"the_date=row['datetimefield'].to_dateend该代码给出了这个错误信息:./foo2.rb:8:in`bl

ruby - 删除 CSV 文件中的空格

我有一个带有额外空格的字符串:First,Last,Email,MobilePhone,Company,Title,Street,City,State,Zip,Country,Birthday,Gender,ContactType我想解析这一行并删除空格。我的代码如下:namespace:dbdotask:populate_contacts_csv=>:environmentdorequire'csv'csv_text=File.read('file_upload_example.csv')csv=CSV.parse(csv_text,:headers=>true)csv.eachdo

ruby - Dir.glob 获取文件夹中的所有 csv 和 xls 文件

folder_to_analyze=ARGV.firstfolder_path=File.join(Dir.pwd,folder_to_analyze)unlessFile.directory?(folder_path)puts"Error:#{folder_path}noesunfoldervalido."exitenddefget_csv_file_paths(path)files=[]Dir.glob(path+'/**/*.csv').eachdo|f|files我正在尝试在Ruby中制作一个简单的脚本,允许我从命令行调用它,例如rubycounter.rbmailing_li

ruby - 使用 Capybara 下载 CSV

对于rspec测试,我需要下载CSV文件格式的报告并验证给定的信息。当点击一个按钮时,报告从网页生成。浏览器保存对话框打开,提供打开或保存选项。如何使用rspec和Capybara获取要保存到计算机的文件? 最佳答案 我一直在为此使用MiniTest::Spec并使用webkit-driver完成它,但它应该毫无问题地转换为RSpec,因为它基本上只是capybara的功能:scenario"downloadoverview"dowithin"aside#actions"doclick_link"Downloadoverview"e

ruby-on-rails - 如何在 Capybara 和 RSpec 中测试 CSV 文件下载?

Controller中的内容如下:respond_todo|format|format.csv{send_dataas_csv,type:'text/csv'}end在规范中:click_link'DownloadCSV'page.driver.browser.switch_to.alert.acceptexpect(page).tohave_contentcsv_data但这行不通:Failure/Error:page.driver.browser.switch_to.alert.acceptSelenium::WebDriver::Error::NoAlertPresentErro

ruby - CSV 到 JSON Ruby 脚本?

有谁知道如何编写将csv文件转换为json文件的Ruby脚本?CSV格式如下:Canon,DigitalIXUS70,"Epic,Epic100",3x,Yes(lockable),Yes(lockable),YesCanon,DigitalIXUS75,"Epic,Epic100",3x,Yes(lockable),Yes(lockable),YesCanon,DigitalIXUS80,"Epic,Epic100",3x,Yes(lockable),Yes(lockable),YesJSON需要产生这样的结果:{"aaData":[["Canon","DigitalIXUS70",