在美赛的时候，用了一下这个模型，发一下。
Word2Vec是一种用于将文本转换为向量表示的技术。它是Google在2013年开发的一种工具，主要用于将单词转换为向量表示，并在向量空间中找到单词之间的语义关系。Word2Vec模型有两种架构：连续词袋模型（Continuous Bag-of-Words，简称CBOW）和跳跃式模型（Skip-Gram）。
在CBOW模型中，模型试图从上下文中推断出当前单词，而在Skip-Gram模型中，模型试图从当前单词中推断出上下文单词。Word2Vec的目标是学习到一个向量空间，使得在这个向量空间中，语义上相似的单词在空间上也比较接近。具体地说，Word2Vec将单词表示为高维向量，这些向量被设计为捕捉到单词在上下文中出现的概率分布。这些向量被训练出来后，可以用于各种自然语言处理任务，如文本分类、语言翻译和情感分析等。
在一般情况下，Skip-gram算法对于训练较小的语料库或者低频单词表现较好，而CBOW算法对于训练较大的语料库或者高频单词表现较好。
话不多说，直接上代码。
import pandas as pd
from gensim.models import Word2Vec
# 读入数据
# 读取训练文本
with open('output.txt', 'r', encoding='utf-8') as f:
sentences = [line.strip().split() for line in f]
# 训练Word2Vec模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4, sg=1)
model.save('word2vec.model')
# 读取另一个文件，提取单词的特征向量并保存到vector.csv
df = pd.read_csv('word.csv',encoding="gbk")
word_list = df['Word'].tolist()
vectors = []
for word in word_list:
if word in model.wv:
vectors.append(model.wv[word])
else:
vectors.append([0] * 100) # 如果单词不在词汇表中，填充为0向量
vectors_df = pd.DataFrame(vectors)
vectors_df.to_csv('2.csv', index=False, header=None)然后我解释一下每一步都是干什么的。
with open('output.txt', 'r', encoding='utf-8') as f:
sentences = [line.strip().split() for line in f]
打开名为 "output.txt" 的文件并读取其中的文本，将其转化为一个嵌套列表的形式，每个列表表示文本中的一句话，每个句子中的单词被拆分成单独的元素。
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4, sg=1)
model.save('word2vec.model')
使用 Word2Vec 对句子进行训练。其中，vector_size 表示特征向量的维度，window 表示在每个单词周围的最大距离，min_count 表示单词的最小出现次数，workers 表示并行训练的线程数，sg 表示使用的算法类型（sg=1表示使用Skip-gram算法进行训练，而sg=0表示使用CBOW算法进行训练）。最后将训练好的模型保存在名为 "word2vec.model" 的文件中。
df = pd.read_csv('word.csv', encoding="gbk")
word_list = df['Word'].tolist()
使用 pandas 库读取名为 "word.csv" 的文件，提取其中 "Word" 列的数据，将其转化为列表形式。这个数据就是我们需要提取特征向量的数据
vectors = []
for word in word_list:
if word in model.wv:
vectors.append(model.wv[word])
else:
vectors.append([0] * 100)
对于列表中的每个单词，判断其是否在训练好的 Word2Vec 模型中。如果存在，则提取其特征向量并添加到 vectors 列表中；否则将其向量设为全为 0 的向量。
问题就在这，你要是训练用的文本不够多，没有你要提取向量的单词，你结果就是0.
vectors_df = pd.DataFrame(vectors)
vectors_df.to_csv('WordVector.csv', index=False, header=None)将 vectors 列表转化为 pandas 数据帧格式，并将其保存为名为 "WordVector.csv" 的文件
output.txt就是模型的训练数据，本来Google已经提供了训练数据了但我一直下载不成功。Google那个数据更大，应该要训练挺长时间的。
数据网址：https://code.google.com/archive/p/word2vec/
如果下载成功了那个，就可以把训练模型的代码改一下。（路径写对就行）
# 加载预训练模型
model_path = 'path/to/GoogleNews-vectors-negative300.bin.gz'
model = KeyedVectors.load_word2vec_format(model_path, binary=True)
然后看数据
Word.csv长这样
结果提取的向量长这样，每一行对应一个单词的特征向量 ，一共100列就是100维的特征向量。
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我正在尝试设置一个puppet节点，但rubygems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由rubygems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索，但这不是我需要的。我也看过ruby-doc.org，但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗？更新我用methods()方法做了实验，得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer
我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah