jjzjj

Connector

全部标签

mongodb - 如何在 elasticsearch 中为 mongo-connector 生成的索引创建映射

官方文档说,我们可以为每个索引创建一个string类型的映射,以MongoDB数据库和集合名称命名为animals.kitten。我尝试将映射创建为:$curl-XPUT'http://localhost:9200/animals.kitten/_mapping'-d'{"animals.kitten":{"properties":{"name":{"type":"string","store":true}}}}'但它抛出的错误是:{"error":"ActionRequestValidationException[ValidationFailed:1:mappingtypeismis

mongodb - Spark scala 使用 spark-mongo connector 进行 upsert

有什么方法可以根据数据框中的某个字段使用spark-mongo连接器更新MongoCollection吗? 最佳答案 要根据唯一键约束替换文档,请使用replaceDocument和shardKey选项。默认的shardKey是{_id:1}。https://docs.mongodb.com/spark-connector/master/configuration/df.write.format('com.mongodb.spark.sql')\.option('collection','target_collection')\.o

mongodb - 使用 Apache Spark 更新/替换 Mongo 文档

这是我们使用MongoSpark连接器处理Spark和MongoDB时的一个常见问题。此连接器旨在以批处理方式将文档插入/更新到MongoDB中。使用Spark可以通过三种方式插入/更新文档。RDD[文档]DataFrame[CaseClass]数据集[CaseClass]数据集和数据框都支持使用MangoSpark.save()方法插入/更新文档,而RDD[Document]仅支持插入。所以我们在使用MongoSpark更新RDD[Document]时遇到了问题。是否有使用Spark将RDD[Document]更新/替换为MongoDB的解决方案? 最佳答

java - Mongo Hadoop 连接器问题

我正在尝试运行MapReduce作业:我从Mongo中提取数据,然后写入HDFS,但我似乎无法运行该作业。我找不到示例,但我遇到的问题是,如果我设置Mongo的输入路径,它会丢失Mongo的输出路径。现在,当我的MongoDB实例没有身份验证时,我收到身份验证错误。finalConfigurationconf=getConf();finalJobjob=newJob(conf,"sort");MongoConfigconfig=newMongoConfig(conf);MongoConfigUtil.setInputFormat(getConf(),MongoInputFormat.c

node.js - npm install --save loopback-connector-mongodb 失败

我是node.js的新手,我想学习环回。我尝试按照本教程进行操作,第一部分进展顺利,直到我安装了环回连接器到mongodb。npminstall--saveloopback-connector-mongodb我遇到了错误,这似乎很难在网上找到,而且我对npm、node-gyp和mongodb的了解真的很差,所以我什至不知道哪里出了问题。谁能建议如何修复它?这是终端日志:npmWARNpackage.jsonloopback-getting-started@1.0.0Nolicensefield.->kerberos@0.0.14install/home/qw/Work/Nodejs-A

mongodb - 无法在身份验证模式下使用 Mongo 连接 Mongo-Spark Connector

我正在尝试通过Mongo-Spark连接器在远程计算机上使用MongoDB实例来运行spark-submit作业。当我启动mongod服务时,没有--auth标志,并像这样运行spark-submit命令:./bin/spark-submit--masterspark://10.0.3.155:7077\--conf"spark.mongodb.input.uri=mongodb://10.0.3.156/test.coll?readPreference=primaryPreferred"\--conf"spark.mongodb.output.uri=mongodb://10.0.3

mongodb - 如何使用 mongodb-spark 连接器将数据插入 mongodb 中的现有集合

我正在使用mongo-spark连接器连接spark和MongoDB。我无法将数据插入MongoDB,因为如果“表”(集合)存在,spark默认保存模式是错误的然后我试试这个。MongoSpark.write(centenarians).option("collection","hundredClub")*.option("mode","append")*.save();但这不是效果。我怎么解决这个问题请帮助我谢谢!这是错误信息:Exceptioninthread"main"java.lang.UnsupportedOperationException:MongoCollectiona

mongodb - mongo-connector 启动失败,出现以下错误 :

两天前设置运行良好。从那时起,我关闭了mongo连接器,mongo-db在后台运行。但是我没有在mongo上运行任何查询。现在我今天早上尝试启动mongo-connector但它启动失败。viki@viki-pc:~/Documents/elasticSearch$mongo-connector-mlocalhost:27017-tlocalhost:9200-d/usr/local/lib/python2.7/dist-packages/mongo_connector/doc_managers/elastic_doc_manager.py2014-12-0811:43:49,870-

mongodb - Loopback mongodb-connector principalId 存储为字符串

我将Loopback与mongodb连接器一起使用。当执行查询以查找分配给用户的所有角色时,响应不返回任何内容。//Findallusers$scope.displayUsers=[];$scope.loading=true;$scope.users=User.find({include:['roles']},function(){$scope.displayUsers.concat($scope.users);$scope.loading=false;});我已将其缩小到principalId作为字符串存储在Rolemapping模型中,而userId是ObjectId类型。当我在我

json - Apache Spark 和 MongoDB Hadoop-Connector 创建的 BSON 结构

我正在尝试使用MongoDBHadoop-Connector将一些JSON从Spark(Scala)保存到MongoDB。我遇到的问题是这个API似乎总是将您的数据保存为“{_id:...,value:{yourJSONdocument}}”。在下面的代码示例中,我的文档是这样保存的:{"_id":ObjectId("55e80cfea9fbee30aa703261"),"value":{"_id":"55e6c65da9fbee285f2f9175","year":2014,"month":5,"day":6,"hour":18,"user_id":246}}有什么方法可以说服Mon