jjzjj

mongodb - Kafka 接收器连接器 : No tasks assigned, 即使重启后

coder 2023-10-31 原文

我在一组 Docker 容器中使用 Confluent 3.2，其中一个正在运行 kafka-connect worker。

出于我尚不清楚的原因，我的四个连接器中的两个 - 具体来说，hpgraphsl 的 MongoDB sink connector - 停止工作。我能够确定主要问题:连接器没有分配任何任务，这可以通过调用 GET/connectors/{my_connector}/status 看出。其他两个连接器(相同类型)没有受到影响，并且可以愉快地产生输出。

我尝试了三种不同的方法通过 REST API 让我的连接器再次运行:

  • 暂停和恢复连接器
  • 重新启动连接器
  • 使用相同的配置以相同的名称删除和创建连接器

这些方法都行不通。我终于让我的连接器重新工作了:

  • 以不同的名称删除和创建连接器，例如 my_connector_v2 而不是 my_connector

这是怎么回事？为什么我无法重新启动现有连接器并让它开始实际任务？ kafka-connect worker 或 Kafka 代理上与 kafka-connect 相关的主题中是否有任何需要清理的陈旧数据？

我有filed an issue在特定连接器的 github repo 上，但我觉得这实际上可能是与 kafka-connect 的内在特性相关的一般错误。有什么想法吗？

最佳答案

我遇到过这个问题。如果启动 SinkTask 或 SourceTask 的资源较少，则可能会发生这种情况。

一段时间内分配给worker的内存可能会变少。默认情况下，worker 被分配了 250MB。请增加这个。下面是一个为分布式运行的worker分配2GB内存的例子。

KAFKA_HEAP_OPTS="-Xmx2G"sh $KAFKA_SERVICE_HOME/connect-distributed $KAFKA_CONFIG_HOME/connect-avro-distributed.properties

关于mongodb - Kafka 接收器连接器 : No tasks assigned, 即使重启后，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43254567/

assigned即使sectionconnectkafka-connectmongodbdockerapache-kafkaapache-kafka-connectconfluent-platform

有关mongodb - Kafka 接收器连接器 : No tasks assigned, 即使重启后的更多相关文章

  1. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  2. ruby-on-rails - RSpec:避免使用允许接收的任何实例 - 2

    我正在处理旧代码的一部分。beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)endRubocop错误如下:Avoidstubbingusing'allow_any_instance_of'我读到了RuboCop::RSpec:AnyInstance我试着像下面那样改变它。由此beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)end对此:let(:sport_

  3. ruby-on-rails - 如何使用 Rack 接收 JSON 对象 - 2

    我有一个非常简单的RubyRack服务器，例如:app=Proc.newdo|env|req=Rack::Request.new(env).paramspreq.inspect[200,{'Content-Type'=>'text/plain'},['Somebody']]endRack::Handler::Thin.run(app,:Port=>4001,:threaded=>true)每当我使用JSON对象向服务器发送POSTHTTP请求时:{"session":{"accountId":String,"callId":String,"from":Object,"headers":

  4. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

  5. 即使安装了 gem，Ruby 也找不到所需的库 - 2

    我花了几天时间尝试安装ruby​​1.9.2并让它与gems一起工作:-/我最终放弃了我的MacOSX10.6机器，下面是我的Ubuntu机器上的当前状态。任何建议将不胜感激!#rubytest.rb:29:in`require':nosuchfiletoload--mongo(LoadError)from:29:in`require'fromtest.rb:1:in`'#cattest.rbrequire'mongo'db=Mongo::Connection.new.db("mydb")#gemwhichmongo/usr/local/rvm/gems/ruby-1.9.2-p0/g

  6. ruby - 如何理解 Ruby 中的发送者和接收者？ - 2

    我很难理解Ruby中sender和receiver的实际含义。它们一般是什么意思？到目前为止，我只是将它们理解为方法调用和获取其返回值的调用。但是，我知道我的理解还远远不够。谁能给我一个Ruby中发送者和接收者的具体解释？ 最佳答案 面向对象中的一个核心概念是消息传递和早期概念化，这在很大程度上借鉴了计算的Actor模型。艾伦·凯(AlanKay)创造了面向对象一词并发明了最早的OO语言之一SmallTalk，他拥有voicedregretatusingatermwhichputthefocusonobjectsinsteadofo

  7. ruby-on-rails - 即使没有挂起的迁移，Rails 迁移也非常缓慢 - 2

    我的生产Rails应用程序需要167秒来运行rakedb:migrate。可悲的是，没有要运行的迁移。我试图在检查是否有待处理的迁移时调整运行的迁移，但随后检查花费了同样长的时间。我心目中唯一的“借口”是数据库并不小，那里有1M条记录，但我看不出这有什么关系。我查看了日志，但没有任何迹象表明出了什么问题。我在运行ruby2.2.0rails4.2.0有没有人知道为什么会这样，是否有什么办法可以解决？ 最佳答案 运行rakedb:migrate任务还会调用db:schema:dump任务，这将更新您的db/schema.rb。因此，即

  8. ruby - 接收 block 作为参数的模拟方法 - 2

    我有一个或多或少这样的场景classAdefinitialize(&block)b=B.new(&block)endend我正在对A类进行单元测试，我想知道B#new是否正在接收传递给A#new的block。我使用Mocha作为模拟框架。这可能吗？ 最佳答案 我用Mocha和RSpec都试过了，虽然我可以通过测试，但行为不正确。从我的实验中，我得出结论，验证block是否已通过是不可能的。问题:为什么要传递一个block作为参数？block将用于什么目的？什么时候调用？也许这确实是您应该用类似的东西测试的行为:classBlockP

  9. ruby 认为我在引用一个顶级常量，即使我指定了完整的命名空间 - 2

    在我的应用程序中我有classUserincludeUser::FooendUser::Foo定义在app/models/user/foo.rb现在我正在使用一个定义了自己的Foo类的库。我收到此错误:warning:toplevelconstantFooreferencedbyUser::FooUser仅引用具有完整路径的Foo，User::Foo，而Foo实际上从来没有指的是Foo。这是怎么回事？更新:才想起我之前遇到过同样的问题，在问题1中看到这里:HowdoIrefertoasubmodule's"fullpath"inruby? 最佳答案

  10. ruby-on-rails - Rspec raise_error 测试失败，即使该方法引发错误 - 2

    我的测试是这样的:它“在通过非订阅或试用成员(member)资格时确实返回错误”期望(helper.description_for_subscription(recurring_plan)).toraise_error(RuntimeError)结束我的方法返回这个:失败“未知订阅模型类型!”然而Rspec返回此失败消息:失败/错误:expect(helper.description_for_subscription(recurring_plan)).toraise_error(RuntimeError)运行时错误:未知的订阅模型类型!这是怎么回事？？ 最佳

随机推荐