在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过10W的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现3次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。对“千万量级数据中查询10W量级的数据”设计了如下方案：多线程+CK翻页方案ESscrollscan深翻页方案ES+Hbase组合方案RediSearch+RedisJSON组合方案初版设计方案整体方案设计为：先根据配置的筛选规则，从底池表中筛选出目标数据在根据配置的排序规则，对目标数据进行排序，得到结果数据技术方案如下：①每天运行导数任务，把现有的千万量级的底池数据（Hive表）导入到
