在国内，测试就是“低人一等”产品和开发，往往视测试为“保障部门”举几个例子：1、开发交付产品给测试，说的是：点点看，看下有没有问题。产品过来补刀：时间比较紧，半天时间够了吧？2、多轮迭代之后，用例库存下了巨量的测试用例。老板希望每次上线，你都来一遍回归测试，你质疑能否发现新的缺陷，可你又说不出所以然来；3、产品上线了，运行过程中出现一个生产问题，最后反馈到你这里，你恍然大悟：艹（一种植物），为什么如此简单，当初却没有想到？不得不承认，很多测试工程师，太水或者说，大部分的“点工”，都不能称之为“软件测试工程师”回想一下，培训机构的宣传是不是写到“测试很好入门，上手很快”、“做测试不用写代码”、“
2022年6月，顶象防御云业务安全情报中心监测到，某NFT平台促销活动中同时遭遇“刷量”和“薅羊毛”双重业务欺诈。基于编号为BSI-2022-140和BSI-2022-143的两份业务安全情报显示：黑灰产首先为不符合标准的NFT平台用户做刷榜刷量推广，帮助其快速获得平台奖励。然后利用刷量的账号，哄抢NFT平台发行的数字藏品，再通过社群论坛低价转售。由此给该NFT平台造成数千万元的经济损失。NFT是什么？有什么价值？NFT的全称是Non-FungibleTokens，常翻译为“非同质化通证”。最早诞生于2017年区块链游戏“加密猫”，本质上是基于数字货币的智能合约。作为区块链的一个条目，在区款链
2022年6月，顶象防御云业务安全情报中心监测到，某NFT平台促销活动中同时遭遇“刷量”和“薅羊毛”双重业务欺诈。基于编号为BSI-2022-140和BSI-2022-143的两份业务安全情报显示：黑灰产首先为不符合标准的NFT平台用户做刷榜刷量推广，帮助其快速获得平台奖励。然后利用刷量的账号，哄抢NFT平台发行的数字藏品，再通过社群论坛低价转售。由此给该NFT平台造成数千万元的经济损失。NFT是什么？有什么价值？NFT的全称是Non-FungibleTokens，常翻译为“非同质化通证”。最早诞生于2017年区块链游戏“加密猫”，本质上是基于数字货币的智能合约。作为区块链的一个条目，在区款链
这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型，还是一个分布式计算框架。MapReduce作为一种编程模型功能强大，使用简单。运算内容不只是常见的数据运算，几乎大数据中常见的计算需求都可以通过它来实现。使用的时候仅仅需要通过实现Map和Reduce接口的方式来完成计算逻辑，其中Map的输入是一对，经过计算后输出一对；然后将相同Key合并，形成集合；再将这个集合输入Reduce。下面，就以WordCount为例，熟悉一下MapReduce：WordCount是为了统计文本中不用词汇出现的次数。如果统计一篇文本的内容，只需要写一个程序将文
这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型，还是一个分布式计算框架。MapReduce作为一种编程模型功能强大，使用简单。运算内容不只是常见的数据运算，几乎大数据中常见的计算需求都可以通过它来实现。使用的时候仅仅需要通过实现Map和Reduce接口的方式来完成计算逻辑，其中Map的输入是一对，经过计算后输出一对；然后将相同Key合并，形成集合；再将这个集合输入Reduce。下面，就以WordCount为例，熟悉一下MapReduce：WordCount是为了统计文本中不用词汇出现的次数。如果统计一篇文本的内容，只需要写一个程序将文
前言在正式落地谈技术之前，先花一些篇幅说说大数据技术的发展史。我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我，我可以专门解读一下）。一、从搜索引擎开始搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，在这个过程中，有大量的数据需要存储和计算。当时的大数据其实就是用来解决这个问题的，一个文件系统、一个计算框架、一个数据库系统。在2004年那会儿，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。因为那个时
前言在正式落地谈技术之前，先花一些篇幅说说大数据技术的发展史。我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我，我可以专门解读一下）。一、从搜索引擎开始搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，在这个过程中，有大量的数据需要存储和计算。当时的大数据其实就是用来解决这个问题的，一个文件系统、一个计算框架、一个数据库系统。在2004年那会儿，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。因为那个时
Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。为什么HDFS的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS作为最早的大数据存储系统，存储着宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持HDFS才能获取已经存储在里面的数据。所以大数据技术
Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。为什么HDFS的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS作为最早的大数据存储系统，存储着宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持HDFS才能获取已经存储在里面的数据。所以大数据技术
作为一名数据产品经理，即使我们不写程序，也需要知道正在运行的大数据系统中，是如何一步步的实现可视化展示的。不仅能指导在新产品规划中提前基于典型业务场景、异常业务分析（如核心客户流失对年度营业收入的影响分析、某次线下活动过后出现一批从未出现过的新线索）、客户最为关心的经营指标波动等等的产品功能设计，也能在需求汇报或原型讲解时，以事实案例为依据、数据为支撑来提升可行性和上线后的成功概率。甚至在产品投入正常后，能通过excel、Tableau等可视化工具查看超出指标阈值的业务，并进行初步的数据探测，领先于滞后的财务指标洞察问题，提供解决方案，指导产品迭代和业务提升。以下是产品经理眼中的数据仓库架构图
