一、安装Elasticsearch1、使用DockerDesktop搜索elasticsearch,选择需要的版本号后可以直接点击Pull拉取,也可再终端中输入命令:dockerpullelasticsearch:8.6.22、拉取下来后使用启动elasticsearch,这里选择使用命令启动注意:这里需要提前在本机中创建elasticsearch.yml文件,/Users/zgy/Downloads/Java/es/elasticsearch.yml是我本机的路径,需要替换成你们自己的elasticsearch.yml文件内容http:host:0.0.0.0xpack.security.e
ElasticsearchPinyin拼音分词器1.前言2.pinyin分词器的多音字的错误修改3.案例3.1创建Mapping3.2插入测试文档3.3测试拼音搜索3.4查看拼音分词后结果4.结语1.前言在开发企业项目时,根据拼音搜索是很常见的场景,比如:人员通讯录,不确定人名具体是哪个汉字,只知道读音,可以输入汉字+全拼音、汉字+拼音首字母、拼音首字母等股票名称,炒股的人都知道,股票太多,记住所有股票code是不可能的,所以常用拼音首字母查股票。Medcl大佬为我们提供了Pinyin分词器,可以让我们非常方便的使用拼音搜索文档。2.pinyin分词器的多音字的错误修改网上关于pinyin分词
文档规范化(normalization)文档规范化,提高召回率示例代码#normalizationGET_analyze{"text":"Mr.Maisanexcellentteacher","analyzer":"english"}字符过滤器(characterfilter)分词之前的预处理,过滤无用字符html标签过滤器官方参考地址HTMLstripcharacterfilter|ElasticsearchGuide[8.11]|Elastic示例代码GET/_analyze{ "tokenizer":"keyword", "char_filter":[ "html_strip"], "
目录一、Mapping映射1.es7删除类型2.es给字段设置字段类型,即映射(1)创建映射
一、什么是IK分词器所谓分词,即把一段中文或者别的划分成一个个的关键字,我们在搜索时会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配的操作,默认的中文分词器是将每一个字看成一个词,比如“我爱中国”会被分成“我”、“爱”、“中”、“国”,这显然是不符合要求的,所以我们需要安装中文分词器IK来解决这个问题!二、IK分词器的分词算法1、ik__smart最少切分2、ik_max_word最细粒度划分三、安装IK1、官网地址:GitHub-medcl/elasticsearch-analysis-ik:TheIKAnalysispluginintegratesLucen
目录搭建docker1.2安装yum工具 1.3更新阿里镜像源1.4下载docker1.5关闭防火墙1.6启动docker1.7查看docker版本1.8配置阿里云镜像1.8.1创建文件夹1.8.2在文件夹内新建一个daemon.json文件1.8.3重载文件1.9重启docker2安装MySQL3安装nacos3.1拉取nacos镜像并启动3.2启动nacos命令3.3命令敲完了,检查一下Nacos运行状态.4.安装redis集群及哨兵redis版本主从结构启动主redis启动1号从redis启动2号从redis查看主从信息inforeplication哨兵sentinel哨兵1号启动2号哨
需求做一个类似百度的全文搜索功能搜素关键字自动补全(suggest)分词全文搜索所用的技术如下:ElasticSearchKibana管理界面IKAnalysis分词器SpringBoot实现流程可以通过Canal对MySQLbinlog进行数据同步,或者flink或者SpringBoot直接往ES里添加数据当前以SpringBoot直接代码同步为例(小项目此方法简单)全文步骤启动项目时,通过Bean,对ESClient对象实例化(ElasticSearchConfig.java) 点击查看:JavaBean注册对象第一步:系统初始化,创建索引(EsIndexTest.createIndexT
情感分析(sentimentanalysis)是2018年公布的计算机科学技术名词。它可以根据文本内容判断出所代表的含义是积极的还是负面的,也可以用来分析文本中的意思是褒义还是贬义。一般应用场景就是能用来做电商的大量评论数据的分析,比如好评率或者差评率的统计等等。我们这里使用到的情感分析的模块是snownlp,为了提高情感分析的准确度选择加入了jieba模块的分词处理。由于以上的两个python模块都是非标准库,因此我们可以使用pip的方式进行安装。pipinstalljiebapipinstallsnownlpjieba是一个强大的中文分词处理库,能够满足大多数的中文分词处理,协助snown
安装elasticsearch、kibana、IK分词器、扩展IK词典后面还会安装kibana,这个会提供可视化界面方面学习。需要注意的是elasticsearch和kibana版本一定要一样!!!否则就像这样elasticsearch1、创建网络因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络:dockernetworkcreatees-net2、镜像安装pull安装因为镜像文件比较大,将近1个G所以下载会很慢,根据自己需求选择合适方式。如果觉得比较大,可以找一个现成的镜像包之后拖到虚拟机里面即可。dockerpullelasticsearch:7
系统:centos7elasticsearch:7.17.16安装目录:/usr/local云服务器的安全组:开放9200和5601的端口一、下载安装elasticsearch7.17.161、安装#进入安装目录cd/usr/local#下载elasticsearchwgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.16-linux-x86_64.tar.gz#解压tar-zxvfelasticsearch-7.17.16-linux-x86_64.tar.gz#配置环境变量vi/etc/pr