1.Solr7.1.0 安装部署(centos7)
Solr7.1.0为目前的最新版,安装环境需要jdk1.8 或者更高,容器我用的tomcat,也建议tomcat8.0或者更高
1.1、下载solr7.1.0与tomcat8,JDK没有安装的话,可以百度下
1 mkdir -p /usr/local/tools2 cd /usr/local/tools3 wget http://archive.apache.org/dist/lucene/solr/7.1.0/solr-7.1.0.zip4 wget http://mirrors.shuosc.org/apache/tomcat/tomcat-8/v8.5.24/bin/apache-tomcat-8.5.24.tar.gz
1.2、新建目录存放solr与tomcat
1 mkdir -p /usr/local/tools/2 cd /usr/local/tools/
解压第一步中下载的源文件
1 tar -zxvf /usr/local/tools/apache-tomcat-8.5.24.tar.gz 2 mv /usr/local/tools/apache-tomcat-8.5.24 tomcat3 unzip -oq solr-7.1.0.zip -d /usr/local/tools/
新建solr配置存放目录:
mkdir solr_home
完成之后如下图:
1.3、将运行solr7所需的文件以及jar复制到tomcat中
cd /usr/local/tools/tomcat/webapps/
可以选择将不需要项目的都删掉
rm -rf * mkdir solr cd solr
接下来复制solr运行需要的文件
cp -r /usr/local/tools/solr7.1.0/server/solr-webapp/webapp/* /usr/local/tools/tomcat/webapps/solrcp -r /usr/local/tools/solr7.1.0/server/lib/ext/* /usr/local/tools/tomcat/wenapps/solr/WEB-INF/lib/ cp -r /usr/local/tools/solr7.1.0/server/lib/metrics*.* /usr/local/tools/tomcat/webapps/solr/WEB-INF/lib/ cp -r /usr/local/tools/solr7.1.0/dist/solr-dataimporthandler-* /usr/local/tools/tomcat/webapps/solr/WEB-INF/lib/
日志配置:
mkdir -p /usr/local/tools/tomcat/webapps/solr/WEB-INF/classes cp /usr/local/tools/solr7.1.0/server/resources/log4j.properties /usr/local/tools/tomcat/webapps/solr/WEB-INF/classes/
指定solr的配置目录,修改两点,放开env-entry,注释掉security-constraint
vim WEB-INF/web.xml,修改后的如下:接下来配置solr运行的配置
cd /usr/local/tools/solr_home/ cp -r /usr/local/tools/solr7.1.0/server/solr/* .cp -r /usr/local/tools/solr7.1.0/contrib/ .cp -r /usr/local/tools/solr7.1.0/dist/ .
1.4、修改tomcat端口,并启动,这块不多说,启动之后在浏览器输入:,可看到管理页面,如下:
1.5、新建Core,solr存放的字段和索引都需要自定义,这里core就是存放这些自定义东西的地方。网上有些说要在管理界面add,其实不用,直接在手动配置就行。
1 cd /usr/local/tools/solr_home/ 2 mkdir -p spc_core/conf/ 3 cd spc_core/conf/ 4 cp -r /usr/local/tools/solr7.1.0/server/solr/configsets/_default/conf/* .
修改jar的相对目录:
vim solrconfig.xml
返回上一级:cd ..
新建data目录,mkdir data
新建core.properties文件:
vim core.properties
内容如下:
name=spc_core config=conf/solrconfig.xml schema=conf/schema.xml dataDir=data
1.6、重启tomcat,再访问首页,就可以选择我们新建的core了,后面再建core,可以直接复制这一份改改。
1.7、添加中文分词器,我用的IK,以此为例
下载IK分词器包。
链接:https://pan.baidu.com/s/1kWWJ7mv 密码:j8i4下载解压之后,两个jar包复制到WEB_INF/lib/目录修改/opt/solr7/solr_home/spc_core/conf目录下的managed-schema
vim managed-schema,自定义IK的fieldType,再将需要分词的field指定IK分词器重启tomcat,我们来对比下IK分词器与默认text分词器之间的区别
默认分词器: IK分词器: 可以看到,IK分词还挺准的,默认分词器完全不能区分中文~~1.8.通过配置文件,添加数据导入(DataImport)插件,从数据库导入数据
1.8.1.创建一个数据库,使用课前提供的items.sql导入数据
表明:items,有三个字段:it、title、price
1.8.2.打开配置文件:core1/conf/solrconfig.xml ,添加导入数据的插件
A:添加插件依赖的jar:
注意,相对路径需要跟你的dist所在位置一致!
B:配置导入数据处理请求Handler,并且指定该Handler的配置文件名称
db-data-config.xml
1.8.3.在core1/conf/下创建新的配置文件:db-data-config.xml,配置数据库信息
1 23 9 10 1211
1.8.4.打开配置文件:core1/conf/schemal.xml,添加字段信息
1.8.5.在tomcat的solr服务中添加mysql依赖
1.8.6.重启tomcat,进入Solr管理页面,到core1中的DataImport界面中:
2、SolrJ的使用
2.1、概述
SolrJ是Apache官方提供的一套Java开发的,访问Solr服务的API,通过这套API可以让我们的程序与Solr服务产生交互,让我们的程序可以实现对Solr索引库的增删改查!
SolrJ的官方wiki地址:
2.2、使用SolrJ添加或修改索引库数据
2.2.1、添加依赖
2.2.2、以Document形式添加或修改数据
1 /* 2 * 演示:SolrJ创建和修改索引 3 */ 4 @Test 5 public void testWrite() throws Exception{ 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 9 // 创建要添加的文档信息10 SolrInputDocument doc = new SolrInputDocument();11 // 添加字段12 doc.addField("id", 15L);13 doc.addField("title", "8848钛金手机,高端大气上档次");14 doc.addField("price", 199900);15 16 // 把文档添加到服务器17 server.add(doc);18 // 提交19 server.commit();20 }
2.2.3、使用注解和JavaBean添加或修改数据
2.2.3.1.给实体类添加注解
2.2.3.2.创建或修改索引
1 /* 2 * 演示:SolrJ以JavaBean的形式创建和修改索引 3 */ 4 @Test 5 public void testWrite2() throws Exception{ 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 9 // 创建商品对象10 Item item = new Item();11 item.setId(16);12 item.setTitle("Duang手机,加了特效,你值的拥有");13 item.setPrice(88900);14 15 // 把对象添加到服务16 server.addBean(item);17 // 提交18 server.commit();19 }
2.3、使用SolrJ删除索引库数据
1 /* 2 * 演示:SolrJ删除索引 3 */ 4 @Test 5 public void testDelete() throws Exception{ 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 9 // 根据ID删除索引 10 // server.deleteById("16");11 12 // 根据查询语句删除,如果这里传的是*:*,那么会删除所有13 server.deleteByQuery("*:*");14 15 // 提交16 server.commit();17 }
2.4、使用SolrJ查询索引库数据
2.4.1、以Document形式返回查询结果
1 /* 2 * 演示:SolrJ查询索引,返回Document格式的结果 3 */ 4 @Test 5 public void testQuery() throws Exception { 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 // 创建查询对象 9 SolrQuery query = new SolrQuery("title:华为");10 // 执行查询,获取响应11 QueryResponse response = server.query(query);12 // 获取结果的文档集合13 SolrDocumentList list = response.getResults();14 System.out.println("本次共搜索到" + list.size() + "条数据");15 for (SolrDocument document : list) {16 // 取出结果17 System.out.println("id: " + document.getFieldValue("id"));18 System.out.println("title: " + document.getFieldValue("title"));19 System.out.println("price: " + document.getFieldValue("price"));20 }21 }
2.4.2、以JavaBean形式返回查询结果
1 /* 2 * 演示:SolrJ查询索引,返回JavaBean格式的结果 3 */ 4 @Test 5 public void testQuery2() throws Exception { 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 // 创建查询对象 9 SolrQuery query = new SolrQuery("title:华为");10 // 执行查询,获取响应11 QueryResponse response = server.query(query);12 // 解析响应,获取JavaBean集合13 List- items = response.getBeans(Item.class);14 System.out.println("共搜索到" + items.size() + "条数据");15 for (Item item : items) {16 System.out.println("id: " + item.getId());17 System.out.println("title: " + item.getTitle());18 System.out.println("price: " + item.getPrice());19 }20 }
2.4.3、SolrQuery对象的高级查询设置
在创建SolrQuery时,我们填写的Query语句,可以有以下高级写法:
1、匹配所有文档:*:*
2、布尔操作:AND、OR和NOT布尔操作(推荐使用大写,区分普通字段)
3、子表达式查询(子查询):可以使用“()”构造子查询。 比如:(query1 AND query2) OR (query3 AND query4)
4、相似度查询:
(1)默认相似度查询:title:appla~ ,此时编辑举例是2 (2)指定编辑举例的相似度查询:对模糊查询可以设置编辑举例,可选0~2的整数。5、范围查询(Range Query):Lucene支持对数字、日期甚至文本的范围查询。结束的范围可以使用“*”通配符。
(1)日期范围(ISO-8601 时间GMT):a_begin_date:[1990-01-01T00:00:00.000Z TO 1999-12-31T24:59:99.999Z] (2)数字:salary:[2000 TO *](3)文本:entryNm:[a TO a]
6、日期匹配:YEAR, MONTH, DAY, DATE (synonymous with DAY) HOUR, MINUTE, SECOND, MILLISECOND, and MILLI (synonymous with MILLISECOND)可以被标志成日期。
(1)r_event_date:[* TO NOW-2YEAR]:2年前的现在这个时间 (2)r_event_date:[* TO NOW/DAY-2YEAR]:2年前前一天的这个时间2.4.3.1、布尔查询
2.4.3.2、相似度查询
2.4.3.3、数值范围查询
2.4.4、SolrQuery实现排序
1 /* 2 * 演示:SolrJ查询索引。并且进行排序 3 */ 4 @Test 5 public void testSortQuery() throws Exception { 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 // 创建查询对象 9 SolrQuery query = new SolrQuery("title:华为");10 // 所有的高级的查询参数和功能,都是通过SolrQuery对象来进行的11 12 // 排序13 query.setSort("price", ORDER.desc);14 15 // 执行查询,获取响应16 QueryResponse response = server.query(query);17 // 解析响应,获取JavaBean集合18 List- items = response.getBeans(Item.class);19 System.out.println("共搜索到" + items.size() + "条数据");20 for (Item item : items) {21 System.out.println("id: " + item.getId());22 System.out.println("title: " + item.getTitle());23 System.out.println("price: " + item.getPrice());24 }25 }
2.4.5、SolrQuery实现分页
1 /* 2 * 演示:SolrJ查询索引。并且进行分页 3 */ 4 @Test 5 public void testSortQuery() throws Exception { 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 // 创建查询对象 9 SolrQuery query = new SolrQuery("*:*");10 11 // 分页参数:12 int pageSize = 5;// 每页条数13 int pageNum = 3;// 当前页14 int start = (pageNum - 1) * pageSize;15 query.setStart(start);// 设置起始编号16 query.setRows(pageSize);// 设置每页条数17 18 // 执行查询,获取响应19 QueryResponse response = server.query(query);20 // 解析响应,获取JavaBean集合21 List- items = response.getBeans(Item.class);22 System.out.println("共搜索到" + items.size() + "条数据");23 for (Item item : items) {24 System.out.println("id: " + item.getId());25 System.out.println("title: " + item.getTitle());26 System.out.println("price: " + item.getPrice());27 }28 }
2.4.6、SolrQuery实现高亮显示
1 /* 2 * 演示:SolrJ查询索引。并且进行高亮显示 3 */ 4 @Test 5 public void testHighlighterQuery() throws Exception { 6 // 连接Solr服务器,注意:路径中一定不要有# 7 HttpSolrServer server = new HttpSolrServer("http://localhost:8080/solr/core2"); 8 // 创建查询对象 9 SolrQuery query = new SolrQuery("title:手机");10 // 设置查询条数11 query.setRows(20);12 // 开启高亮显示13 query.setHighlight(true);14 query.setHighlightSimplePre("");// 设置前置标签15 query.setHighlightSimplePost("");// 设置后置标签16 query.addHighlightField("title");// 设置高亮的字段17 18 // 执行查询,获取响应19 QueryResponse response = server.query(query);20 // 解析响应,获取高亮数据21 // 这里返回的结果有两层Map,外层的Map,键是一个文档的ID,值是所有其它高亮字段的信息,又是一个Map22 // 内层Map:键是某个高亮字段的名称,值就是这个字段的值,只不过这个值放到一个List中。23 Map>> highlighting = response.getHighlighting();24 // 获取非高亮结果25 List - items = response.getBeans(Item.class);26 for (Item item : items) {27 System.out.println("id:" + item.getId());28 // 根据ID获取当前商品的所有高亮字段的Map集合,然后从集合中获取高亮字段的值,然后获取其中第1个29 System.out.println(highlighting.get(item.getId()+"").get("title").get(0));30 System.out.println("price:" + item.getPrice());31 }32 // // 先获取所有的键,其实就是所有文档的ID集合33 // Set
ids = highlighting.keySet();34 // // 遍历取出每一个ID35 // for (String id : ids) {36 // System.out.println("id: " + id);37 // // 根据ID取出这个文档的其它字段形成的Map集合38 // Map > fields = highlighting.get(id);39 // // 从字段Map集合中,取出对应的字段,得到的是一个List,而我们只要List的第1条数据40 // System.out.println("title: " + fields.get("title").get(0));41 // }42 }