2. SolrCloud 2.1 SolrCloud 简介2.1.1 什么是 SolrCloud SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。 SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案, 它的主要思想是使用 Zookeeper 作为集群的配置信息中心。 它有几个特色功能: 1)集中式的配置信息 2)自动容错 3)近实时搜索 4)查询时自动负载均衡
2.1.2 SolrCloud系统架构
【1】物理结构 三个 Solr 实例( 每个实例包括两个 Core),组成一个 SolrCloud。 【2】逻辑结构 索引集合包括两个 Shard(shard1 和 shard2),shard1 和 shard2 分别由三个 Core 组成,其中一个 Leader 两个 Replication,Leader 是由 zookeeper 选举产生,zookeeper 控制每个 shard 上三个 Core 的索引数据一致,解决高可用问题。 用户发起索引请求分别从 shard1 和 shard2 上获取,解决高并发问题。 (1) Collection Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard(分片),它们使用相同的配置信息。 比如:针对商品信息搜索可以创建一个 collection。collection=shard1+shard2+....+shardX (2) Core每个 Core 是 Solr 中一个独立运行单位,提供 索引和搜索服务。一个 shard 需要由一个
Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。 (3) Master 或 Slave Master 是 master-slave 结构中的主结点(通常说主服务器),Slave 是 master-slave 结构中的从结点(通常说从服务器或备服务器)。同一个 Shard 下 master 和 slave 存储的数据是一致的,这是为了达到高可用目的。 (4) ShardCollection 的逻辑分片。每个 Shard 被化成一个或者多个 replication,通过选举确定哪个是 Leader。
2.2 搭建 SolrCloud 2.2.1 搭建要求
Zookeeper 作为集群的管理工具 1、集群管理:容错、负载均衡。 2、配置文件的集中管理
3、集群的入口 需要实现 zookeeper 高可用,需要搭建 zookeeper 集群。建议是奇数节点。需要三个 zookeeper 服务器。 搭建 solr 集群需要 7 台服务器(搭建伪分布式,建议虚拟机的内存 1G 以上): 需要三个 zookeeper 节点 需要四个 tomcat 节点。
2.2.2 准备工作环境准备
CentOS-6.5-i386-bin-DVD1.iso jdk-7u72-linux-i586.tar.gz apache-tomcat-7.0.47.tar.gz zookeeper-3.4.6.tar.gz solr-4.10.3.tgz
步骤: (1)搭建 Zookeeper 集群(我们在上一小节已经完成) (2)将已经部署完 solr 的 tomcat 的上传到 linux (3)在 linux 中创建文件夹 /usr/local/solr-cloud 创建 4 个 tomcat 实例 [root@localhost ~]# mkdir /usr/local/solr-cloud [root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-1 [root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-2 [root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-3 [root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-4
(4)将本地的 solrhome 上传到 linux (5)在 linux 中创建文件夹 /usr/local/solrhomes ,将 solrhome 复制 4 份 [root@localhost ~]# mkdir /usr/local/solrhomes [root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-1 [root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-2 [root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-3 [root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-4
(6)修改每个 solr 的 web.xml 文件, 关联 solrhome <env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
(7)修改每个 tomcat 的原运行端口 8085 8080 8009 ,分别为
------ 知识点小贴士 ------ 8005 端口是用来关闭 TOMCAT 服务的端口。 8080 端口,负责建立 HTTP 连接。在通过浏览器访问 Tomcat 服务器的 Web 应用时,使用的就是这个连接器。 8009 端口,负责和其他的 HTTP 服务器建立连接。在把 Tomcat 与其他 HTTP 服务器集成时,就需要用到这个连接器。 |