Doris集群部署

下载

网址：Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

请下载2.1稳定版本，3.0版本目前不向下兼容，并且不稳定

安装

参考网站：手动部署 - Apache Doris

Doris 高可用集群的部署 - hovin - 博客园

部署环境：CentOS 7

JDK 安装

官网推荐版本
在 2.1（含）版本之前，请使用 Java 8，推荐版本：openjdk-8u352-b08-linux-x64。
从 3.0（含）版本之后，请使用 Java 17，推荐版本：jdk-17.0.10_linux-x64_bin.tar.gz。

1. 下载安装包
   jdk-8u352-b08-linux-x64.tar.gz

2. 解压
   tar -xf jdk-8u352-b08-linux-x64.tar.gz -C /app

3. 配置环境变量
   输入指令 vi /etc/profile 打开配置文件
   点击 i键 进入编辑模式，在末尾追加

   JAVA_HOME=/usr/local/java/jdk1.8.0_221
   CLASSPATH=%JAVA_HOME%/lib:%JAVA_HOME%/jre/lib
   PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
   export PATH CLASSPATH JAVA_HOME

   然后 按Esc键退出编辑模式
   最后 :wq 保存编辑并退出（注意有“:”）

4. 使配置生效
   输入指令 source /etc/profile 即可

5. 验证是否配置成功
   输入指令 java -version ，出现如下图表示配置成功
   

Doris 集群部署

1. 下载并上传安装包
   apache-doris-2.1.7-bin-x64.tar.gz

2. 解压
   tar -zxvf apache-doris-2.1.7-bin-x64.tar.gz

3. 修改FE配置文件
   
   第一处：-Xmx16384m修改JVM大小，16g或更大
   第二处：JAVA_HOME配置Java路径
   第三处：meta_dir元数据的存放位置，可以根据官网配置（https://doris.apache.org/zh-CN/docs/install/cluster-deployment/standard-deployment#4-部署集群）
   或者直接指定地址
   第四处：priority_networks本机IP，使用ip address查看

4. 修改BE配置文件
   
   第一处：JAVA_HOME配置Java路径
   第二处：priority_networks本机IP，使用ip address查看
   第三处：storage_root_path直接指定一个路径

单节点搭建

挑选一台作为Master节点

1. 启动 FE，cd到fe目录下
   bin/start_fe.sh --daemon

2. 启动 BE，cd到be目录下
   bin/start_be.sh --daemon

3. 启动 Broker，cd到apache_hdfs_broker目录下
   Broker 是用于访问外部数据源（如 hdfs）的进程。通常，在每台机器上部署一个 broker 实例即可。
   bin/start_broker.sh --daemon

4. 安装MySQL客户端
   yum install -y mysql

5. MySQL 连接 FE ，并添加 BE 节点与 Broker 节点

   # root密码默认为空
   mysql -h 127.0.0.1 -P 9030 -uroot -p
   
   # 查看当前集群的FE节点
   > SHOW FRONTENDS;
   
   # 添加BE节点 ALTER SYSTEM ADD BACKEND "be_host:be_heartbeat_service_port";
   > ALTER SYSTEM ADD BACKEND "ip:9050";
   
   # 查看当前集群的BE节点
   > SHOW BACKENDS;
   
   # 添加Broker节点 ALTER SYSTEM ADD BROKER broker_name "host:port";
   > ALTER SYSTEM ADD BROKER my_broker "ip:8000";
   
   # 查看当前集群的Broker节点
   > SHOW BROKER;

6. web 管理

   # FE web,默认用户root,密码空
   http://ip:8030
   
   # BE web
   http://ip:8040/

集群搭建

1. 新节点启动 FE
   修改新节点配置文件中的IP，其他可以不做修改
   执行命令
   特别注意：一定要使用 --helper 参数，不然加入集群不成功

   # 首次启动，必需使用 --helper 参数，不然后续加入集群不成功
   # 注意修改 helper 节点的IP为第一台已经装好了的节点IP
   # cd到fe目录
   bin/start_fe.sh --helper ip:9010 --daemon
   
   #之后可以按以下方式启动
   bin/start_fe.sh --daemon

2. 在 Master 节点扩容 FE 节点

   # root密码默认为空
   mysql -h 127.0.0.1 -P 9030 -uroot -p
   
   # 扩容 FE 节点，可以将新节点添加为 follower
   > ALTER SYSTEM ADD FOLLOWER "ip:9010";
   
   # 或新节点添加为 observer
   > ALTER SYSTEM ADD OBSERVER "ip:9010";
   
   # 查看集群的 FE 节点
   > SHOW FRONTENDS;

3. 新节点启动 BE
   修改新节点配置文件中的IP，其他可以不做修改
   执行命令

   # cd到be目录
   bin/start_be.sh --daemon

4. 在 Master 节点中扩容 BE 节点

   # root密码默认为空
   mysql -h 127.0.0.1 -P 9030 -uroot -p
   
   # 扩容 BE 节点
   > ALTER SYSTEM ADD BACKEND "ip:9050";
   
   # 查看当前集群的BE节点
   > SHOW BACKENDS;

5. 新节点启动 Broker
   执行命令

   # cd到apache_hdfs_broker目录
   bin/start_broker.sh --daemon

6. 在 Master 节点中扩容 Broker 节点

   # root密码默认为空
   mysql -h 127.0.0.1 -P 9030 -uroot -p
   
   # 扩容 BE 节点
   > ALTER SYSTEM ADD BROKER MY_BROKER "ip:8000";
   > ALTER SYSTEM ADD BROKER MY_BROKER "ip:8000";
   
   # 查看当前集群的BROKER节点
   > SHOW BROKER;