Datafocus系列产品安装部署工具

Datafocus系列产品安装部署工具支持安装部署Datafocus系列产品(Datafocus和Dataspring)。

0 系统要求

注意

• 安装的系统必须是全新安装的干净 OracleLinux7.x  /CentOS7.x/RedHat7.x/Ubuntu20.04 live server
  /KylinV10SP3 的操作系统(操作系统类型和版本号必须符合要求，不然无法安装)，不要在上面安装其他的软件或者服务，以免安装datafocus系列产品的时候产生冲突。
• 集群标准规格是4台，可以根据自身的待分析的数据量大小线性扩展节点的数量。
• 机器需要支持sse4_2和popcnt指令集，不然有些服务无法正常启动
• 需要确认安装服务器的网络环境是否跟：10.244.0.0/16，10.96.0.0/12，172.17.0.1/16这些地址范围有冲突，有冲突的话需要配置安装环境变量使用其他的IP地址范围
• 默认8vCPU 32G内存算一个标准节点规格，在实际安装的时候可以使用性能较强的服务器比如16vCPU 64G内存的机器，实际授权的时候是按标准节点规格授权的，所以16vCPU 64G内存的机器算是两个节点，依次类推。

1 Datafocus安装器下载使用

如果已经下载过安装器(installer)可以跳过该步骤 下载使用流程如下：

1. Datafocus会提供一个安装器下载地址:https://www.datafocus.ai/fadm/installer/download?serverCode=xxx

   用户拿到下载地址之后到待安装Datafocus的服务器（主节点）上去下载安装器并解压，操作流程如下（installer操作需要root权限，这里需要切到root用户执行）：

   # >> 1. 使用curl命令下载该安装器并保存为installer.tar
   root@master-192-168-0-40:~# curl https://www.datafocus.ai/fadm/installer/download?serverCode=xxx -o installer.tar
     % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                    Dload  Upload   Total   Spent    Left  Speed
   100 8206k    0 8206k    0     0  1420k      0 --:--:--  0:00:05 --:--:-- 1665k
   
   # >> 2. 使用tar xvf installer.tar命令解压
   root@master-192-168-0-40:~# tar xvf installer.tar 
   installer/commitLog
   installer/installer
   installer/script/base/const.sh
   installer/script/base/logger.sh
   installer/script/base/util.sh
   installer/script/i18n/lang-en.sh
   installer/script/i18n/lang-zh.sh
   installer/script/tools/centos7/config.sh
   installer/script/tools/init-ssh-user.sh
   installer/script/tools/installer.sh
   installer/script/tools/ubuntu20/config.sh
   installer/script/Install-guide.md
   installer/config.json
   
   # >> 3. 进入安装器目录并把安装器权限更改为可执行
   
   root@master-192-168-0-40:~# cd installer/ && chmod +x installer
   root@master-192-168-0-40:~/installer# ll
   total 8124
   drwxr-xr-x 3 root root      73 May 21 07:49 ./
   drwx------ 7 root root     178 May 21 07:49 ../
   -rw-r--r-- 1 root root      70 May 21 07:41 commitLog
   -rw-r--r-- 1 root root     155 May 21 07:41 config.json
   -rwxr-xr-x 1 root root 8307420 May 21 07:41 installer*
   drwxr-xr-x 5 root root      67 May 21 07:49 script/

2. 在installer目录中执行./installer进入引导菜单：

   root@master-192-168-0-40:~/installer# ./installer
   You are calling datafocus installer, Please select one operation.
       1) User initialization.
       2) Installation guide.
       0) Exit.
   Please input your choice:[0~2]:
   

   • User initialization: 用户初始化，用来在各个节点上去初始化安装用户

   • Installation guide: 安装引导，引导用户进行安装、升级、备份、恢复、扩容、卸载等操作

   注意：首次安装的话需要用户初始化操作(User initialization)在各个节点上都执行一遍，并且设置的各个节点的安装用户名和密码都一样。执行完之后才能在主节点上执行安装引导。（可以把installer.tar拷贝到各个节点上去分别执行用户初始化操作）

   用户初始化操作执行流程大致如下（注意执行该脚本需要root权限的用户执行）：

2 产品安装

Datafocus产品安装流程大致如下，运行安装器installer，进入引导流程。

完全离线安装(可在线安装情况下，不用参考这些步骤，直接进入2.1 用户初始化：

1. 需要从Datafocus厂商获取对应操作系统版本的离线安装包，比如：CentOS7_datafocus_6.x.x_datafocus-v6.x.x.tar.gz

2. 把CentOS7_datafocus_6.x.x_datafocus-v6.x.x.tar.gz上传到需要安装产品的服务器主节点，然后解压压缩包：

   tar -xvf CentOS7_datafocus_6.x.x_datafocus-v6.x.x.tar.gz
   

3. 进入解压之后的目录，执行用户初始化，执行init-ssh-user.sh脚本之后弹出2.1 用户初始化的菜单，按照2.1的步骤操作即可：

   cd CentOS7_datafocus_6.x.x_datafocus-v6.x.x
   bash ./deploy/script/tools/init-ssh-user.sh
   

4. 多节点的情况下，把CentOS7_datafocus_6.x.x_datafocus-v6.x.x目录下的deploy目录压缩一下，然后拷贝到其他节点上去执行./deploy/script/tools/init-ssh-user.sh按2.1的步骤初始化用户即可：

   tar -czf deploy.tar.gz ./deploy
   scp deploy.tar.gz root@192.168.0.100:/root/
   

5. 用户初始完毕之后在CentOS7_datafocus_6.x.x_datafocus-v6.x.x执行install-guide.sh启动安装引导脚本，按照2.2 产品安装的步骤执行即可

   bash install-guide.sh
   

6. 安装完毕之后按照：2.3 设备UUID获取设备的UUID提交Datafocus厂商获取授权文件和初始化配置文件，然后把授权文件和初始化配置文件上传到主节点，启动安装引导脚本bash install-guide.sh，执行：3) 激活License 和4) 初始化配置即可。

   Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User   initialization去初始化安装用户
   
   操作列表：
   
     1) 安装
     2) 获取设备UUID
     3) 激活License <-- 执行这个激活离线授权文件
     4) 初始化配置 <-- 执行这个初始化配置
     5) 备份
     6) 升级
     7) 恢复
     8) 扩容
     9) 卸载
     0) 退出
   

2.1 用户初始化

2.1 用户初始化

首次安装需要在各个节点执行用户初始操作，相关流程如下： 选择：1）User initialization进入用户初始化流程

• 在选择菜单中直接回车默认选择中文语言(如果使用英文输入2并回车)

  You are calling datafocus tools script, Please select one language.
  
  1) Simplified Chinese - 简体中文(default).
  2) English - English
  0) exit        Exit the shell.
  
  Please input your language number[0-2], default is 1:     
  

• 下一步设置安装部署的用户名，默认为datafocus，这里可以直接回车设置为datafocus，输入y确认使用datafocus作为安装用户

  Use default language number 1.
  请输入主机上用于SSH登录的用户名和密码信息（请确保在集群的每个主机上的该用户名和密码都是一样的）
  请输入主机待创建的用户名(默认为datafocus):  
  请确认已输入的用户名[datafocus] (Y/N)?: y   
  

• 然后设置datafocus用户的密码，需要输入2次确认（密码有复杂度要求：需要包括大小写字母，数字，特殊字符，长度大于16位），然后输入y确认使用输入的密码

  Use default language number 1.
  请输入主机上用于SSH登录的用户名和密码信息（请确保在集群的每个主机上的该用户名和密码都是一样的）
  请输入主机待创建的用户名(默认为datafocus):
  请确认已输入的用户名[datafocus] (Y/N)?: y
  请输入用户的密码(以回车结束):
  
  请再一次输入用户的密码(以回车结束):
  
  确定使用已经输入的密码 (Y/N)?: y
  

• 最终脚本输出的信息如下，代表创建用户成功。

  uid=9898(datafocus) gid=9898(datafocus) groups=9898(datafocus)
  2024-05-21 09:32:47 [info] [function:fn_init_ssh_user line:70] datafocus has already exist, delete it.useradd: warning: the home directory /home/datafocus already exists.
  useradd: Not copying any file from skel directory into it.
  2024-05-21 09:32:47 [info] [function:fn_init_ssh_user line:78] create user:datafocus
  2024-05-21 09:32:47 [info] [function:fn_init_ssh_user line:95] set sudoers for user:datafocus
  2024-05-21 09:32:47 [info] [function:fn_init_ssh_user line:97] Initialize install user:datafocus successfully.
  

2.2 产品安装

执行完初始化好所有节点上的datafocus安装用户之后，再在主节点的重新执行./installer，然后选择：2）Installation guide.进入安装引导流程，这里会自动下载对应系统的最新安装包。

• 自动下载安装包

  root@master-192-168-0-40:~/installer# ./installer
  You are calling datafocus installer, Please select one operation.
    1) User initialization.
    2) Installation guide.
    0) Exit.
  Please input your choice:[0~2]:
  2
  2024-05-21 09:46:50 [info]: Need to download datafocus version:6.1.0
  Downloading...
  [####----------------------------------------------] 8%
  

• 首先要选择语言，这里选择1简体中文即可:

  You are calling datafocus tools script, Please select one language.
  
   1) Simplified Chinese - 简体中文(default).
   2) English - English
   0) exit        Exit the shell.
  
  Please input your language number[0-2], default is 1: 
  

• 然后进入安装部署引导菜单，这里选择1进行安装：

  Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization去初始化安装用户
  
  操作列表：
  
     1) 安装
     2) 获取设备UUID
     3) 激活License
     4) 初始化配置
     5) 备份
     6) 升级
     7) 恢复
     8) 扩容
     9) 卸载
     0) 退出
  

  安装配置流程大致如下：

  • 进入安装流程首先会显示用户使用协议，用户接受安装协议之后才能继续安装。

  • 选择安装目录，这里可以直接回车使用/data01目录作为安装目录，安装目录有以下要求。

    1. 安装目录不能在/或者/home下，根目录中系统文件较多不能放在根目录下，/home下有可能跟datafocus用户的主目录冲突，所以也不能放在/home下，可以是/home/data01等目录下。
    2. 安装用户不能指定为root，root用户权限太大，不能作为安装用户使用，默认使用datafocus用户（需要跟User initialization初始化的用户一样）
    3. 安装目录的选择要看数据磁盘的挂载点，安装之后数据会存放到安装目录，至少需要100G的磁盘空间。
    

    选择菜单如下，如果安装目录已经存在会提示是否要删除文件夹中的所有数据，选择y就会删除，n会重新设置目录，q会退出安装：

    请选择一个操作,[0-9]:1
    请输入安装目录(不支持安装在/或者/home下，默认安装在/data01):/data01
    安装目录已经存在，继续安装会删除目录下数据 (Y/N/Q)?: y
    

  • 下一步设置安装用户密码，这里默认使用datafocus用户，用户也可以使用自己定义的用户，但是必须跟使用用户初始化的用户密码一致

    请输入安装用户(不支持使用root用户安装，默认为datafocus):datafocus
    uid=9898(datafocus) gid=9898(datafocus) groups=9898(datafocus)
    请输入安装用户对应的密码:
    

  • 下一步设置安装的主节点和从节点IP地址，主节点只有一个，从节点可以有多个或者一个也没有，没有从节点的话就是单机安装

    请输入主节点IP:192.168.0.40
    请输入从节点IP列表，以逗号分割(默认为无从节点):192.168.0.41,192.168.0.42,192.168.0.43     
    

  • 输入IP列表之后回车，确认安装信息是否正确，确认ok之后输入y回车就开启安装流程，安装流程会全自动进行，不需要人工干预，首次安装Datafocus软件会自动获取1个月的试用授权。安装流程启动之后如果要终止，按CTRL+C去终止安装流程，安装流程没有完成的情况下，要重新安装的话，需要先执行卸载流程清理安装一半的各种垃圾数据，然后重新执行安装流程即可:

    安装配置参数如下
    安装目录: /data01
    安装用户: datafocus
    安装密码: ******
    主节点IP: 192.168.0.40
    从节点IP列表: 192.168.0.41,192.168.0.42,192.168.0.43
    请确认使用当前配置进行安装 (Y/N/Q)?: y
    

    首次安装Datafocus产品成功之后，会自动获取到1个月的试用授权，可以免费试用1个月，到期如果想续期，需要联系Datafocus厂商进行续期。

2.3 设备UUID

服务器环境的UUID在服务器的内存，CPU，网卡，磁盘等硬件规格变更的时候会发生变化，变化之后会导致授权失效，需要联系Datafocus厂商，并提供新的UUID进行授权。安装完成之后如果要重新获取服务器的UUID，执行installer进入安装引导选择第二项2) 获取设备UUID，执行完之后可以在输出信息中获取到集群的UUID。

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID <-- 选择这一项获取设备UUID
   3) 激活License 
   4) 初始化配置  
   5) 备份
   6) 升级
   7) 恢复
   8) 扩容
   9) 卸载
   0) 退出

2022-12-13 09:03:20,464 INFO Device info has been saved to file.
device uuid:5F6FE260818FCA************************374FE5A9371B13F

2.4 授权方式

授权方式：客户把当前环境的UUID提交给Datafocus厂商，Datafocus会生进行线上授权，如果是完全离线环境Datafocus厂商会还需要生成离线License文件进行离线授权（见下面的操作）。

离线授权：

（非完全离线环境此步骤可跳过）使用离线License文件激活Datafocus产品，把从Datafocus厂商获取的离线License文件上传到主节点服务器上，启动installer进入安装引导，然后进入操作列表选择：3）激活License，输入正确的License文件路径即可。

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID
   3) 激活License <-- 选择这一项使用离线License文件激活
   4) 初始化配置  
   5) 备份
   6) 升级
   7) 恢复
   8) 扩容
   9) 卸载
   0) 退出

3 产品备份

产品安装之后会每天会自动备份1天的数据到/安装目录/backup文件夹下，类似下面以日期命名的压缩文件，备份文件可以用来恢复当前系统的数据

[root@master-192-168-0-40 backup]# ll
total 4
-rw-r--r-- 1 datafocus datafocus 118 Dec 13 09:14 2022-11-30.tar.gz

如果是用户想用手动备份可以执行installer进入安装引导，在安装引导菜单选择5) 备份，指定要备份的文件路径，这样系统会立即启动备份流程，把系统数据进行备份并存放到指定目录。备份不会中断业务。

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID
   3) 激活License
   4) 初始化配置  
   5) 备份 <-- 选择这一项立即进行备份 
   6) 升级
   7) 恢复
   8) 扩容
   9) 卸载
   0) 退出

4 产品恢复

可以用产品的备份文件对系统的数据进行恢复，需要注意以下几点：

• 系统数据恢复会中断业务服务，系统中所有的业务服务在数据恢复过程中都会停止，恢复完成之后会自动重启

• 系统数据恢复相当于全量覆盖，系统原有的数据都会被清除掉，替换成备份文件中的数据，恢复的时候需要用户衡量原来的数据还需不需要保留

想要恢复数据，需要执行installer然后进入安装引导菜单选择：7) 恢复，指定要恢复的备份文件进行数据恢复操作

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID
   3) 激活License
   4) 初始化配置  
   5) 备份 
   6) 升级
   7) 恢复 <-- 选择这一项立即进行恢复操作 
   8) 扩容
   9) 卸载
   0) 退出

5 产品升级

产品的安装包可以做全量升级包使用，执行对应的流程即可，升级的时候会启停服务，需要用户确认。

想要升级需要执行installer，installer启动的时候会自动检测下载新的安装包，下载完成之后，进入安装引导菜单选择：6) 升级，升级的时候服务器会自动停止和启动会中断业务30分钟左右，需要注意相关影响。

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID
   3) 激活License
   4) 初始化配置  
   5) 备份 
   6) 升级 <-- 选择这一项立即进行升级
   7) 恢复 
   8) 扩容
   9) 卸载
   0) 退出

6 卸载

卸载Datafocus产品会当清理前安装环境所有的数据，但是不会清除每日的备份数据，如果每日备份数据不存在的情况下，如果还需要保留数据，最好还是手动启动下数据备份。对当日数据进行归档处理。

想要卸载需要执行installer进入安装引导菜单选择：9) 卸载，需要输入对应环境的产品名称，比如datafocus或者data-spring，然后进行卸载操作

Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行User initialization脚本去初始化安装用户

操作列表：

   1) 安装
   2) 获取设备UUID
   3) 激活License
   4) 初始化配置  
   5) 备份 
   6) 升级
   7) 恢复 
   8) 扩容
   9) 卸载 <-- 选择这一项进行卸载
   0) 退出

7 特殊环境配置

在某些客户准备的安装环境比较特殊，比如：安装节点的ssh端口不是22，或则有默认占用flannel端口8472的情况，这种情况下需要安装部署工具进行特殊配置来适配这些特殊的环境。 所以在installer/package/CentOS7_datafocus_6.x.x_datafocus-v6.x.x/deploy/config(目录根据版本号不同稍有不同)下有个env.properties文件中有如下几个配置项，可以对特殊环境做安装定制化配置，对应配置值为空的话，使用默认值，默认值如下：

# 节点的ssh端口
NODE_SSH_PORT=22
# k8s flannel的端口
K8s_FLANNEL_PORT=8472
# POD的IP地址范围
POD_NETWORK_CIDR=10.244.0.0/16
# Service的IP地址范围
SERVICE_CIDR=10.96.0.0/12
# Docker容器的地址范围
DOCKER_BIP=172.17.0.1/16

注意：在installer下载完安装包之后，进行安装之前Control+C退出引导之后，可以手动编辑该文件进行定制化配置

8 维护模式

安装完系统之后可以进入维护模式对系统环境进行license激活，备份，恢复，卸载等操作，该模式不依赖installer，进入维护模式的方式如下： 切换到root或者datafocus安装用户，然后执行下面的命令：

cd $(grep "DATAFOCUS" /etc/profile | awk -F'=' '{print $2}')/datafocus/deploy && bash guide.sh

就会出现引导菜单：

WARNING: Not all operations can be processed here. [Install/Upgrade/Scale-out] are invalid operations here!

You are calling datafocus tools script, Please select one language.

   1) Simplified Chinese - 简体中文(default).
   2) English - English
   0) exit        Exit the shell.

默认中文，回车之后进入操作菜单，选择对应的操作即可。

Use default language number 1.
Datafocus系列产品安装部署引导工具，安装之前需要在集群的各个节点执行init-ssh-user.sh脚本去初始化安装用户

操作列表:

   1) 安装
   2) 获取设备UUID
   3) 激活License
   4) 初始化配置
   5) 备份
   6) 升级
   7) 恢复
   8) 扩容
   9) 卸载
   0) 退出

请选择一个操作,[0-9]:

注意：在维护模式没有installer的安装包，所以安装，升级，扩容操作是无法进行的。