腾讯蓝鲸自动化运维平台简介部署及常见报错解决

微信扫一扫,分享到朋友圈

腾讯蓝鲸自动化运维平台简介部署及常见报错解决

前言

腾讯蓝鲸智云,简称蓝鲸,是一套基于 PaaS 的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

目前,腾讯蓝鲸智云团队秉承着开放共赢的态度,正逐渐开放其自主研发的一套具有多项探索式创新的体系—蓝鲸智云软件体系。该套体系不仅提供了基础运维(发布变更、监控处理、数值调整、数据提取等)的无人值守服务,而且还给运维人员提供了解决方案(工具),并随时调整,避免重复性的操作服务。而运维人员则可以做些“用户体验优化”和“运营决策辅助”等运维增值工作,并且可以通过蓝鲸智云提供的集成平台,低成本的学习 DevOps技能,进一步提升自己的能力,加速转型。此外,这套体系还可以运行轻应用、管理类、及职能类应用,是个全方位的运维、管理平台。

腾讯蓝鲸智云,运维领域的一张新名片,正在多个层次、多个领域崭露着头角,逐渐释放着自身特有的价值,引领着行业新标杆,开创了运维体系 2.0 的新局面。

体系介绍

腾讯蓝鲸智云体系由平台级产品和通用 SaaS 服务组成,平台包括管控平台、配置平台、作业平台、数据平台、容器管理平台、挖掘平台、PaaS 平台、移动平台等,通用 SaaS 包括节点管理、标准运维、日志检索、蓝鲸监控、故障自愈等,为各种云(公有云、私有云、混合云)的用户提供不同场景、不同需求的一站式技术运营解决方案。

部署蓝鲸

开始安装蓝鲸社区版前,需按以下文档指南,做好准备工作。

获取安装包

蓝鲸社区版包含部署脚本、产品软件和开源组件。蓝鲸提供完整包与分包的下载通道,请自行到下载地址按需获取。新装环境及新用户建议下载完整包使用。

#	下载地址: https://bk.tencent.com/download/
#	下载完成后,请核对MD5码。

硬件选择

对于蓝鲸部署所需的硬件配置选型,并无定规。蓝鲸由众多开源组件和自研组件构成。 开源组件的硬件选型可以参考相应的官方文档,参见附录。

蓝鲸产品本身的建议配置如下:

# PaaS: 2核4G
# Cmdb: 2核2G
# Job: 2核4G
# Bkdata: 4核12G
# fta: 1核2G

如果硬件资源富余,可以一开始拆分搭建部署。若硬件资源不足,一开始可以混合搭建,注意观测资源消耗情况,可以适时增加机器,迁移模块的方式来保证整体的可用性。

资源规划是一个复杂的、动态的过程,更像是一门艺术而不是科学。

这里给出的一个比较合理的初始配置,基于以下考虑:

  1. 分布式模块达到高可用至少三个节点,所以至少需要三个OS(物理机或虚拟机均可)
  2. Bkdata是耗费资源最多的蓝鲸组件。请分配到4核16G以上的机器。
  3. 若日志检索,蓝鲸监控是主要使用场景,请给influxdb和elasticsearch模块更多的内存,更好磁盘性能比如SSD。
  4. nginx模块所在的机器需要有对外提供服务,可访问的IP。这是蓝鲸平台的总入口。
  5. 如果需要有跨云管理需求,gse部署的机器需要有跨云的网络条件。

根据以上考虑,官方建议安装蓝鲸初始配置,请满足:

机器数量	建议硬件最低配置	更优配置
3   	4核12G   	24核64G
4   	4核10G   	24核64G
5   	4核心8G   	12核32G

CentOS系统设置

准备好硬件,安装完原生CentOS系统后。我们需要对初始系统做一些配置,保证后续安装过程的顺畅,和蓝鲸平台的运行。注意:所有待安装蓝鲸的机器均需要按以下清单检查和操作。

# 实际环境配置
IP         	Hostname 	系统版本          	内存,CPU
172.19.0.24	rbtnode1 	CentOS7.2.1511	8c30G
172.19.0.23	paas-1   	CentOS7.2.1511	8c30G
172.19.0.28	mongodb-1	CentOS7.2.1511	8c30G

系统版本:

要求CentOS-7.0以上版本,推荐CentOS-7.5

初始化

关闭SELinux及默认防火墙(firewalld)

安装和运行蓝鲸时,模块之间互相访问的端口策略较多,建议对蓝鲸后台服务器之间关闭防火墙。

systemctl stop firewalld
systemctl disable firewalld &>/dev/null
setenforce 0
# 修改配置文件,禁止开机自启动
sed -i '/^SELINUX=/ s/enforcing/disabled/'  /etc/selinux/config
curl -o /etc/yum.repos.d/163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo &>/dev/null
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo &>/dev/null
cat >> /etc/security/limits.conf <<EOF
* soft nproc 65530
* hard nproc 65530
* soft nofile 65530
* hard nofile 65530
EOF
ulimit -n 65535
ulimit -u 20480
# 同步时间
yum -y install ntpdate
ntpdate -b ntp1.aliyun.com
# 检查是否有rsync命令,如果有返回rsync路径,可以跳过后面的命令
which rsync
# 安装rsync
yum -y install rsync

获取安装包

https://bk.tencent.com/download/	# 建议下载5.0.4,坑相对少一点
[root@rbtnode1 ~]# mkdir /data		# 创建一个目录,将安装包解压到这个目录
[root@rbtnode1 ~]# tar xvf bkce_src-5.0.4.tar.gz -C /data/

关闭NetworkManager

systemctl disable NetworkManager.service
systemctl stop NetworkManager.service

给所有机器分配服务组件

[root@rbtnode1 install]# mv install.config.3IP.sample install.config
[root@rbtnode1 install]# cat install.config
172.19.0.24 nginx,appt,rabbitmq,kafka,zk,es,bkdata,consul,fta	# 中控机
172.19.0.23 mongodb,appo,kafka,zk,es,mysql,beanstalk,consul
172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb
# appt和appo不能部署到同一台机器
# gse和redis必须部署到同一台机器

获取证书

[root@rbtnode1 install]# cat install.config |grep gse
172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb
[root@rbtnode1 install]# cat install.config |grep license
172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb
[root@hadoop-3 job]#  cat /sys/class/net/eno16780032/address
00:0c:29:01:6e:0c
[root@blueking-1 install]# tar xvf /root/ssl_certificates.tar.gz -C /data/src/cert/
# 输入GSE/LICENSE所在服务器的MAC地址,多个MAC地址使用换行或英文分号分隔

准备pip源和Nginx源

(4.0版本需要准备,没有这个目录和文件,需要创建)
# 5.0不需要
[root@rbtnode1 ~]# mkdir /data/src/.pip
[root@rbtnode1 ~]# vim /data/src/.pip/pip.conf
[global]
index-url = http://mirrors.aliyun.com/pypi/simple
trusted-host = mirrors.aliyun.com
[root@rbtnode1 install]# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

配置SSH免密登陆

cd /data/install
bash configure_ssh_without_pass  # 根据提示输入各主机的 root 密码完成免密登陆配置

安装前校验环境是否满足

cd /data/install
bash precheck.sh

到本地电脑配置本地hosts

Windows10:  C:\Windows\System32\drivers\etc\hosts  文件末尾加上
172.19.0.24 nginx-1
172.19.0.24	paas.bk.com
172.19.0.24 cmdb.bk.com
172.19.0.24 job.bk.com
172.19.0.24 rbtnode1				# 此处172.19.0.24为nginx地址
Linux:  vim /etc/hosts				# 文件末尾加上下面三行
172.19.0.28   hadoop-3
172.19.0.24 paas.bk.com
172.19.0.24 cmdb.bk.com
172.19.0.24 job.bk.com

安装各个功能组件

./bk_install paas
./bk_install cmdb
./bk_install job
./bk_install app_mgr
./bk_install saas-o bk_nodeman
./bk_install bkdata
./bk_install saas-o bk_monitor
./bk_install fta
./bk_install saas-o bk_fta
./bkcec install gse_agent
# 执行报错不要往下继续走了,解决完报错再继续

常见报错

cmdb

# 重启机器后或者安装上cmdb报错502,404
# 修改/etc/resolv.conf,首行添加nameserver 127.0.0.1
# 在网卡配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0,加上一行配置PEERDNS=no
# 保存后执行:
systemctl restart network
./bkcec stop all
./bkcec start all

gse启动失败

# 内网IP自动获取不对时
# LAN_IP表示GSE服务器真实可用的内网IP(ip addr输出查看),需要根据实际IP替换 修改以下配置文件项,新增相关配置,注意json格式,逗号问题。
# 配置文件在gse机器上,/data/bkce/etc/gse
# data.conf
"datasvrip":"LAN_IP",
# task.conf
"tasksvrip":"LAN_IP",
"tasksvrthirftip":"LAN_IP",
"tasksvrtrunkip":"LAN_IP",
# dba.conf
"servers":[{"ip":"LAN_IP","port":58817}],
# btsvr.conf
"filesvrthriftip":"LAN_IP",
"btServerOuterIP":[{"ip":"LAN_IP","port":59173}],
"btServerInnerIP":[{"ip":"LAN_IP","port":59173}],
Copy
# api.conf
"cacheApiAddr":[{"ip":"LAN_IP", "port":59313}],
Copy
# agent.conf
"agentip":"LAN_IP",
./bkcec stop consul
./bkcec install consul 1
./bkcece start consul
./bkcec stop cmdb
./bkcec start cmdb
./bkcec stop gse
./bkcec start gse
# 如果以上方法还是不行,重装
./bkcec stop gse
./bkcec initdata cmdb
./bkcec install gse 1
./bkcec status gse

job

# 如果部署install job 时候最后报错出现Failed]-- http port 8008 start fail!
# 用lsof 去每台机器看lsof -i:8008,然后kill -9  指定pid,15杀不掉java进程
# 如果job一直启动不起来,访问报错502
# 按顺序,大部分执行
./bkcec start xxx
# rabbitmq用
systemctl start rabbitmq-server
./bkcec start job
./bkcec start gse_agent
./bkcec start appo
./bkcec start saas-o

节点管理

# 如果部署节点管理命令行出现
# 2019-10-28 17:12:29 126  INFO    check deploy result. retry 102
# 2019-10-28 17:12:32 126  INFO    check deploy result. retry 103
# 2019-10-28 17:12:35 126  INFO    check deploy result. retry 104
# 这些提示,到130左右可以直接去开发者中心一键部署,如果报错超时可以再进行部署一次,如果还报错,去mysql里面删掉指定库,再创建一个相应库,修改超时时间,再部署
# 加入新的agent时候如果安装失败就再进行重装一遍,基本都能成功
remote: You must verify your email address.
remote: See https://github.com/settings/emails.
fatal: unable to access 'https://github.com/You-Men/Shell-Script.git/': The requested URL returned error: 403
# 节点管理安装agent无日志输出
# 登录appo所在机器
# /data/bkce/paas_agent/apps/logs/bk_nodeman/看日志报错
# 重新部署节点管理
# saas如何重装 :::: 在开发者中心-->s-mart应用-->找到需要重装的saas-->点击部署

Rabbitmq启动失败

# 表象:在部署蓝鲸JOB过程中需要进行RabbitMQ的安装,数据初始化,激活步骤,此问题多发生在此过程
# 思路方法:如果是在添加用户和vhost时报错,那么说明启动rabbitmq-server没有成功,通过以下方式确认
# 查看进程是否存在
$ ps -ef | grep beam
# 查看监听端口是否存在(5672, 15672, 25672 三个端口必须都在)
$ netstat -tnlpu | grep 5672
#	若没有启动,通过systemctl start rabbitmq-server启动。若系统没有systemctl命令,通过service rabbitmq start启动
#	首先排查/data/bkce/etc/rabbitmq目录,对rabbitmq用户是否有读权限,/data/bkce/public/rabbitmq目录对rabbitmq用户是否有写权限
#	自己处理好目录的权限问题后,再尝试重启 rabbitmq-server
# rabbitmq activate失败
# 表象:此问题发生在./bk_install app_mgr,会发生如下报错
# 思路方法:
# 确认umask,若不是022,修改/etc/profile,然后source /etc/profile,再卸载rabbitmq,重新安装
# 确认在安装过程,或在 rabbitmq activate 前主机域名是否做过调整修改

监控

# 部署bkdata报错:Job is required for bkdata. Please install job first :::: 确认job拉起后,可以自行追加
# echo start job >> /data/install/.bk_install.step
# ./bkcec  initdata bkdata 	# 执行此条命令如果报以下错误
# [172.19.0.29]20191028-190202 13   create topic failed.
# [172.19.0.29]20191028-190202 130   migrate failed for bkdata(dataapi)
# 原因一、kafka broker节点缺失
# 若社区版为3台部署的,必须返回[1, 2, 3]才正常,示例如下 若brokers ids不为[1, 2, 3],可能存在/data/bkce/public/kafka/.lock文件,有的话,删除此文件,再重新使用./bkcec stop kafka和./bkcec start kafka重启kafka,重启完再次确认状态
[root@rbtnode1 /data/install]# /data/bkce/service/zk/bin/zkCli.sh -server zk.service.consul:2181
# ls /common_kafka/brokers/ids
Connecting to zk.service.consul:2181
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[1, 2, 3]
# ./bkcec stop kafka
# rm -rf /data/bkce/public/kafka/.lock
# ./bkcec install kafka 1
# ./bkcec start kafka
# ./bkcec initdata bkdata
# 检查下kafka状态是否正确,再执行
# ./bkcec stop bkdata dataapi
# ./bkcec initdata bkdata
# 部署Saas提示超时
#	到appo机器,修改paas_agent的paas_agent_config.yaml,将EXECUTE_TIME_LIMIT调大,重启paas_agent即可。
# vim /data/bkce/paas_agent/paas_agent/etc/paas_agent_config.yaml
# EXECUTE_TIME_LIMIT: 300   <可修改为900>
# ./bkcec stop appo
# ./bkcec start appo

加入新的Paas

如果部署新的paas模块报错,直接去mysql数据库删掉对应库,再创建对应库,再去开发者中心一键部署,如果卡顿或者没报错可以点下重新部署,多来两次,不行再去删掉对应库,再创建,基本除了监控,节点管理,其他的paas都是这样安装成功

手把手带你玩转k8s-健康检查之存活探针与就绪探针

上一篇

NASA表示已经解决“毅力号”进入安全模式的问题 正向火星进发

下一篇

你也可能喜欢

腾讯蓝鲸自动化运维平台简介部署及常见报错解决

长按储存图像,分享给朋友