2014年下半年，OpenStack基金会已经意识到Docker对OpenStack可能造成的威胁，研究OpenStack和Docker如何并存迫在眉睫，在2015年的温哥华峰会上，推出了3个项目：

• kolla：把OpenStack放到容器里面，部署OpenStack
• Magnum： 在OpenStack平台上面部署容器，后来改成COE(Container Orchestration Engine)
• Solum：利用Docker来实现CI(Continuous Integration)/CD(Continuous Delivery)

这就是当初基金会的设想，只不过经过2年的发展，目前就Kolla项目是最靠谱的。Magnum修改了自己的方向，并且带来的价值不大。Solum已经基本快要死掉了。

目前依据OpenStack的传统，Kolla项目被拆分成了三个项目：

• Kolla：主要负责OpenStack各个组件Docker镜像的制作
• Kolla-Ansible：负责容器的管理配置，即OpenStack的部署，以Ansible作为编排引擎
• Kolla-Kubernetes：和上面功能一样，只不过是以Kubernetes作为编排引擎

Kolla项目自诞生以来，短短一年内投入生产环境，真正放到生产环境是在Mitaka版本。又经过了一年的完善，终于在Ocata版本，做到了一个很完善的地步。

Kolla的优势和使用场景，体现在如下几个方面：

• 原子性的升级或者回退OpenStack部署；
• 基于组件升级OpenStack；
• 基于组件回退OpenStack；

Kolla的最终目标是为OpenStack的每一个服务都创建一个对应的Docker Image，通过Docker Image将升级的粒度减小到Service级别，从而使升级时，对OpenStack影响能达到最小，并且一旦升级失败，也很容易回滚。升级只需要三步：Pull新版本的容器镜像，停止老版本的容器服务，然后启动新版本容器。回滚也不需要重新安装包了，直接启动老版本容器服务就行，非常方便。

Kolla使用到的技术如下：

• Docker
• Ansible
• Python
• Docker-py
• Jinja2

Note：
很多对Docker不熟悉人，以为把OpenStack放到Docker里，虚拟机也是跑在Docker里。其实这是误解。Kolla仅仅是把OpenStack各个服务的进程，放到Docker里而已。以前的vm怎么运行，现在还是怎么运行，没做任何的改变。

一、Kolla部署OpenStack的架构

如下图所看到，通过Kolla部署OpenStack能够实现，全组件HA(High Available)，其中，像其他OpenStack部署项目一样，对于MySQL的HA方案，默认采用的均是Galera。

二、前期准备

目前Kolla能够在Ubuntu和Centos两种Linux发行版上部署OpenStack，本次部署使用Centos7，OpenStack组件Nova，Cinder，Swift后端存储使用Ceph，Glance理论上后端存储也可以采用Ceph，但是采用Ceph作为后端存储的话，Glance的镜像格式必须是raw，目前主流镜像格式img、qcow2都需要转换为raw格式才能够正常使用，但是raw镜像不支持快照。可以自行搜索这些镜像格式之间的区别。具体基础环境要求如下：

• 物理机最小配置：8 GB 内存，40 GB 存储
• Centos7 操作系统，最小化安装，最好根据自己规划，在安装过程中及时更改主机名
• 最少2块网卡，此处部署使用3块，其中一个网卡是万兆网卡
• 数据盘与系统盘分离，至少1块数据盘，理想状态3块数据盘
• 至少保证部署机有root登陆权限，其余节点可以视情况而定

Reference:

• QCOW2/RAW/qemu-img 概念浅析: http://blog.csdn.net/Jmilk/article/details/69418999?locationNum=5&fps=1
• qcow2、raw、vmdk等镜像格式的比较和基本转换: http://blog.chinaunix.net/uid-14735472-id-4220089.html

三、网络环境准备

本次部署，使用一台单独的48口交换机，因为采用了三个网卡，故在交换机上划分出了三个网段：

• Admin Network：部署过程中各节点通信，部署完成后OpenStack各组件间通信，能够连接互联网
• Public Network：给OpenStack平台上的VM提供Floating IP以使其能够正常远程SSH和连接网络，能够连接互联网
• Storage Network：Ceph节点间通信和数据传输的网段，内网网段，与互联网隔离

本次部署三个网卡与三个网段的对应的情况如下：

• em1：连接到Admin Network，提前在网卡上配置好IP地址，确保能够远程SSH，且能够连接互联网
• em2：连接到Pubic Network，只需要把网上连接到相应Port上，网卡状态为UP即可，不需要配置IP
• p5p2：连接到 Storage Network，万兆网卡，需要提前配置一个内网地址段IP确保各个节点间能通信

Note:

• Public Network需要提前划分出一个地址段，预留足够的IP地址给OpenStack的VM使用
• em2网卡一定不要配置IP地址
• p5p2网卡不要配置GateWay，否则可能会与em1网卡的Gateway冲突，导致该主机不能够正常联网

四、部署规划

本次部署共12个节点，其中3个controller节点，分别命名为：controller1，controller2，controller3；9个compute节点，分别命名为：compute1~9；其中一台controller节点还承担Kolla部署机角色，具体角色划分如下：

• Kolla部署机：controller1
• OpenStack镜像本地源服务器：controller1
• 3台controller节点：controller1~3
• 9台compte节点：compute1~9
• Ceph的OSD节点：controller1~3，compute1~9的所有的数据盘

五、配置免密登陆

这一过程不是必须的，但是为了方便操作，最好在各个节点之间实现免密登陆，以下过程在所有的节点上执行：

① 生成秘钥对，输入以下命令，然后一路回车：

② 将所有的公钥复制到authorized_keys文件中：

搜集每个节点上的id_rsa.pub文件内容，添加到authorized_keys文件中，然后保存退出。

③ 同样的过程，在剩余所有节点上执行一遍，然后修改hosts文件：

输入每个主机的IP 主机名，然后退出保存。

④ 验证是否成功：

六、安装依赖包

以下过程在所有节点上都：

安装epel-release、pip、git：

如果安装过程特别慢，可以考虑更换软件源，以下是Centos7更换阿里云源的方法：

升级pip到最新版：

如果pip下载包也比较慢，可以更换pip的源为豆瓣源或者阿里云源，以下以更换为阿里云源为例：

安装其他的一些依赖：

OpenStack、RabbitMQ、Ceph等都对节点间的时间差有一定的要求，如果时间差过大，可能导致服务不能够正常运行，为此，我们最好能够安装NTP服务，让每个节点自动进行时间同步：

安装ansible，并升级到最新版：

停止libvirt组件，否则后面安装会失败：

安装最新版Docker，升级到最新版，然后检查Docker的版本：

如果由于网络原因，以上安装方法Docker不能够成功安装，可以使用下面的方法进行安装：

对Docker进行配置：

重新加载守护进程，并重启Docker服务：

为Docker配置访问私有仓库，修改ExecStart字段：

其中[SERVICE_IP]换成你部署的私有仓库所在主机的IP，本次部署在controller1上，所以用controller1的IP。
重启Docker服务：

七、配置Docker的私有仓库

限于国内网络环境的问题，如果直接在线安装很容易失败，所以我们非常有必要建立一个本地仓库。建立本地仓库所需要的OpenStack的各个组件的镜像，既可以通过Kolla进行build，也可以直接下载官网制作好的镜像。
运行Registry服务的容器，由于5000端口与keystone端口号冲突，所以我们需要修改其映射到本地4000端口上：

运行以上命令后，会自动在线拉取registry:2的镜像，如果因为网络环境不能够正常下载，也可以在一个网络状况比较好的机器上先下载好，然后导出为.tar包，再在相应的机器上导入：

当前机器内有了本地镜像了以后，在运行docker run，启动registry容器：

提前下载好官方的镜像包，本次使用：centos-source-registry-ocata.tar.gz,将其解压到：

在浏览器中输入：[SERVICE_IP]:4000/v2/_catalog，如果现实如下，则说明已经成功安装了本地仓库：

Reference:

• OpenStack官方kolla镜像包下载地址：http://tarballs.openstack.org/kolla/images/

八、安装Kolla-ansible部署工具

此过程只需要在部署机上面执行，kolla-ansible既可以使用pip来安装，也可以通过git源码安装，本次通过源码安装：
下载源码包，一定要下载对应的版本，我们此次部署的是O版，所以下载O版的kolla-ansible：

1 2	[root@controller1 ~]# cd /opt [root@controller1 ~]# git clone http://git.trystack.cn/openstack/kolla-ansible –b stable/ocata

安装kolla-ansible：

复制配置文件和inventory文件：

如果是在虚拟机里装kolla，希望可以启动再启动虚拟机，那么你需要把virt_type=qemu，默认是kvm：

生成密码文件：

修改登录dashboard的admin用户的登录密码：

九、开始部署

由于我们采用的是多节点物理机部署，在部署之前，我们需要修改globals.yml和multinode两个配置文件。

① 修改globals.yml

给出以下样例，附带部分相关说明：

② 配置multinode文件，这个文件主要是指定物理节点的角色，供ansible使用：

给出如下样例：

③ 为安装Ceph准备OSD节点，在所有的存储节点上执行如下命令，此次我们以有两块数据盘 sdb、sdc为例：
格式化sdb数据盘：

格式化sdc数据盘：

④ 部署前检查，只需要在部署节点上执行如下命令：

这时候，kolla会自动对配置文件，和当前机器的部署环境做检测，如果全是ok，那就可以开始部署，如果出现了fail可以根据相应的提示，查找问题并是修复，然后再检查一遍，如此循环，直到全部ok为止。预计执行大概需要半个小时，如果相看详细的输出日志，可以在命令后面加上-vvv。

④ 开始部署，只需要在部署节点上执行如下命令：

这时候，kolla便开始自动从本地仓库中拉取相应的镜像，在/etc/kolla/目录下生成各个组件的配置文件，根据配置文件启动相应的组件的container并调用kolla_start脚本进行初始化，然后配置各个服务的endpoint地址，最终完成OpenStack的安装。首次执行需要拉取镜像，时间会比较长，以后每次重复执行不需要拉取镜像，大概运行时间为半个小时左右，如果想看详细的日志信息，可以在命令后面加上-vvv。

⑤ 部署过程中如果遇到什么错误导致了fail，可以先看看输出信息，是否能够定位到具体的问题，如果可以则修复问题，如果没有什么头绪，可以直接重试运行上述命令，进行再次部署，基本可能会成功，如果问题重复出现，则需要好好看看输出日志，找找问题所在并修复。

⑥ 成功部署后，可以通过如下命令查看是否所有的container都在正常运行：

如果都正常，可以在浏览器中输入你再globals.yml制定的kolla_internal_vip_address的IP地址来访问dashboard。用户名为：admin，登陆密码为你再passwords.yml中制定的keystone_admin_password字段的值。

⑦ 如果想要增加组件，可以直接修改globals.yml文件中的配置项，然后运行④中的命令。

⑧ 如果想要重新部署，可以使用如下命令清理环境，然后再次运行④中的命令：

会有一个提示你确认的过程，只需要按照它的提示，输入相应的命令选项确认即可。

Note:
在执行destroy命令之前一定要确保，当前OpenStack平台上没有存储镜像，也没有相应的instance和volume,也没有swift的存储空间，总而言之，OpenStack上面除了配置选项外，不能存有任何额外的东西，否则会导致清理环境失败。这点一定要切记，很重要！！！

如果使用的Ceph储存，还需要删除相应的挂在盘并重新打上OSD标签，此处以有sdb，sdc两块数据盘为例：

此时部署环境已经准备好，再次运行④中的命令，进行部署，非常方便。

十、验证部署并初始化

部署完成后，我们需要进行验证，会在/etc/kolla目录下生成admin-openrc.sh文件：

安装OpenStack的client端：

编辑初始化脚本文件/usr/share/kolla-ansible/init-runonce：

Note:
192.168.12.0只是一个示例网络，这个网络是给VM的floatingIP来用，就是我上面em2接的网络，这个网络需要可以通过路由器访问互联网，并且能够远程SSH。此处的IP地址请根据自己的实际情况修改。

运行初始化脚本，进行初始化：

Note:
上面这个初试化过程中需要从http://download.cirros-cloud.net/0.3.4/cirros-0.3.4-x86_64-disk.img下载一个测试镜像，限于网络原因，有可能下载很慢或者下载失败，我们可以手动用下载工作下载好，放到/usr/share/目录下，这样，脚本就会检测到已经下载完成，不会再进行下载，直接上传。

可以根据脚本最后运行完的提示运行如下命令，创建一个VM：

登陆dashboard，正常使用OpenStack。

十一、附Docker常用命令：

十二、参考资料

Reference：

• 官方文档：https://docs.openstack.org/kolla-ansible/latest/user/quickstart.html
• Kolla安装Ocata 单节点：http://www.chenshake.com/kolla-installation/
• OpenStack实战分享：Kolla多节点部署加Ceph后端：http://www.99cloud.net/html/2017/jiuzhouyuanchuang_0317/302.html
• Docker私有仓库Registry的搭建验证：http://www.cnblogs.com/lienhua34/p/4922130.html
• Jeffrey Zhang的blog：http://xcodest.me/
• kolla的一点心得：http://blog.csdn.net/pengdake300/article/details/54581499