简介
AUFS曾是Docker默认的首选存储驱动。它非常稳定、有很多真实场景的部署、很强的社区支持。它有以下主要优点:
极短的容器启动时间。
有效的存储利用率。
有效的内存利用率。
虽然如此,但由于它没有包含在Linux内核主线中,所有很多Linux发行版并不支持AUFS。
以下章节介绍AUFS的特性,并且它们如何作用于Docker。
特性
镜像分层和部署
AUFS是一种联合文件系统。它使用同一个Linux host上的多个目录,逐个堆叠起来,对外呈现出一个统一的文件系统。AUFS使用该特性,实现了Docker镜像的分层。下图展示出ubuntu:latest的镜像的分层。
注意:在Docker1.10之前,layer的ID对应着其在/var/lib/docker下的目录名称,但在Docker1.10之后,不再有这种直接的对应关系。
对于一个容器来说,只有顶层的容器layer是可读写的,而下面的layer都是只读的。
读写文件
Docker使用AUFS的CoW(Copy-on-Write)技术来实现镜像共享和最小化磁盘空间的使用。AUFS作用于文件层,也就是说AUFS CoW拷贝整个文件——即使文件只修改了一点点的内容。所以,它对容器的性能影响很明显,尤其拷贝多层镜像下的大文件,或者是在一个深层次的目录树中进行搜索。
不过,在给定的容器中,这种拷贝到顶层layer的操作,每个文件只会做一次。随后,对该文件的读写操作,都只针对容器顶层可读写layer的拷贝文件。
删除文件
通过上面的介绍,很容易想到。如果要在容器中删除一个非顶层layer的文件,肯定不会在下层layer中直接删除,因为下层layer对于容器来说都是只读的。AUFS存储驱动要删除一个文件,是通过在容器顶层layer增加一个whiteout文件来实现的。这个whiteout文件可以隐藏下层只读layer中文件的存在,容器感知不到只读层layer中文的存在。事实上,无论该文件在下层只读layer中是否还存在,容器都认为这个文件被删除了。下图展示了whiteout文件如何工作的:
重命名目录
AUFS未能完美的支持rename(2)重命名操作,会返回EXDEV[“cross-device link not permitted”],即使源路径和目的路径都在同一个AUFS层。因此,你的应用需要能处理EXDEV,可以用“拷贝再删除”的策略来替代rename操作。
我在这里做了一个测试,写了一个简单地C程序,该程序将目录test重命名为目录gaga,并打印出rename的结果。该程序在普通服务器上完美运行,那么在容器中呢?开始做测试吧。
创建docker build目录,进入该目录。并在该目录下创建子目录test。
1
2
3
4 1$ mkdir build-rename
2$ cd build-rename
3$ mkdir test
4
创建文件test.c
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15 1$ vim test.c
2
3#include<stdio.h>
4#include <fcntl.h>
5int main(void)
6{
7 char oldname[100] = "test", newname[100]="gaga";
8 int ret = rename(oldname, newname);
9 if (ret == 0)
10 printf("rename ok.\n");
11 else
12 printf("ret = %d\n", ret);
13 return 0;
14}
15
编译该程序,生成可执行文件a.out。
1
2 1$ gcc test.c
2
创建Dockerfile
1
2
3
4
5
6
7 1$ vim Dockerfile
2
3FROM ubuntu
4WORKDIR /usr/src/app
5COPY ./* /usr/src/app/
6CMD /usr/src/app/a.out
7
生成镜像。
1
2 1$ docker build -t rename:v1.0 ./
2
运行容器
1
2
3 1$ docker run --rm rename:v1.0
2ret = -1
3
该容器启动后会执行可执行文件a.out,重命名一个目录。可见结果,rename重命名一个目录的确是返回了失败。
配置AUFS
准备
只有在OS安装了AUFS的情况下才能使用AUFS存储驱动,一般来说,Debian/Ubuntu都支持AUFS,而Redhat/CentOS都不支持AUFS。所以,你需要先查看下你的系统是否安装了AUFS。
1
2
3 1$ grep aufs /proc/filesystems
2nodev aufs
3
如果以上命令有输出则表示支持AUFS,否则就说明还未安装AUFS。可执行以下步骤:
a. 升级你系统的kernel版本到3.13或者更高,另外建议安装kernel headers;
b. 对于Ubuntu/Debian:安装linux-image-extra-*包:
1
2
3 1$ apt-get install linux-image-extra-$(uname -r) \
2 linux-image-extra-virtual
3
配置
如果上述操作无误,就可以使用AUFS来作为你Docker Daemon的存储驱动了。
1
2 1$ dockerd --storage-driver=aufs &
2
如果想持久化这个配置,可以编辑你的Docker配置文件(如/etc/default/docker,虽然官方已经不建议使用该文件了),并加入–storage-driver=aufs选项到DOCKER_OPTS中。
1
2
3 1# Use DOCKER_OPTS to modify the daemon startup options.
2DOCKER_OPTS="--storage-driver=aufs"
3
重启docker daemon(systemctl restart docker.service)后,确认默认存储驱动是否配置成功:
1
2
3
4 1$ docker info | grep "Storage Driver"
2
3Storage Driver: aufs
4
本地存储和AUFS
当dockerd使用AUFS驱动时,驱动把镜像和容器存储在Docker host的本地存储下:/var/lib/docker/aufs。
镜像
镜像层存储在/var/lib/docker/aufs/diff里。Docker 1.10之后,镜像对应的目录名称不再和镜像ID意义对应了。
/var/lib/docker/aufs/layers/目录保存了元数据信息,这些元数据显示了image层是如何叠加的。该目录下的每个文件,对应了一个层,而这个文件的内容就是该层之下的层。如:
1
2
3
4
5
6 1$ cat /var/lib/docker/aufs/layers/91e54dfb11794fad694460162bf0cb0a4fa710cfa3f60979c177d920813e267c
2
3d74508fb6632491cea586a1fd7d748dfc5274cd6fdfedee309ecdcbc2bf5cb82
4c22013c8472965aa5b62559f2b540cd440716ef149756e7b958a1b2aba421e87
5d3a1f33e8a5a513092f01bb7eb1c2abf4d711e5105390a3fe1ae2248cfde1391
6
由于base layer之下不再有其它层,所有base layer对应的文件内容是空的。
容器
运行中的容器映射在 /var/lib/docker/aufs/mnt/下,这就是AUFS给容器和它下层layer的一个mount point。如果容器没有运行了,依然还有这个目录,但却是个空目录,因为AUFS只在容器运行是才映射。Docker 1.10之上的版本,目录名同样不和容器ID对应。
容器元数据和多种配置文件存放在该目录下。
1
2
3
4 1$ ls /var/lib/docker/aufs/mnt/670e0053b2ba02ab33dc24daca293e200aa98e871cefec016a5cbf9d41b7cfbf
2bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var
3
4
容器的可写层存储在目录 /var/lib/docker/aufs/diff/,即使容器停止了,容器对应的目录依然存在。只有删除容器时,对应的目录才会删除。
AUFS在Docker中的性能
对于PaaS层来说,AUFS存储驱动是一个很好的选择。因为AUFS有效地在多个运行容器中共享镜像,加速了容器启动时间,减少了容器使用的磁盘空间。
AUFS在多个镜像层和容器间分享文件所使用的底层机制,高效地使用了系统的页缓存。
同时,AUFS存储驱动也带来了一些容器写性能上的隐患。这是因为,容器第一次对任何文件的修改,都需要先定位到文件的所在的镜像层次,并拷贝到容器最顶层的读写层。尤其当这些文件存在于很底层,或者文件本身非常大时,性能问题尤其严重。
小结
AUFS是Docker在Ubuntu/Debian中的默认存储驱动,虽然后面可能会被替换掉。但暂时来说,它完美地契合Docker的特性。并且,如何合理使用,其性能非常优异。另外,需要注意的是,AUFS对目录的重命名支持得不好,在编写程序时需要注意这点。