本文主要参考该文章。
1 简介
实验室同门在使用GPU服务器时遇到模型加载初始化时间过长(有时甚至达到10min)的情况,查询之后发现可以通过打开Nvidia GPU的Persistence-M模式来解决该情况,在此,也对该模式进行一个介绍以及启动方式进行记录。
最近在跑一些模型时需要用到Docker,但出现了无法使用宿主机GPU的情况,在此记录一下解决过程。
首先介绍一下Docker吧,照例,Wiki上的介绍:
Docker容器与虚拟机类似,但二者在原理上不同。容器是将操作系统层虚拟化,虚拟机则是虚拟化硬件,因此容器更具有便携性、更能高效地利用服务器。 容器更多的用于表示软件的一个标准化单元。由于容器的标准化,因此它可以无视基础设施(Infrastructure)的差异,部署到任何一个地方。
简单来说,Docker可以理解为一个实现原理不同的虚拟机,可以将程序运行需要的环境进行一个整体的打包,然后部署到任何支持Docker的平台上,方便复现与调试。