Что такое docker volume
Начало работы с Docker. Часть третья
Что такое Docker Volumes
Том — это файловая система, которая расположена на хост-машине за пределами контейнеров. Тома представляют собой средства для постоянного хранения информации и могут совместно использоваться разными контейнерами. Созданием и управлением томами занимается Docker.
Попробуем просто создать несколько томов:
Для того, чтобы просмотреть список томов:
Посмотреть информацию об отдельном томе:
Если том больше не нужен, его можно удалить:
Чтобы удалить все тома, которые не используются контейнерами:
Теперь смонтируем том data-www при запуске контейнера:
Инструкция VOLUME в Dockerfile
Эта инструкция устарела и использовать ее не рекомендуется. Но давайте все таки познакомимся с ней поближе для общего понимания. Создадим в домашней директории каталог test и внутри него — файл Dockerfile :
Соберем образ из этого Dockerfile :
Запустим новый контейнер:
Теперь посмотрим, какие тома существуют:
Где физически расположены тома, мы уже знаем. Так что посмотрим содержимое нового тома:
Порты контейнера
Docker позволяет получить доступ к какому-то из портов контейнера, пробросив его наружу — в основную операционную систему. По умолчанию, мы не можем достучаться к какому-либо порту контейнера. Однако, интсрукция EXPOSE в Dockerfile позволяет объявить, к какому из портов можно обратиться из основной системы.
Создадим в домашней директории каталог www и внутри него — файлы Dockerfile и index.php :
Создадим новый образ из Dockerfile :
Запустим контейнер и укажем, что порт 80 контейнера будет связан с портом 8080 хоста:
Запускаем браузер и открываем http://localhost:8080 :
Установка Docker Compose
Docker применяется для управления отдельными контейнерами (сервисами), из которых состоит приложение. Docker Compose используется для одновременного управления несколькими контейнерами, входящими в состав приложения. Этот инструмент предлагает те же возможности, что и Docker, но позволяет работать с более сложными приложениями.
Файл docker-compose.yml
Теперь построчно разберёмся с параметрами:
Теперь проект надо собрать — это похоже на сборку образа в Docker, но здесь идет сборка нескольких образов. Хотя в нашем случае образ всего один:
Проверим, что был создан новый образ:
Теперь запустим эти сервисы, которые создали (хотя у нас всего один сервис):
Запускаем браузер и открываем http://localhost:8080 :
Остановим работу контейнера с помощью Ctrl+C и посмотрим на список контейнеров:
linux-notes.org
Работа с томами (Volumes) в Docker
Volumes — являются механизмом для сохранения данных, создаваемых и используемых Docker контейнерами (с хостевой машины на контейнер).
Надеюсь что у вас уже имеется докер на хостевой машине, если нет, вот полезные статьи:
Работа с томами (Volumes) в Docker
Сейчас буду приводить наглядные примеры того, каким образом можно работать с волюмами, стореджами.
Создание Volumes в Docker
Чтобы создать Volume, выполните:
Проверим что имеется в докере:
Или вывести только необходимый:
Получим подробную инфу:
Создадим index.html файл:
Скопируем созданный файл в волюму:
Смотрим, есть ли файл:
И запустим контейнер nginx:
Посмотрим какой порт юзает созданный контейнер:
Дерним курл чтобы убедится что скопированные данные имеются в докере:
Собственно, что и требовалось доказать — все есть и работает должным образом.
Создание TMPFS Volumes в Docker
Рассмотрим пример создания TMPFS Volume (данные хранятся в RAM) следующим образом:
Создание BTRFS Volumes в Docker
Рассмотрим пример создания BTRFS Volume (данные хранятся на /dev/sda2 разделе) следующим образом:
Создание NFS Volumes в Docker
Рассмотрим пример создания NFS Volume (в удаленной части NFS) следующим образом:
Монтирование Volumes с хостевой машины в контейнер.
Добавление Volum-ов в контейнер(ы) являются хорошим решением т.к при завершении жизни контейнера все ваши данные будут утеряны. Если ваш контейнер генерирует непостоянные данные, рассмотрите возможность использования монтирования tmpfs, чтобы избежать постоянного хранения данных в любом месте и увеличить производительность контейнера, избегая записи на перезаписываемый слой контейнера.
Или вот еще примеры:
Монтирование tmpfs в Docker
Монтирование tmpfs является временным и сохраняется только в памяти хоста. Когда контейнер остановится, монтирование tmpfs будет удалено, и файлы, написанные там, не будут сохранены.
Ограничения монтирования tmpfs:
Хранение данных в Docker
Важная характеристика Docker-контейнеров — эфемерность. В любой момент контейнер может рестартовать: завершиться и вновь запуститься из образа. При этом все накопленные в нём данные будут потеряны. Но как в таком случае запускать в Docker приложения, которые должны сохранять информацию о своём состоянии? Для этого есть несколько инструментов.
В этой статье рассмотрим docker volumes, bind mount и tmpfs, дадим советы по их использованию, проведём небольшую практику.
Особенности работы контейнеров
Прежде чем перейти к способам хранения данных, вспомним устройство контейнеров. Это поможет лучше понять основную тему.
Контейнер создаётся из образа, в котором есть всё для начала его работы. Но там не хранится и тем более не изменяется ничего важного. В любой момент приложение в контейнере может быть завершено, а контейнер уничтожен, и это нормально. Контейнер отработал — выкидываем его и собираем новый. Если пользователь загрузил в приложение картинку, то при замене контейнера она удалится.
На схеме показано устройство контейнера, запущенного из образа Ubuntu 15.04. Контейнер состоит из пяти слоёв: четыре из них принадлежат образу, и лишь один — самому контейнеру. Слои образа доступны только для чтения, слой контейнера — для чтения и для записи. Если при работе приложения какие-то данные будут изменяться, они попадут в слой контейнера. Но при уничтожении контейнера слой будет безвозвратно потерян, и все данные вместе с ним.
В идеальном мире Docker используют только для запуска stateless-приложений, которые не читают и не сохраняют данные о своём состоянии и готовы в любой момент завершиться. Однако в реальности большинство программ относятся к категории stateful, то есть требуют сохранения данных между перезапусками.
Поэтому нужны способы сделать так, чтобы важные изменяемые данные не зависели от эфемерности контейнеров и, как бонус, были доступными сразу из нескольких мест.
В Docker есть несколько способов хранения данных. Наиболее распространенные:
Тома (docker volumes)
Тома — рекомендуемый разработчиками Docker способ хранения данных. В Linux тома находятся по умолчанию в /var/lib/docker/volumes/. Другие программы не должны получать к ним доступ напрямую, только через контейнер.
Тома создаются и управляются средствами Docker: командой docker volume create, через указание тома при создании контейнера в Dockerfile или docker-compose.yml.
В контейнере том видно как обычный каталог, который мы определяем в Dockerfile. Тома могут быть с именами или без — безымянным томам Docker сам присвоит имя.
Один том может быть примонтирован одновременно в несколько контейнеров. Когда никто не использует том, он не удаляется, а продолжает существовать. Команда для удаления томов: docker volume prune.
Можно выбрать специальный драйвер для тома и хранить данные не на хосте, а на удалённом сервере или в облаке.
Для чего стоит использовать тома в Docker:
Монтирование каталога с хоста (bind mount)
Это более простая концепция: файл или каталог с хоста просто монтируется в контейнер.
Используется, когда нужно пробросить в контейнер конфигурационные файлы с хоста. Например, именно так в контейнерах реализуется DNS: с хоста монтируется файл /etc/resolv.conf.
Другое очевидное применение — в разработке. Код находится на хосте (вашем ноутбуке), но исполняется в контейнере. Вы меняете код и сразу видите результат. Это возможно, так как процессы хоста и контейнера одновременно имеют доступ к одним и тем же данным.
Особенности bind mount:
Монтирование tmpfs
Tmpfs — временное файловое хранилище. Это некая специально отведённая область в оперативной памяти компьютера. Из определения выходит, что tmpfs — не лучшее хранилище для важных данных. Так оно и есть: при остановке или перезапуске контейнера сохранённые в tmpfs данные будут навсегда потеряны.
На самом деле tmpfs нужно не для сохранения данных, а для безопасности, полученные в ходе работы приложения чувствительные данные безвозвратно исчезнут после завершения работы контейнера. Бонусом использования будет высокая скорость доступа к информации.
Например, приложение в контейнере тормозит из-за того, что в ходе работы активно идут операции чтения-записи, а диски на хосте не очень быстрые. Если вы не уверены, в какой каталог идёт эта нагрузка, можно применить к запущенному контейнеру команду docker diff. И вот этот каталог смонтировать как tmpfs, таким образом перенеся ввод-вывод с диска в оперативную память.
Такое хранилище может одновременно работать только с одним контейнером и доступно только в Linux.
Общие советы по использованию томов
Монтирование в непустые директории
Если вы монтируете пустой том в каталог контейнера, где уже есть файлы, то эти файлы не удалятся, а будут скопированы в том. Этим можно пользоваться, когда нужно скопировать данные из одного контейнера в другой.
Если вы монтируете непустой том или каталог с хоста в контейнер, где уже есть файлы, то эти файлы тоже не удалятся, а просто будут скрыты. Видно будет только то, что есть в томе или каталоге на хосте. Похоже на простое монтирование в Linux.
Монтирование служебных файлов
С хоста можно монтировать любые файлы, в том числе служебные. Например, сокет docker. В результате получится docker-in-docker: один контейнер запустится внутри другого. UPD: (*это не совсем так. mwizard в комментариях пояснил, что в таком случае родительский docker запустит sibling-контейнер). Выглядит как бред, но в некоторых случаях бывает оправдано. Например, при настройке CI/CD.
Монтирование /var/lib/docker
Разработчики Docker говорят, что не стоит монтировать с хоста каталог /var/lib/docker, так как могут возникнуть проблемы. Однако есть некоторые программы, для запуска которых это необходимо.
Практика: создадим тестовый том
Ключ командной строки для Docker при работе с томами.
Для volume или bind mount:
Команды для управления томами в интерфейсе CLI Docker:
Commands:
create Create a volume (Создать том)
inspect Display detailed information on one or more
volumes (Отобразить детальную информацию)
ls List volumes (Вывести список томов)
prune Remove all unused volumes (Удалить все неиспользуемые тома)
rm Remove one or more volumes (Удалить один или несколько томов)
Создадим тестовый том:
$ docker volume create slurm-storage
slurm-storage
Вот он появился в списке:
$ docker volume ls
DRIVER VOLUME NAME
local slurm-storage
Команда inspect выдаст примерно такой список информации в json:
$ docker inspect slurm-storage
[
<
«CreatedAt»: «2020-12-14T15:00:37Z»,
«Driver»: «local»,
«Labels»: <>,
«Mountpoint»: «/var/lib/docker/volumes/slurm-storage/_data»,
«Name»: «slurm-storage»,
«Options»: <>,
«Scope»: «local»
>
]
Попробуем использовать созданный том, запустим с ним контейнер:
После самоуничтожения контейнера запустим другой и подключим к нему тот же том. Проверяем, что в нашем файле:
То же самое, отлично.
Теперь примонтируем каталог с хоста:
Docker не любит относительные пути, лучше указывайте абсолютные!
Теперь попробуем совместить оба типа томов сразу:
Отлично! А если нам нужно передать ровно те же тома другому контейнеру?
Вы можете заметить некий лаг в обновлении данных между контейнерами, это зависит от используемого Docker драйвера файловой системы.
Создавать том заранее необязательно, всё сработает в момент запуска docker run:
Посмотрим теперь на список томов:
$ docker volume ls
DRIVER VOLUME NAME
local slurm-storage
local newslurm
Ещё немного усложним команду запуска, создадим анонимный том:
Такой том самоуничтожится после выхода из контейнера, так как мы указали ключ –rm.
Если этого не сделать, давайте проверим что будет:
Хозяйке на заметку: тома (как образы и контейнеры) ограничены значением настройки dm.basesize, которая устанавливается на уровне настроек демона Docker. Как правило, что-то около 10Gb. Это значение можно изменить вручную, но потребуется перезапуск демона Docker.
При запуске демона с ключом это выглядит так:
Однажды увеличив значение, его уже нельзя просто так уменьшить. При запуске Docker выдаст ошибку.
Если вам нужно вручную очистить содержимое всех томов, придётся удалять каталог, предварительно остановив демон:
🐳 Объяснение томов Docker с примерами
В случае Docker данные будут храниться внутри контейнера.
И когда мы удалим контейнер, все данные будут потеряны.
В этом руководстве мы узнаем, как создавать тома Docker, как подключать их к контейнерам и как один и тот же том можно использовать для хранения данных в двух или более контейнерах.
Почему нам нужны тома для Docker?
Начало работы с томами Docker
Создание томов Docker
Синтаксис для создания тома Docker:
Список Docker томов
Чтобы показать список всех созданных томов Docker, запустите:
Проверка томов Docker
Команда docker volume inspect предоставит вам подробную информацию о создании тома, расположении, имени и области действия.
Создание контейнеров с прикрепленным к ним томом
Удалить тома Docker
Синтаксис для удаления тома:
Давайте удалим том с именем devops_volume.
На снимке экрана показано, что мы пытаемся удалить том, но не можем удалить его, потому что том уже используется.
И тогда мы можем удалить его.
Для этого сначала удалите все работающие контейнеры, используя команду:
А затем удалите том:
Удалить все тома одновременно
Используя команду docker rm, мы можем удалять один том за раз.
Если у нас есть несколько томов и мы хотим удалить все тома, мы должны использовать команду prune.
Давайте создадим несколько томов:
Теперь удалите все тома Docker одновременно, используя команду:
Мы удалили все тома за один раз.
Добавить комментарий Отменить ответ
• Свежие записи
• Категории
• itsecforu.ru
• Страны посетителей
IT is good
IT is goodХранилище Docker-контейнеров
Введение
Виртуализация на основе процессов Docker имеет много преимуществ, особенно в сочетании с преимуществами слоев образов. Это позволяет невероятно быстро производить генерацию контейнеров и использовать легкий вес ресурсов. Однако одним из побочных эффектов эфемерной модели процесса Docker является то, что вы должны обязательно планировать, когда и как вы хотите сохранить постоянные данные. В этом руководстве мы познакомим вас с собственным решением Docker для этой проблемы: Docker volumes (тома Docker).
Куда отправляются данные, когда они записываются в контейнер?
Предположим, что мы заходим в оболочку внутри busybox контейнера:
Затем, давайте запишем некоторые данные, скажем, в /tmp:
echo «Data!» > /tmp/data
cat /tmp/data
Мы видим, что данные определенно записываются. Но куда же на самом деле идут эти данные? Как мы узнали ранее, образы Docker состоят из слоев, уложенных друг на друга, чтобы привести к окончательному образу. Каждый из этих слоев содержит данные, измененные в такой операции, как установка инструмента, добавление исходного кода и т.д. Каждый из этих слоев становится доступным только для чтения после его создания. Когда контейнер создается из образа, тонкий R/W слой добавляется поверх предыдущих слоев образа. Этот слой обрабатывает все вызовы записи из контейнера, которые, в противном случае, были бы направлены на слои ниже, доступные только для чтения. Помните, что контейнеры эфемерны по своей природе. Они предназначены для того, чтобы иметь определенную продолжительность жизни и умереть в какой-то момент, как и любой процесс. Тонкий слой чтения/записи также эфемерен — он исчезает вместе с контейнером. Таким образом, любые записи, которые мы выполняем в контейнере, ограничены временем жизни этого контейнера. Они исчезнут, когда контейнер будет уничтожен. Это очевидное ограничение, которое не способствует хранению статусной информации. Итак, как разработчики и администраторы работают с этим? Они используют Тома Docker.
Тома Docker
Давайте создадим том Docker и посмотрим его в действии:
docker volume create
Простой вызов docker volume create позволит создать новый том. Если мы проверим этот том, мы можем увидеть, где он живет на хост-файловой системе:
docker volume inspect 1d358c3fc3750f98345713eee5c294dee526a3f5d0bd41a0ff4d117218c4af73
[
<
«CreatedAt»: «2020-05-17T16:25:30Z»,
«Driver»: «local»,
«Labels»: <>,
«Mountpoint»: «/var/lib/docker/volumes/1d358c3fc3750f98345713eee5c294dee526a3f5d0bd41a0ff4d117218c4af73/_data»,
«Name»: «1d358c3fc3750f98345713eee5c294dee526a3f5d0bd41a0ff4d117218c4af73»,
«Options»: <>,
«Scope»: «local»
>
]
echo «Hello!» > /data/hello
Эти данные видны снаружи контейнера, в пути монтирования тома на хосте:
DRIVER VOLUME NAME
local 1d358c3fc3750.
local c63a0af5c8282.
local testdata
Это означает, что мы можем использовать этот том снова с другим контейнером или даже несколькими контейнерами. Давайте проверим это прямо сейчас. Во-первых, подключите том к busybox контейнеру:
Внутри контейнера давайте напечатаем информацию о системе, а затем запишем на том:
Linux 7e299450b997 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 GNU/Linux
Теперь запустите второй busybox контейнер, работающий одновременно с первым:
Нам доступны данные, которые были записаны в первом контейнере:
Linux c5bf9ca04d3a 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 GNU/Linux
Hello 2
Это подчеркивает еще одно из преимуществ томов Docker: совместное использование данных между контейнерами.
Варианты Использования Тома Docker
Есть много допустимых вариантов использования для контейнеров Docker, но здесь мы рассмотрим два наиболее распространенных. Для каждого из этих примеров давайте представим, что у нас есть простое приложение, которое работает и собирает данные с некоторых датчиков погоды. Мы хотим собрать кучу метеорологических показателей, сохранить их, а затем использовать их снова в будущем. Давайте назовем наше тестовое приложение WeatherMon.
Сохранение данных за пределами срока службы контейнера
Совместное Использование Данных Между Контейнерами
Предположим, что мы уже используем контейнер WeatherMon некоторое время и собрали довольно много данных. Мы хотим проанализировать эти данные, чтобы определить информацию, такую как средняя температура за день, или какая неделя в месяце имела самую высокую среднюю влажность. Используя тома Docker, мы можем смонтировать существующий том в новый контейнер, WeatherMon-Analytics. Этот новый контейнер может считывать данные, не прерывая их сбор контейнером WeatherMon. Затем он может выполнять аналитику, которую мы хотим, и хранить эту информацию в том же томе или в другом томе, если это необходимо.
Другие Типы Монтирования
Есть два других типа томов Docker, которые мы еще не обсуждали: bind mount и tempfs mount.
Bind Mount
Tempfs Mount
Драйвера Томов
По умолчанию тома хранят информацию о базовой хост-системе. Docker также имеет концепцию, называемую драйверами томов, которая позволяет указать, как и где хранить тома. Например, вы можете хранить том Docker внутри корзины Amazon S3. Это может быть удобно, если вы хотите, чтобы информация сохранялась не только за пределами срока службы контейнера, но и за пределами срока службы хоста.
Вывод
Все обсуждаемые здесь понятия разбиты на гораздо более подробные части в документации Docker о хранилище. Примеры использования каждого типа монтирования и более подробное введение в концепцию драйверов томов доступны по этой ссылке.