В проекте есть два разных типа места для файлов. Выбор каталога влияет на скорость и сохранность данных.
Сохраняется после stop/start, но работает медленнее.
быстрее, но удаляется после stop/start.
`~/project`: код, конфигурация, датасеты, чекпоинты и результаты.
`/tmp`: распаковка, кэши, промежуточные файлы и временные шарды. Работает
~/project — постоянный workspace#
Проводник встроенного VS Code открывает каталог /home/coder/project, сокращённо ~/project. Он подключён к постоянному хранилищу проекта. Файлы в нём сохраняются между сессиями, остановками и повторными запусками проекта.
Это объектное FUSE-хранилище. Оно рассчитано на сохранность, но операции с множеством мелких файлов и частые случайные чтения/записи могут быть заметно медленнее локального диска контейнера.
/tmp — быстрое временное место#
/tmp находится внутри текущего контейнера. Используйте его для данных, которые можно скачать или создать заново:
кэшей Hugging Face, PyTorch и компиляции;
распакованных архивов;
подготовленных шардов датасета;
промежуточных результатов;
рабочих копий во время обучения.
Файлы из /tmp исчезают после остановки, рестарта, миграции или пересоздания контейнера. Не храните там единственную копию чекпоинта или датасета.
Практический шаблон#
mkdir -p /tmp/my-run
# Работайте с быстрыми временными данными
export TMPDIR=/tmp
export HF_HOME=/tmp/huggingface
export TORCH_HOME=/tmp/torch
# Перед остановкой сохраните важное
mkdir -p ~/project/runs/my-run
rsync -a --info=progress2 /tmp/my-run/ ~/project/runs/my-run/Если rsync отсутствует, используйте cp -a.
Что проверено#
В контрольном проекте файл в ~/project пережил полный stop/start. Файл с тем же назначением в /tmp после запуска отсутствовал.
Короткий тест последовательной записи в той же сессии показал большую разницу между каталогами. Это пример, а не обещание скорости: результат зависит от нагрузки, размера и количества файлов.
