Problem with /home/yunohost.backup/tmp not empty

:uk:/:us: My YunoHost server

Hardware: computer
YunoHost version: 11.2.6 (stable)
I have access to my server : Through SSH | through the webadmin | direct access via keyboard / screen
Are you in a special context or did you perform some particular tweaking on your YunoHost instance ? : yes
If yes, please explain: Old system, surely many smalls changes over the years :slightly_frowning_face:

Description of my issue

I wanted to finally have distant backups, not only local ones.
For years, I use borg app on an external disk, with 2 sets of backups (one daily for important apps + system, one weekly for the rest).

Yesterday I opened an account on borgbase to have a distant backup, and the backup of NextCloud failed (500Gb, it is quite big).
Seeing the logs, tonight it failed because the local backup ran while the manual distant one was still running.
Here is the full log, but I’ll copy the only important lines under this : https://paste.yunohost.org/raw/mowenukodo

2023-11-29 02:08:09,270: DEBUG - temporary directory for backup '/home/yunohost.backup/tmp/auto_nextcloud' already exists... attempting to clean it
2023-11-29 02:08:09,308: WARNING - Impossible de nettoyer le dossier temporaire de sauvegarde
2023-11-29 02:08:09,319: WARNING - Impossible de nettoyer le dossier temporaire de sauvegarde

Here are the current backup configurations :
borg (local) : Sun *-*-* 5:00:00
borg__2 (local) : Daily
borg__3 (distant) : Weekly
borg__4 (distant) : *-*-* 02:00:00

I’ll deactivate all backups (by setting them a calendar in the past), but how do I empty the /home/yunohost.backup/tmp folder ?
I can move the folder, but I can not empty it.

How can I delete it ?


:fr: Mon serveur YunoHost

Matériel: ordinateur
Version de YunoHost: 11.2.6 (stable)
J’ai accès à mon serveur : En SSH | Par la webadmin | En direct avec un clavier/écran
Êtes-vous dans un contexte particulier ou avez-vous effectué des modificiations particulières sur votre instance ? : oui
Si oui, expliquer: Ce serveur a plusieurs années, au fil du temps j’ai du faire des modifs

Description du problème

J’ai enfin agi pour avoir des sauvegardes distantes, pas juste des locales.
Pendant des années, j’ai utilisé l’app borg sur un disque externe, avec deux jeux de sauvegarde (journalière pour les données importantes + système, hebdomadaire pour le reste).

Hier, j’ai ouvert un compte sur borgbase pour la sauvegardes distante, et la sauvegarde de NextCloud a échouée (500Go, c’est gros).
Au vu des logs, ça a échoué parce que le backup local et distant se sont catapultés l’un l’autre.
Voici le log complet, mais aussi les lignes importantes dans le message : https://paste.yunohost.org/raw/mowenukodo

2023-11-29 02:08:09,270: DEBUG - temporary directory for backup '/home/yunohost.backup/tmp/auto_nextcloud' already exists... attempting to clean it
2023-11-29 02:08:09,308: WARNING - Impossible de nettoyer le dossier temporaire de sauvegarde
2023-11-29 02:08:09,319: WARNING - Impossible de nettoyer le dossier temporaire de sauvegarde

Voici la configuration actuelle des sauvegardes :
borg (local) : Sun *-*-* 5:00:00
borg__2 (local) : Daily
borg__3 (distant) : Weekly
borg__4 (distant) : *-*-* 02:00:00

Je vais désactiver l’ensemble des sauvegardes (en leur mettant une date dans le passé) mais je ne réussis pas à vider le dossier /home/yunohost.backup/tmp
J’ai pu renommer le dossier auto_nextcloud en autre chose, mais la suppression est impossible.

Comment le supprimer ?

New manual backup : failed
Here are the logs : hastebin
I am not sure at all that the backup failed (I’ll check this later) but like last time, the folder in /home/yunohost.backup/tmp/auto_nextcloud is still here.

This backup also backups other apps, without any problem.

Note : the NextCloud app have a specific configuration, with some folders on another hard disk.
In this folder, there is this folder, which could be the culprit :
/home/yunohost.backup/tmp/auto_nextcloud/apps/nextcloud/backup/mnt/nextcloudDisk/nextcloud/
And as you can guess, I have a folder for nextcloud in /mnt/nextcloudDisk/nextcloud

Manually, so it continue to work a little, I did a mv /home/yunohost.backup/tmp/auto_nextcloud /home/yunohost.backup/tmp/auto_nextcloud_bck which overrode the old auto_nextcloud_bck without any complain :person_shrugging:


Nouvelle sauvegarde manuelle : échec
Voici les logs : hastebin
Je ne suis pas sûr que la sauvegarde ait échouée (je vérifiais ça plus tard), mais comme la dernière fois, le dossier /home/yunohost.backup/tmp/auto_nextcloud est toujours là.

Cette sauvegarde s’occupe aussi d’autres applications, sans soucis.

Note : NextCloud est un peu spécifique, avec ses données sur un autre disque dur.
Dans le dossier tmp, il y a ce dossier, qui est peut-être la cause du problème : /home/yunohost.backup/tmp/auto_nextcloud/apps/nextcloud/backup/mnt/nextcloudDisk/nextcloud/
Vous vous en doutez, j’ai bien un dossier nextcloud dans /mnt/nextcloudDisk/nextcloud

Manuellement, pour que ça continue de marchotter, j’ai fait un mv /home/yunohost.backup/tmp/auto_nextcloud /home/yunohost.backup/tmp/auto_nextcloud_bck, ça a écrasé l’ancien auto_nextcloud_bck sans râler :person_shrugging:

Good news : the backups seems to be complete :

~ borg info ssh://[hash]@[hash].repo.borgbase.com/./repo::_auto_nextcloud-2023-11-28_11:27                     
Enter passphrase for key ssh://[hash]@[hash].repo.borgbase.com/./repo: 
Archive name: _auto_nextcloud-2023-11-28_11:27
Archive fingerprint: 
Comment: 
Hostname: myserver
Username: root
Time (start): Tue, 2023-11-28 11:27:26
Time (end): Wed, 2023-11-29 01:59:05
Duration: 14 hours 31 minutes 38.66 seconds
Number of files: 563576
Command line: /opt/borg-env/bin/borg create ssh://[hash]@[hash].repo.borgbase.com/./repo::_auto_nextcloud-2023-11-28_11:27 ./
Utilization of maximum supported archive size: 0%
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:              595.06 GB            580.35 GB             37.89 MB
All archives:                1.23 TB              1.20 TB            515.74 GB

                       Unique chunks         Total chunks
Chunk index:                  775587              1796065

I’ve been dumb, and really wanted to delete the folder, so I did it…
A few umount, and php-fpm stopped, and tadaaaa, folder destroyed !

And tadaaaaaa, nextcloud destroyed.

Restauration running (with a local backup, to go faster)


J’ai été idiot et ai vraiment voulu supprimer le dossier… alors je l’ai supprimé.
Un peu de umount, php-fpm stoppé, et pouf, dossier détruit !

Et pouf, Nextcloud détruit !

Restauration en cours (avec une sauvegarde locale, pour aller plus vite)

Info : Préparation de l'archive pour restauration...
Info : Restauration de nextcloud...
Info : [....................] > Loading settings...
Info : [+...................] > Validating restoration parameters...
Info : [#...................] > Restoring the app main directory...
Info : [#++.................] > Restoring the MySQL database...
Info : [###.................] > Recreating the dedicated system user...
Info : [###++...............] > Reinstalling dependencies...
Info : [#####+++++++++++....] > Reconfiguring PHP-FPM...
Info : [################....] > Restoring cron job...
Info : [################....] > Restoring the logrotate configuration...
Info : [################+...] > Restoring data directory...
Info : [#################+..] > Adding multimedia directories...
Info : [##################+.] > Restoring the Fail2Ban configuration...
Info : [###################.] > Reloading NGINX web server...
Info : [####################] > Restoration completed for nextcloud
Succès ! Restauration terminée

(I finally restaured from borgbase, but only the app, without the data, I’ll improve the borg documentation for this, because 500Gb of data that are still on the disk and not needed, it can be usefull to have a command for this).

In tomorrow episode : a new backup will run, we’ll see if the tmp folder is cleaned or not.

:scream:

Tonight’s backup ran without any problems, no folder in /home/yunohost.backup/tmp, so : topic solved? :person_shrugging:


La sauvegarde de cette nuit a fonctionné sans problèmes, aucun dossier restant dans /home/yunohost.backup/tmp, donc le sujet est clos ? :person_shrugging:

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.