Sauvegarde de Synapse impossible

Thatoo · April 27, 2020, 10:44pm

Et bien j’ai maintenant la même chose que ce que j’avais auparavant pour nextcloud (Sauvegarde de Nextcloud impossible) mais pour Synapse aussi maintenant.

Dommage…

372226 INFO Création d'une archive de sauvegarde à partir des fichiers collectés …
372226 DEBUG Création de l’archive tar de la sauvegarde …
1614410 ERROR Impossible d'ajouter des fichiers '/var/lib/matrix-synapse' (nommés dans l'archive : 'apps/synapse/backup/var/lib/matrix-synapse') à sauvegarder dans l'archive compressée '/home/yunohost.backup/archives/20200427-220536.tar.gz'
Traceback (most recent call last):
  File "/usr/lib/moulinette/yunohost/backup.py", line 1814, in backup
    tar.add(path['source'], arcname=path['dest'])
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2025, in add
    self.addfile(tarinfo, f)
  File "/usr/lib/python2.7/tarfile.py", line 2054, in addfile
    copyfileobj(fileobj, self.fileobj, tarinfo.size)
  File "/usr/lib/python2.7/tarfile.py", line 274, in copyfileobj
    raise IOError("end of file reached")
IOError: end of file reached
1615108 DEBUG action [8155.1] executed in 1613.152s
1615108 DEBUG lock has been released
1615109 ERROR Impossible de créer la sauvegarde

Je pense qu’après le confinement je vais devoir faire une réinstallation… J’espère que je vais reussir à m’en sortir sans perte de données.

Aleks · April 28, 2020, 1:53am

Mouarf, à mon avis c’est pas ton installation qui à un problème, ça doit être synapse qui stocke tout un bordel de données sous une forme pas simple à backuper … Par pitié, arrêtons avec cette manie de vouloir réinstaller au moindre soucis. Je sais que l’informatique c’est abstrait et que on a vite le sentiment de pas avoir le contrôle car c’est compliqué, mais il n’empêche que lorsque le grille-pain tombe en panne, on déménage pas dans un autre appart’ pour résoudre le soucis du grille-pain…

Sinon si tu n’as pas peur de bricoler un peu, tu peux aussi chercher quel fichier pose problème…

Pour ça si je devais le faire, j’ouvrirais le fichier /usr/lib/python2.7/tarfile.py et je rajouterais un print avant la ligne 274 pour avoir + d’infos …

        if len(buf) < BUFSIZE:
             print(src)
             raise IOError("end of file reached")

Thatoo · April 28, 2020, 6:44am

ok, je vais essayer la piste que tu proposes.

En tout cas, c’est bien la même erreur que pour la sauvegarde de nextcloud que je viens de retenter.

77959 INFO Création d'une archive de sauvegarde à partir des fichiers collectés …
77960 DEBUG Création de l’archive tar de la sauvegarde …
1935132 ERROR Impossible d'ajouter des fichiers '/home/yunohost.app/nextcloud/data' (nommés dans l'archive : 'apps/nextcloud/backup/home/yunohost.app/nextcloud/data') à sauvegarder dans l'archive compressée '/home/yunohost.backup/archives/20200428-062602.tar.gz'
Traceback (most recent call last):
  File "/usr/lib/moulinette/yunohost/backup.py", line 1814, in backup
    tar.add(path['source'], arcname=path['dest'])
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2032, in add
    recursive, exclude, filter)
  File "/usr/lib/python2.7/tarfile.py", line 2025, in add
    self.addfile(tarinfo, f)
  File "/usr/lib/python2.7/tarfile.py", line 2054, in addfile
    copyfileobj(fileobj, self.fileobj, tarinfo.size)
  File "/usr/lib/python2.7/tarfile.py", line 274, in copyfileobj
    raise IOError("end of file reached")
IOError: end of file reached
1935257 DEBUG action [28119.1] executed in 1934.545s
1935261 DEBUG lock has been released
1935264 ERROR Impossible de créer la sauvegarde

Par contre le reste se sauvegarde bien.
Je vais ajouter

if len(buf) < BUFSIZE:
             print(src)
             raise IOError("end of file reached")

à la ligne 273 de /usr/lib/python2.7/tarfile.py et relancer une des deux sauvegardes.

Thatoo · April 28, 2020, 9:13am

@Aleks, ça n’offre pas beaucoup plus d’information ce print(src) apparemment. Rien n’a changé dans le --debug si on met de côté les numéro de ligne qui sont augmenté de un. Aucune information en plu. Test avec backup de synapse :

331365 DEBUG Création de l’archive tar de la sauvegarde …
<open file ‘/var/lib/matrix-synapse/media/local_thumbnails/Ik/Ej/gxuHsvFdMjQaImjHlefU/320-180-image-png-scale’, mode ‘rb’ at 0x7fe60ac710c0>
1520956 ERROR Impossible d’ajouter des fichiers ‘/var/lib/matrix-synapse’ (nommés dans l’archive : ‘apps/synapse/backup/var/lib/matrix-synapse’) à sauvegarder dans l’archive compressée ‘/home/yunohost.backup/archives/20200428-071623.tar.gz’
Traceback (most recent call last):
File “/usr/lib/moulinette/yunohost/backup.py”, line 1814, in backup
tar.add(path[‘source’], arcname=path[‘dest’])
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2033, in add
recursive, exclude, filter)
File “/usr/lib/python2.7/tarfile.py”, line 2026, in add
self.addfile(tarinfo, f)
File “/usr/lib/python2.7/tarfile.py”, line 2055, in addfile
copyfileobj(fileobj, self.fileobj, tarinfo.size)
File “/usr/lib/python2.7/tarfile.py”, line 275, in copyfileobj
raise IOError(“end of file reached”)
IOError: end of file reached
1521475 DEBUG action [31015.1] executed in 1519.643s
1521475 DEBUG lock has been released
1521475 ERROR Impossible de créer la sauvegarde

J’enlève le print(src)?

Aleks · April 28, 2020, 5:25pm

Oui si tu veux

Le fichier problématique semble être : /var/lib/matrix-synapse/media/local_thumbnails/Ik/Ej/gxuHsvFdMjQaImjHlefU/320-180-image-png-scale

Enfin c’est pas clair si c’est le fichier qui est problématique ou bien si c’est tar qui sais pas le gérer …

Est-ce que tu veux tenter de la bouger ailleurs pour voir si ça améliore la situation ?

Ou bien tu peux aussi faire un ls -l /var/lib/matrix-synapse/media/local_thumbnails/Ik/Ej/gxuHsvFdMjQaImjHlefU/320-180-image-png-scale pour voir si y’a un truc bizarre avec …

Perso je tenterais même de faire 'mv /var/lib/matrix-synapse/media/local_thumbnails /root/synapse_thumbnails_backup' …

Thatoo · April 28, 2020, 5:54pm

rrrroooohhh mais comment j’ai pu ne pas voir ces lignes…
Je vais essayer et je viens faire le compte rendu.

ls -l donne

-rw-r–r-- 1 matrix-synapse matrix-synapse 73825 avril 1 13:27 /var/lib/matrix-synapse/media/local_thumbnails/Ik/Ej/gxuHsvFdMjQaImjHlefU/320-180-image-png-scale

Thatoo · April 28, 2020, 9:38pm

Impossible de copier ou déplacer, erreur d’entrée/sortie. J’ai tenté une suppression.
Il y en a eu un second : /var/lib/matrix-synapse/media/remote_content/matrix.org/QN/IO/SCuKVkwvfCJpBylYDSJn

Et ça a fonctionné!!!

Et du coup, j’ai aussi trouvé ce qui bloquait le backup de nextcloud depuis des mois.
/home/yunohost.app/nextcloud/data/titouan/files/InstantUpload/snapseed/2019/10/IMG_20191026_122557-02.jpeg

Un grand merci @Aleks .
J’espère juste que l’absence de ces trois fichiers ne poseront pas de problème à l’avenir…
Comment savoir?

Mince, ça replante quand je fais un backup complet…
ah ben oui, c’est logique, ce sont les deux fichiers que j’ai déplacé… et que j’ai dû supprimé aussi donc. J’espère qu’ils ne s’avéreront pas être indispensables.

system · May 13, 2020, 9:38pm

This topic was automatically closed 15 days after the last reply. New replies are no longer allowed.