Import users with csv is not working

mrflos · June 16, 2025, 10:58am

What type of hardware are you using: Raspberry Pi 3, 4+
What YunoHost version are you running: 12.0.17
How are you able to access your server: The webadmin
SSH
Direct access via physical keyboard/screen
Are you in a special context or did you perform specific tweaking on your YunoHost instance ?: in the webadmin, using the csv import feature for users

Describe your issue

in the webadmin after uploading a simple csv formatted like et exported one, with only 3 entries (like titi, tata, toto), i get an 500 error:

Erreur: "500"

Action: "POST" /yunohost/api/users/import

Message d'erreur :
Erreur serveur inattendue

Share relevant logs or error messages

No direct option to share via yunopaste so here is the log

Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 498, in process
    ret = self.actionsmap.process(arguments, timeout=30, route=_route)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/moulinette/actionsmap.py", line 517, in process
    arguments = vars(self.parser.parse_args(args, **kwargs))
                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 712, in parse_args
    ret = parser.parse_args(args, ret)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 251, in parse_args
    return self._parser.parse_args(arg_strings, namespace)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 1874, in parse_args
    args, argv = self.parse_known_args(args, namespace)
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 1907, in parse_known_args
    namespace, args = self._parse_known_args(args, namespace)
                      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 2122, in _parse_known_args
    stop_index = consume_positionals(start_index)
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 2078, in consume_positionals
    take_action(action, args)
  File "/usr/lib/python3.11/argparse.py", line 1967, in take_action
    argument_values = self._get_values(action, argument_strings)
                      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/moulinette/interfaces/__init__.py", line 285, in _get_values
    value = super(ExtendedArgumentParser, self)._get_values(action, arg_strings)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 2501, in _get_values
    value = self._get_value(action, arg_string)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/argparse.py", line 2534, in _get_value
    result = type_func(arg_string)
             ^^^^^^^^^^^^^^^^^^^^^
OSError: [Errno 36] File name too long: 'dXNlcm5hbWU7Zmlyc3RuYW1lO2xhc3RuYW1lO3Bhc3N3b3JkO21haWw7bWFpbC1hbGlhczttYWlsLWZvcndhcmQ7bWFpbGJveC1xdW90YTtncm91cHMKdG90bzt0b3RvO3RvdG87cXdxV0lxd2Vyd3FAZHNkYWZFZHNmM3JzZCZyd2Vyd2Vyd2VyMTM7dG90b0BtcmZsb3MucHc7OzswOwp0YXRhO3RhdGE7dGF0YTtxd3FXSXF3ZXJ3cUBkc2RhZkVkc2YzcnNkJnJ3ZXJ3ZXJ3ZXIxNDt0YXRhQG1yZmxvcy5wdzs7OzA7CnRpdGk7dGl0aTt0aXRpO3F3cVdJcXdlcndxQGRzZGFmRWRzZjNyc2QmcndlcndlcndlcjE1O3RpdGlAbXJmbG9zLnB3Ozs7MDsK'

otm33 · June 16, 2025, 11:51am

Salut @mrflos

Le problème est connu mais pas encore résolu visiblement.

github.com/YunoHost/issues

Drag and drop is failing in import users field

opened 04:55PM - 03 Dec 21 UTC

ericgaspar

Bug

Web administration

In the **webadmin/users/import users**, drag and drop of a CSV file outputs the …following error: `the following arguments are required: csvfile` Edit: I tried again in YNH 12.0.6, exporting my users list as CSV and importing it (with `Mettre à jour les comptes existants` and `Supprimer les comptes non répertoriés` set to `non`) ``` Traceback (most recent call last): File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 473, in process ret = self.actionsmap.process(arguments, timeout=30, route=_route) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3/dist-packages/moulinette/actionsmap.py", line 499, in process arguments = vars(self.parser.parse_args(args, **kwargs)) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 687, in parse_args ret = parser.parse_args(args, ret) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3/dist-packages/moulinette/interfaces/api.py", line 232, in parse_args return self._parser.parse_args(arg_strings, namespace) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 1874, in parse_args args, argv = self.parse_known_args(args, namespace) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 1907, in parse_known_args namespace, args = self._parse_known_args(args, namespace) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 2122, in _parse_known_args stop_index = consume_positionals(start_index) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 2078, in consume_positionals take_action(action, args) File "/usr/lib/python3.11/argparse.py", line 1967, in take_action argument_values = self._get_values(action, argument_strings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3/dist-packages/moulinette/interfaces/__init__.py", line 267, in _get_values value = super(ExtendedArgumentParser, self)._get_values(action, arg_strings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 2501, in _get_values value = self._get_value(action, arg_string) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.11/argparse.py", line 2534, in _get_value result = type_func(arg_string) ^^^^^^^^^^^^^^^^^^^^^ FileNotFoundError: [Errno 2] No such file or directory: 'dXNlcm5hbWU7Zmlyc3RuYW1lO2xhc3RuYW1lO3Bhc3N3b3JkO21haWw7bWFpbC1hbGlhczttYWlsLWZvcndhcmQ7bWFpbGJveC1xdW90YTtncm91cHMNCmVyaWM7w4lyaWM7R2FzcGFyOztlcmljQGVyaWNhbmRtYXJpZS5mcjs7OzA7YWRtaW5zDQptYXJpZTtNYXJpZTtHYXNwYXI7O21hcmllQGVyaWNhbmRtYXJpZS5mcjs7OzA7' ```

github.com/YunoHost/issues

Import users.csv - OSError: [Errno 36] File name too long

opened 01:21PM - 07 Mar 25 UTC

Gredin67

Bug

### Describe the bug Trying to import users.csv from firefox on Windows with `up…date_existing_accounts=true` and `remove missing accounts=false` `error "500"` `Action: "POST" /yunohost/api/users/import` `OSError: [Errno 36] File name too long` ### Context - Hardware: VPS bought online - YunoHost version: 12.0.11 - I have access to my server: through the webadmin - Are you in a special context or did you perform some particular tweaking on your YunoHost instance?: no - firefox on Windows ### To reproduce From firefox on Windows: - export users.csv - add 100 alias to a given account from text editor - import updated users.csv [users.csv](https://github.com/user-attachments/files/19127114/users.csv) ### Expected behavior 100 alias added ### Logs `error "500"` `Action: "POST" /yunohost/api/users/import` https://paste.yunohost.org/unonusotop.sql `OSError: [Errno 36] File name too long`

otm33 · June 16, 2025, 4:32pm

Par contre, l’import via cli fonctionne (il faut penser à séparer prénom et nom par un point de concaténation pour que l’adresse mail soit acceptée toutefois).

otm33 · June 19, 2025, 10:01am

J’ai creusé ce problème d’import d’utilisateurs par fichier csv via la webadmin. Comme d’autres, je rencontre cette erreur sur trois de mes instances :
"OSError: [Errno 36] File name too long: "dXN..."
Le contenu du fichier encodé en base64 est passé comme nom du fichier, ce qui provoque l’erreur.

J’ai cherché (en toute honnêteté avec l’aide de l’IA) une solution à ce problème. Voici ce à quoi nous sommes arrivés.
@Aleks , pourrais-tu y jeter un coup d’œil et dire si ces modifications sont viables ?

Elles ont permis de restaurer la fonction d’import d’utilisateurs par csv sur :

deux instances 12.0.17
une instance 12.1.6.1 testing en fonction
une instance 12.1.6.1 testing en dev
NB: Sur 12.0.17, il y a un léger bug lors de la création des utilisateurs dans le ldap si leur adresse mail est sur le modèle prenomnom@domain.tld : un message d’erreur s’affiche (mail soi disant vide: ‘info’: “object class ‘mailAccount’ requires attribute ‘mail’”}) mais le compte est quand même créé. Pour éviter l’affichage de cette erreur, il faut créer une adresse sur le modèle prenom.nom@domain.local. Une magie grise la transforme en prenomnom@domain.tld et ldap ne ronchonne pas.
Ce bug n’est plus présent sur 12.1.6.1.

Je n’ai pas de recul suffisant pour juger de potentielles conséquences non désirées ou d’effets de bord (quelques tests et quelques heures de mise en service).

D’avance, merci pour ton aide.

Modifications effectuées

dans l’actionsmap, changement du type de l’argument csvfile pour faire passer le contenu du csv en chaîne de caractères.

 ### user_import()
 import:
     action_help: Import several users from CSV
     api: POST /users/import
     arguments:
         csvfile:
             help: "CSV file with columns username, firstname, lastname, password, mail, mailbox-quota, mail-alias, mail-forward, groups (separated by coma)"
             type: str

Dans user.py, ajouts

a) en-tête :

import base64
from io import StringIO

b) dans le bloc de la fonction user_import, entre

    existing_domains = domain_list()["domains"]

et

    reader = csv.DictReader(csvfile, delimiter=";", quotechar='"')

ajout de :

    if isinstance(csvfile, str):
        if os.path.exists(csvfile): # pour l'import via CLI dans le cas où le fichier est stocké sur le serveur et a un chemin.
            with open(csvfile, "r", encoding="utf-8") as f:
                csvfile = StringIO(f.read()) # ouverture, stockage, levture
            logger.info("Fichier CSV chargé depuis un chemin local.")
        else: # dans le cas où le fichier n'est pas sur le serveur, on suppose qu'il est en base64 car importé par l'interface web
            try:
                decoded = base64.b64decode(csvfile, validate=True).decode("utf-8") # decodage
                csvfile = StringIO(decoded) # stockage
                logger.info("Fichier CSV décodé depuis base64.")
            except Exception: # si échec
                csvfile = StringIO(csvfile)
    else:
        csvfile = StringIO(csvfile.read()) # stockage final avant lecture et traitement

c) Si le script est laissé ainsi, une mise à jour des utilisateurs par fichier csv écrase les mots de passe existants, même si la valeur de la colonne password du csv est laissée vide. Pour éviter cela et faire en sorte que le mot de passe ne soit pas mis à jour si la valeur password n’est pas définie, remplacement dans def _import_update de

    user_update(
        new_infos["username"],
        fullname=(new_infos["firstname"] + " " + new_infos["lastname"]).strip(),
        change_password=new_infos["password"],
        mailbox_quota=new_infos["mailbox-quota"],
        mail=new_infos["mail"],
        add_mailalias=new_infos["mail-alias"],
        remove_mailalias=remove_alias,
        remove_mailforward=remove_forward,
        add_mailforward=new_infos["mail-forward"],
        from_import=True,
    )

par

    update_kwargs = {
        "fullname": (new_infos["firstname"] + " " + new_infos["lastname"]).strip(),
        "mailbox_quota": new_infos["mailbox-quota"],
        "mail": new_infos["mail"],
        "add_mailalias": new_infos["mail-alias"],
        "remove_mailalias": remove_alias,
        "remove_mailforward": remove_forward,
        "add_mailforward": new_infos["mail-forward"],
        "from_import": True,
    }

    # On ne change le mot de passe que s'il est défini dans le csv
    if new_infos.get("password"):
        update_kwargs["change_password"] = new_infos["password"]

    user_update(new_infos["username"], **update_kwargs)

Aleks · June 19, 2025, 10:35am

hmmmm ça marche peut-être mais à mon avis ça pète la CLI… normalement il y avait de la magie qui faisait qu’en CLI on pouvait passer un nom de fichier (comme tu l’as dit ça marche en l’état) et faisait ce qu’il faut pour que quand on recoit depuis l’API ça se comporte comme un fichier

… perso j’ai pas vraiment le temps de regarder j’ai déjà beaucoup trop de trucs sur le feu, mais ça tourne autour de ce bloc ici :

github.com/YunoHost/moulinette

moulinette/interfaces/api.py

dev


      
          # Append an argument to the current one
          def append(arg_strings, value, action):
              option_string = None
              if len(action.option_strings) > 0:
                  option_string = action.option_strings[0]
          
              if isinstance(value, bool) or isinstance(action.const, bool):
                  # Append the option string only
                  if option_string is not None and value != 0:
                      arg_strings.append(option_string)
              elif isinstance(value, FileUpload) and (
                  isinstance(action.type, argparse.FileType) or action.type == open
              ):
                  # Upload the file in a temp directory
                  global UPLOAD_DIR
                  if UPLOAD_DIR is None:
                      UPLOAD_DIR = mkdtemp(prefix="moulinette_upload_")
                  value.save(UPLOAD_DIR)
                  if option_string is not None:
                      arg_strings.append(option_string)
                  arg_strings.append(UPLOAD_DIR + "/" + value.filename)

Peut-être qu’un truc a changé entre la v11 et v12 côté webadmin et que le format d’info reçues par l’API Yunohost n’est plus exactement le même (si ça se trouve ce n’est plus un type “FileUpload”

otm33 · June 19, 2025, 12:45pm

Merci pour la réponse.

L’import d’un csv stocké sur le serveur via la CLI reste bien opérationnel.

Sur un YNH 11 de test, l’import ne fonctionne pas non plus mais le message d’erreur webadmin est moins disert (“erreur interne”).

Bah, écoute, tant pis. Je vais laisser fonctionner avec cette modification, je verrai bien…

system · July 19, 2025, 12:46pm

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.