YunoHost 2.7 stable release - Eben Moglen | Sortie de YunoHost 2.7 stable - Eben Moglen

YunoHost · August 25, 2017, 4:38pm

English version (french below) - YunoHost 2.7 release - includes security updates

Hi everybody !

On our way to enable Debian Strech compatibility for YunoHost (which is not compatible yet, do not migrate yet), we are now releasing a new 2.7 stable version! We chose to dedicate this new release to Eben Moglen for his fight for free software, and because he was one of the first to propose the idea of an affordable personal server as an alternative against GAFAMs and Internet centralization.

This release includes :

A significant upgrade of password storage security;
Internal tools aiming to help future migrations (a tool to enable YunoHost to evolve in a more consistent and transparent way for you) ;
Improvements in the DNS configuration suggestions and support for.nohost.me/.noho.st (especially for DKIM)
Support for custom backup methods (while waiting for a proper Borg integration)
A more understandable handling of “Error 500” in the web-admin ;
Many corrections and improvements, particularly on code quality ;
More complete translations (Russian is beginning).

As this update includes security improvements, we HIGHLY recommend to apply it shortly.

A huge thank you to all those who have contributed to this version (Aleks, anmol26s, Bram, R., e-lie, Evgeniy Ozhiganov, Côme Chilli, Jean-Baptiste Holcroft, JimboJoe, ljf, Maniack C, MCMic, opi, Remy Cabaret, all those who have tested and also those we may have forgotten to mention).

How to upgrade

Reminder YunoHost 2.x is not compatible with the new Debian version (Stretch, or 9.0), please read this thread before upgrading Debian Stretch | YunoHost is NOT YET compatible | YunoHost N'EST PAS ENCORE compatible

From web admin, go to “Update system”, then hit the “Update” button in the “System” bloc.

Or use the command line:

$ yunohost tools update 
$ yunohost tools upgrade --ignore-apps

Note : if you update from web admin, to prevent this one being turned off while updating, new package installation related to the web admin is deffered. You’ll have to wait the next hour following the update (ex : 16h42 -> 17h) for the password migration to be effective.

In any case:

Disconnect and reconnect from the admin interface (or use yunohost tools shell -c 'print "OK"');
Ask each one of your users to disconnect and reconnect on the user portal (including yourself).

This procedure is necessary as password storage security will automatically be upgraded (technical points: the hashing algorithm from a lower security level to SHA512).

Detailed changelog

Improvements on password storage security

User and administrator password are now stored using SHA-512.

Details

For historical reasons and lack of solution on how to proceed, password hashing in YunoHost was based on low-quality algorithms. These were the default provided by LDAP, the system used to store user accounts and the Single Sign-On.

Users created from command line relied on MD5, the admin password relied on SSHA, and users who changed their password from the admin interface used SHA1.

Many researches and attempt to improve this were made, but were unsuccessful. About a week ago, while cleaning code, a new attempt was made and it was discovered that it is possible to use Linux’s authentication system (also called crypt, but better known as “the stuff in /etc/shadow”) which can use SHA-512.

It was clear that things couldn’t stay that way. Therefore, an implementation was made to use this new algorithm to store password (affecting YunoHost-core, Moulinette and SSOwat) and to migrate existing password hashes when reconnecting (since, as password as stored hash, the system can’t access them at any other time).

Migration framework for files and data

This version includes a migration framework, which will allow us to make YunoHost evolve in a cleaner and more serene way.

Détails

It often happens that we need to change how information is stored or handled by YunoHost (for instance, this was the case for application lists), because programs changed their configuration format (this will be the case for Debian Stretch), or to fix known bugs (for instance, SSL certificate permissions for metronome).

Until now, we were often forced to ask you to manually perform actions in command line interface (which isn’t easy for everybody) or to introduce code that handle backward compatibility.

The new tool introduced in version 2.7 will allow us to define transparent and automatic migrations, allowing us to make YunoHost evolve in a cleaner and more serene way. We expect this feature to be particularly useful when moving to Debian Stretch.

Migrations will be ran automatically after upgrading YunoHost. You can also manually manage migrations using the command line interface, but we don’t recommend to play with it, it is mainly for debugging purpose.

Detailed commands related to migrations

# Display the list of available migrations
yunohost tools migrations list

# Show the current state of migrations
yunohost tools migrations state

# Launch remaining migrations (since the last one performed)
yunohost tools migrations migrate

# Migrate to a specific state. This can we useful to go backward in migrations
# (though, all of them are not cancelable/reversible)
yunohost tools migrations migrate --target $number

# Skip one or several migration if they don't work or are not mandatory
yunohost tools migrations migrate --skip

Custom backup methods

While on the road to a direct Borg integration in YunoHost, we finalized the integration of custom backup methods support. This allows you to define your own methods (instead of creating .tar.gz archives). An example is available on this topic which shows how to “manually” setup a remote backup with Borg.

Define and use a custom backup method

Create a script in the backup_method hooks folder, for instance /etc/yunohost/hooks.d/backup_method/05-mybackupmethod
The script 05-mybackupmethod should manage actions need_mount, backup and mount. For now, to understand how it works, the easiest is to look at the script for Borg : https://paste.yunohost.org/raw/tiheromoce
Use yunohost backup create or restore with option --method mybackupmethod

Improvement in DNS management for .nohost.me / .noho.st

Until now, DKIM signatures (which are involved in reducing your outgoing mails spaminess) were badly handled for .nohost.me / .noho.st domains, especially on the DNS side. Mails sent from these domains were therefore likely to be flagged as spam… This is now solved in this version.

For existing domains, the update will automatically be made after your next IP change. If you want to force this fix to be applied, you can run this command on your instance : rm /etc/yunohost/dyndns/old_ip.

Error handling in the admin interface

Previously, unexpected internal server errors (error 500) in the admin interface where breaking the rendering and made it unusable. This is now fixed and it now shows more meaningful information to pinpoint the issue (to be provided to developers).

Before

Now

Misc improvements

For users

Fix some “false-negatives” when attempting to install Let’s Encrypt certificates, where YunoHost wrongly thought that the domain looked badly configured ;
The mail server now checks if a user is legitimate to address in ‘From’ header when sending a mail ;
In command line, --help now shows the description of the command ;
Display a warning for yunohost domain dns-conf, which recalls that this is just a recommended configuration, not an effective one ;
Add yunohost tools reboot and yunohost tools shutdown, to be integrated in the web administration later ;
Add a timeout to yunohost dyndns update such that it does not block the lock ;
Shows a more understandable error message when an app manifest is incorrect ;
Properly handle errors when a backup archive does not include an info.json ;
Fix a bug in archive creation (files mounted in /home/yunohost.backup/tmp/ were not in read-only, which could lead to unhappy data destruction) ;
When installing an app, the availability of the destination URL (e.g. some.domain.tld/blog) is checked before effectively launching the install.

For application packagers

New helpers are available:

ynh_package_autopurge (#321)
ynh_add_fpm_config and ynh_remove_fpm_config (#284)
ynh_restore_upgradebackup and ynh_backup_before_upgrade (#289)
ynh_add_nginx_config and ynh_remove_nginx_config (#285)
ynh_add_systemd_config and ynh_remove_systemd_config (#287)

The change_url script is now runned as root.

For developers

Many pieces of code where cleaned up in YunoHost-core and Moulinette ;
It’s now possible to define subcategories in command line (e.g. yunohost category subcategory action). (Before, only categories were possible).
Add yunohost tools shell which allows to launch a development shell ;
New helpers for common IO operations in Moulinette https://github.com/YunoHost/moulinette/pull/141
Change the lock behavior in Moulinette https://github.com/YunoHost/moulinette/pull/151
Start documenting the Moulinette : https://moulinette.readthedocs.io
- includes a start of explanation about the actionsmap https://moulinette.readthedocs.io/en/latest/actionsmap.html
- and informations (and a sketch) about LDAP in YunoHost https://moulinette.readthedocs.io/en/latest/ldap.html

Version française - Sortie de YunoHost 2.7 - inclus des améliorations de sécurité

Bonjour tout le monde,

Dans notre lancée pour permettre à YunoHost de fonctionner sous Debian Strech (ce qui n’est pas encore le cas, n’y passez pas encore), nous sortons une nouvelle version stable 2.7 ! Nous avons choisi de dédier cette version à Eben Moglen pour son combat pour le logiciel libre, et parce qu’il était l’une des premières personnes à proposer l’idée d’un serveur personnel abordable comme une alternative aux GAFAMs et à la centralisation d’Internet.

Cette version comporte :

une amélioration significative de la sécurité du stockage des mots de passe ;
des outils internes qui nous aiderons aux migrations (un outil pour pouvoir faire évoluer YunoHost de manière plus cohérente et transparente pour vous) ;
des améliorations sur la gestion de la recommandation de configuration DNS et sur la prise en charge des .nohost.me/.noho.st (notamment pour le DKIM)
la prise en charge des méthodes de backup personnalisées (en attendant l’intégration à proprement parler de Borg)
une gestion plus compréhensible des “erreurs 500” dans l’interface d’administration lorsqu’elles surviennent ;
de nombreuses corrections et améliorations, notamment sur la qualité du code ;
des traductions plus complètes (début de traduction en Russe).

Cette mise à jour comportant des améliorations sur la sécurité, nous vous recommandons FORTEMENT de l’appliquer rapidement.

Un tout grand merci à toutes les personnes ayant contribué à cette version (Aleks, anmol26s, Bram, R., e-lie, Evgeniy Ozhiganov, Côme Chilli, Jean-Baptiste Holcroft, JimboJoe, ljf, Maniack C, MCMic, opi, Remy Cabaret ainsi que les personnes qui ont testé et toutes celles qu’on aurait oublié de citer).

Mettre à jour

Rappel YunoHost 2.x n’est pas compatible avec la nouvelle version de Debian (Stretch, ou 9.0), pensez à lire ce fil avant de faire la mise à jour Debian Stretch | YunoHost is NOT YET compatible | YunoHost N’EST PAS ENCORE compatible

Depuis l’interface d’administration, allez dans “Mettre à jour le système”, puis appuyez sur le bouton “Mettre à jour” dans la partie “Système”.

Ou alors utilisez la ligne de commande :

$ yunohost tools update 
$ yunohost tools upgrade --ignore-apps

Note : si vous mettez à jour depuis l’interface d’administration, pour que éviter que celle-ci soit coupée pendant la mise à jour, l’installation des nouveaux paquets liés à celle-ci est différée. Il faudra donc attendre l’heure suivant la mise à jour (par exemple : 16h42 -> 17h) pour que le mécanisme de migration des mots de passe soit effectif.

Dans tous les cas :

Déconnectez-vous puis reconnectez-vous à l’interface d’administration (ou lancez yunohost tools shell -c 'print "OK"');
Demandez à chacun de vos utilisateurs de se déconnecter puis se reconnecter sur le portail utilisateur (vous y compris).

Cette procédure est nécessaire car la sécurité du stockage des mots de passe sera automatiquement améliorée (éléments techniques : l’algorithme de hachage passera d’une version moins sécurisée à SHA512.

Détails des nouveautés et modifications

Amélioration de sécurité sur le stockage des mots de passe

Les mots de passe utilisateurs et administrateurs sont maintenant stockés en SHA-512.

Details

Pour des raisons historiques et par manque de solution sur comment procéder, les mots de passe de YunoHost étaient hachés, lors de leur stockage, par des algorithmes de piètre qualité en terme de sécurité. En effet, ce sont les algorithmes fournis par défaut par LDAP, le système utilisé par YunoHost pour stocker les informations des comptes utilisateurs et aussi utilisé dans le Single Sign-On.

Les utilisateurs créés via l’interface en ligne de commande avaient du md5, le mot de passe administrateur en ssha et les utilisateurs ayant modifié leur mot de passe dans l’interface (ssowat) utilisaient sha1.

Plusieurs recherches et tentatives ont été effectuées pour tenter d’améliorer cela, mais se sont révélées sans succès. Il y a peu (une semaine), lors d’un nettoyage de code, une nouvelle tentative à été effectuée et il a été découvert qu’il était possible d’utiliser le système d’authentification de linux (aussi appelé crypt, mais plus généralement connu comme “le truc dans /etc/shadow”) qui, lui, prend en charge l’algorithme de hachage SHA-512.

Il était évident que les choses ne pouvaient rester ainsi. Le code a donc été modifié pour utiliser ce nouvel algorithme pour stocker les mots de passe (impactant YunoHost-core, Moulinette et SSOwat) et pour migrer automatiquement les hachages existants lors d’une reconnexion (comme les mots de passes sont hachés, le code ne peut y avoir accès en dehors de ces moments).

Outil de migration des données/fichiers

Cette version intègre un outil de migration qui nous permettra de faire évoluer YunoHost de manière plus propre et sereine.

Détails

Il nous arrive régulièrement d’avoir besoin de changer la façon dont certaines informations sont stockées ou gérées dans YunoHost (c’était le cas récemment par exemple pour les listes d’applications), parce qu’un programme a changé son format de fichier (ça sera le cas lors de la migration vers Debian Stretch), ou pour corriger des bugs connus (par exemple les permissions des certificats SSL pour metronome).

Jusqu’à présent, nous étions de temps en temps obligés de vous demander d’effectuer ces actions par vous-même et en ligne de commande (ce qui n’est pas pratique pour tout le monde) ou d’introduire du code qui assure une rétrocompatibilité.

Le nouvel outil introduit dans cette version 2.7 nous permettra désormais de fournir des migrations automatiques et transparentes pour vous, nous permettant de faire évoluer YunoHost de manière propre et sereine. Nous nous attendons à ce que cette fonctionnalité soit particulièrement utile pour le passage à Stretch.

Les migrations seront effectuées automatiquement après chaque mise à jour du paquet YunoHost. Vous pouvez également gérer les migrations manuellement, en ligne de commande, mais nous déconseillons fortement de jouer avec, cela est surtout présent pour du débugging.

Détail des commandes liées aux migrations

# Affiche la liste des migrations disponibles
yunohost tools migrations list

# Montre l'état actuel des migrations
yunohost tools migrations state

# Lance les migrations restantes (reprend depuis la dernière effectuée)
yunohost tools migrations migrate

# Spécifie vers quelle migration on souhaite positionner l'installation, cela
# peut être utile pour revenir en arrière si l'on souhaite annuler une migration
# (elles ne sont pas toutes annulables/réversibles)
yunohost tools migrations migrate --target $nombre

# Permet de sauter une/des migrations si jamais elles ne marchent pas et/ou ne sont pas nécessaires
yunohost tools migrations migrate --skip

Méthodes de sauvegarde personnalisées

En attendant l’intégration directe de Borg dans YunoHost, nous avons terminé la mise en place de la prise en charge des méthodes de sauvegarde personnalisées. Vous pouvez ainsi définir vos propres méthodes (plutôt que la simple création d’une archive .tar.gz). Un exemple est disponile sur ce sujet qui montre comment mettre en place “à la main” une sauvegarde distante à l’aide de Borg.

Définir et utiliser une méthode de sauvegarde personnalisée

Créer un script dans le dossiers des hooks backup_method, par exemple /etc/yunohost/hooks.d/backup_method/05-mybackupmethod
Dans le script 05-mybackupmethod, gérer les actions need_mount, backup et mount. Le plus simple pour le moment est de s’inspirer du script pour Borg : https://paste.yunohost.org/raw/tiheromoce
Utiliser yunohost backup create ou restore avec l’option --method mybackupmethod

Amélioration de la gestion des DNS pour les .nohost.me / .noho.st

Jusqu’à présent, les signatures DKIM (qui jouent notamment dans le score de spam des emails envoyés par votre serveur) étaient mal gérées pour les domaines en .nohost.me et .noho.st, notamment du côté des DNS. Les messages envoyés via ces domaines étaient donc très susceptibles d’atterrir dans les spams… C’est désormais résolu dans cette nouvelle version.

Pour les domaines existants, la mise à jour se fera au prochain changement d’IP de votre machine. Si vous souhaitez forcer l’application de cette correction, vous pouvez exécuter la commande suivante sur votre instance : rm /etc/yunohost/dyndns/old_ip.

Gestion des erreurs dans l’interface admin

Par le passé, une erreur imprévue (erreur 500) sur l’interface d’admin cassait le rendu et la rendait inutilisable. C’est désormais corrigé et des informations pour comprendre le problème (ou à fournir aux développeurs) sont désormais affichées.

Avant

Maintenant

Amélorations diverses

Pour les utilisateurs

Suppression de certains “faux-négatifs” pour l’installation des certificats Let’s Encrypt où YunoHost pensait à tort que le domaine semblait mal configuré ;
Le serveur mail vérifie maintenant que l’utilisateur qui soumet le mail est légitime à utiliser l’adresse d’expéditeur ;
En ligne de commande --help affiche désormais la description de la commande ;
Affichage d’un avertissement pour la commande yunohost domain dns-conf qui rappelle que ceci n’est qu’une recommandation et pas la configuration effective ;
Ajout des commandes yunohost tools reboot et yunohost tools shutdown en vue de les intégrer dans l’interface d’administration ;
Rajout d’un délai d’expiration dans la commande yunohost dyndns update pour éviter qu’elle ne bloque ;
S’il y a une erreur dans le manifest d’une application, un message d’erreur plus clair sera affiché ;
Une gestion d’erreur propre pour les archives de sauvegardes ne contenant pas de fichier info.json ;
La correction d’un bug lors de la création d’une archive de sauvegarde (les fichiers montés dans /home/yunohost.backup/tmp/ n’étaient pas en lecture seule, ce qui pouvait entraîner une destruction malencontreuse de données) ;
Lors de l’installation d’une application, la disponibilité de l’URL d’installation (e.g. un.domaine.tld/blog) est désormais vérifiée avant de lancer effectivement l’installation.

Pour les packageurs d'applications

De nouveaux helpers sont disponibles :

ynh_package_autopurge (#321)
ynh_add_fpm_config et ynh_remove_fpm_config (#284)
ynh_restore_upgradebackup et ynh_backup_before_upgrade (#289)
ynh_add_nginx_config et ynh_remove_nginx_config (#285)
ynh_add_systemd_config et ynh_remove_systemd_config (#287)

Le script change_url n’était pas lancé par l’utilisateur root, c’est désormais le cas.

Pour les développeurs

De nombreuses zones du code ont été nettoyées dans yunohost-core et la moulinette ;
Il est désormais possible d’implémenter des “sous-catégories” en ligne de commande : exemple yunohost category subcategory action. (auparavant, seules les catégories étaient possibles) ;
Ajout de la commande yunohost tools shell qui permet d’avoir un shell de développement
De nouveaux helpers sont disponibles dans la moulinette pour les opérations communes d’entrées/sorties https://github.com/YunoHost/moulinette/pull/141
Modification du comportement du verrou de la moulinette https://github.com/YunoHost/moulinette/pull/151
Début de documentation pour Moulinette : https://moulinette.readthedocs.io
- comprenant un début d’explication sur le fonctionnement de l’actionsmap https://moulinette.readthedocs.io/en/latest/actionsmap.html
- et des informations (et un schéma) du LDAP de YunoHost https://moulinette.readthedocs.io/en/latest/ldap.html