Le stockage à définition logicielle
Pour permettre de gérer de très gros volumes d’emails, il est désormais possible d’activer dans BlueMind le « stockage à définition logicielle » (SDS, Software-Defined Storage).
Le software-defined storage (SDS), stockage défini par logiciel ou stockage à définition logicielle, est un terme marketing utilisé en informatique pour désigner le stockage de données basé sur des solutions logicielles (Voir sur Wikipédia).
Alors qu’un email seul n’occupe pas (ou ne devrait pas occuper…) plus de quelques kilo-octets sur un disque dur, l’usage croissant et généralisé de la messagerie et la gestion de très grands nombres d’utilisateurs, nécessitent des espaces de stockages très importants et croissants. Ainsi l’ensemble des emails stockés par une plateforme BlueMind peut nécessiter plusieurs dizaines de tera-octets d’espace données. La gestion de cet l’espace de stockage représente de forts challenges pour l’infrastructure SI auxquels s’ajoutent les problématiques de leur maintenance, leur sauvegarde, la gestion de leurs données…
Intérêts d’un SDS
Ainsi, sans SDS, lorsque le volume de données augmente, il est nécessaire de gérer l’espace du système : ajouter des disques durs, archiver certains fichiers sur des disques réseaux… le tout étant peu souple et demandant des interruptions de service.
C’est pour couvrir ces besoins qu’est proposé le SDS :
- scalable / évolutif : en général l’espace de stockage est considéré comme illimité. En effet, la couche d’abstraction logicielle de SDS permet de modifier le matériel sans difficulté. De plus certaines offres commerciales permettent de superviser et mutualiser les besoins de stockage à l’octet près et donc d’avoir une facturation de type on-demand à l’octet.
- résilient : les données sont dupliquées et distribuées au sein de clusters.
- intégré : l’abstraction logicielle permet d’ajouter toutes les fonctionnalités imaginables; de la gestion de listes de contrôle d’accès, à la gestion de version et le tout via l’utilisation d’API.
Mise en œuvre dans BlueMind
Implémentation technique
Il existe de nombreuses solutions pour créer un espace de stockage défini par logiciel. La plupart implémente les mêmes API : S3 et Swift.
Nous nous sommes basés sur l’implémentation Open Source de S3 par OpenIO pour faire ce développement, fournie via un conteneur Docker, que nous testons également avec CEPH.
Ceph est une plateforme Open Source de référence de stockage distribué.
OpenIO est un SDS qui allie l’efficacité, l’hyper-scalabilité et les performances élevées et constantes avec les avantages habituellement trouvés sur d’autres plates-formes.
Côté BlueMind, nous avons implémenté l’API Rest S3 en Java pour en faciliter la maintenance et minimiser les dépendances (et leurs problèmes) avec le code de Cyrus IMAP. La majorité des implémentations d’Object Storage propose une API Rest S3.
2 librairies C à faibles dépendances sont intégrées à CyrusIMAP pour la prise en compte du composant sds-proxy en Java.
Fonctionnement
Lorsque Cyrus reçoit ou crée un nouvel email, il crée un fichier temporaire sur le système de fichier local, puis envoie ce fichier à la solution S3, enfin efface le fichier. Lorsque Cyrus a besoin de lire les informations du fichier, il télécharge le fichier depuis l’Object Store, l’écrit dans un fichier temporaire, le lit et enfin l’efface.
Le noyau de BlueMind implémente lui aussi un accès à la solution SDS pour récupérer, lorsqu’il en a besoin, l’email depuis l’Object Store.
Sur le terrain
Le gain de stockage a quelques contreparties : les performances – qui vont dépendre des performances du SDS – et une augmentation de la charge réseau. C’est pourquoi l’utilisation du stockage objet n’est recommandée que pour de gros volumes de données.
N’hésitez pas à nous contacter pour avoir de plus amples détails.
Comment en bénéficier ?
Cette fonctionnalité – pertinente uniquement pour de gros volumes de données – sera disponible dans BlueMind 4.1. Il faudra alors l’activer dans la console d’administration.
Bien sûr elle nécessite au préalable de disposer ou de choisir et mettre en place un environnement SDS, comme par exemple :
- OpenIO : soit par votre propre moyen, soit en souscrivant un abonnement chez un fournisseur.
- Ceph
- ou d’autres !
Découvrir OpenIO:
OpenIO est une technologie de software-defined object storage développée par la startup française éponyme. Le cœur de la solution est open source, et son origine remonte aux années 2000. Les grands FAI ont dû faire face à l’accroissement exponentiel du volume d’e-mails stockés après que les utilisateurs ont délaissé le stockage local de leurs messages au profit de leur conservation sur des serveurs distants, ceci pour consulter leur messagerie depuis différents appareils et en mobilité.
OpenIO a développé un SDS hautement performant, basé sur le stockage d’objets, capable de scaler massivement et d’exploiter des serveurs standards. Cette solution, qui a hébergé jusqu’à 45 millions de boîtes e-mail et les espaces de stockage qui y étaient régulièrement associés, permet de combiner protection des données, qualité de service et maîtrise des coûts. Sans oublier la souveraineté des données, puisqu’il est possible de bâtir son cluster OpenIO chez soi (on-premise) ou de l’héberger sur les serveurs du cloud provider de son choix.
Il existe une synergie évidente entre Bluemind et OpenIO, dont les solutions s’avèrent très complémentaires pour démocratiser l’adoption d’une messagerie collaborative indépendante, développée en France, qui constitue une véritable alternative aux solutions américaines aujourd’hui leader du marché.
La mise à disposition d’un connecteur Bluemind <> OpenIO, basé sur l’API S3 facilite l’intégration des deux solutions. En optant pour OpenIO, vous avez la garantie de disposer d’un espace de stockage extensible à l’infini, et d’un support réactif standard / standard 24/7 ou premium en fonction de vos besoins.
