Archivage Amazon Glacier

[egtegt²]

Pour ceux que ça pourrait intéresser, je viens de me configurer un compte sur AWS (Amazon Web Services) et j'utilise Amazon Glacier. Le principe est de faire de l'archivage peu coûteux.

Le prix est de 1,8$ par To/mois, ce qui est imbattable, l'inconvénient c'est que si on veut récupérer ses fichiers, ça peut mettre jusqu'à 12 heures. Egalement il y a des coûts de récupération qui peuvent être un peu plus importants (de l'ordre de 90 € par To) mais logiquement ça ne devrait jamais être utilisé et le jour où ça le sera, on sera bien content de ne payer que 90 € par To   (Il y a quand même 100 Go gratuit par mois, on peu aussi imaginer restaurer petit à petit si on veut faire des économies).

J'utilise le logiciel Fast Glacier qui permet de sauvegarder de façon assez simple.

Pour l'instant c'est de loin le moins cher que j'ai trouvé et je trouve que c'est une bonne assurance en cas de perte de mes données. J'ai un workflow ou je met l'année en cours sur Onedrive et les années plus anciennes sur un disque Sata avec copie dans AWS.

[raymondheru]

Personnellement, je ne vois pas trop l'intérêt du cloud pour l'archivage de sécurité.
Au niveau tarif, mon 8 TO de base est payé avec un an d'Amazon si je calcule bien, les temps d'accès sont autrement plus rapides et surtout mes fichiers restent offline.

[jesus]

Je pense que tu as mal regardé, https://www.backblaze.com/fr_FR/ est plus intéressant.
J'utilise Amazon Prime et c'est imbattable pour les photos.

[Stepbystep]

90 € par To en cas d'incident ? Donc en cas de problème, il faudrait que je débourse 1350 € pour récupérer mes fichiers et tout ça en payant 324 $ par an ?

Tu touches quel pourcentage ? 

[Bronica]

J'utilise Amazon Prime et c'est imbattable pour les photos.

Amazon Prime permet de stocker dans le cloud ?

[Zaphod]

Personnellement, je ne vois pas trop l'intérêt du cloud pour l'archivage de sécurité.
Au niveau tarif, mon 8 TO de base est payé avec un an d'Amazon si je calcule bien, les temps d'accès sont autrement plus rapides et surtout mes fichiers restent offline.

L'intérêt est d'avoir une sauvegarde distante. Automatique.
Perso je me débrouille avec un jeu de disques externes en alternance mais ça peut des fois prendre unmois pour sue je pense à faire la rotation (mouais, en vrai parfois bien plus).

Faut que je mette ça en pace d'ailleurs... depuis le temps que j'ai la fibre.
Je suis plutôt tenté par une offre comme backblaze.

[Hitman_11]

Je pense que tu as mal regardé, https://www.backblaze.com/fr_FR/ est plus intéressant.
J'utilise Amazon Prime et c'est imbattable pour les photos.

Bonjour,
Je ne sais pas calculer le prix d'un an de stockage.
Est ce que tu peux expliquer?
Merci.

[bp30700]

Amazon Prime permet de stocker dans le cloud ?

Oui, et plus:
Quantité illimitée.
Possibilité de faire des albums.
Créer un lien de partage.
Sauvegarde automatique des fichiers photos même du smartphone.

Habitant dans un petit village, livraison gratuite des commandes.

Accès gratuit à des un catalogue de films, dessins animés, séries. (il y a aussi des payants, mais le choix en gratuits est suffisant pour moi, et mes petits enfants)
Il y a aussi des films produits par amazon.

[jesus]

Amazon prime pour le stockage des photos, n'est pas une solution parfaite, les photos sont plutôt stockées en vrac, mais la sauvegarde est automatique.
Comme, c'est pour moi la sauvegarde dont je ne devrai jamais avoir besoin, ça me convient.

[Bronica]

Amazon prime pour le stockage des photos, n'est pas une solution parfaite, les photos sont plutôt stockées en vrac, mais la sauvegarde est automatique.
Comme, c'est pour moi la sauvegarde dont je ne devrai jamais avoir besoin, ça me convient.

Oui, et plus:
Quantité illimitée.
Possibilité de faire des albums.
Créer un lien de partage.
Sauvegarde automatique des fichiers photos même du smartphone.

Je connaissais la livraison rapide, la vidéo et la musique mais je ne savais pas qu'on pouvait sauvegarder des photos dans le cloud.
Je regarde ça, merci.

[doppelganger]

Le prix est de 1,8$ par To/mois, ce qui est imbattable, l'inconvénient c'est que si on veut récupérer ses fichiers, ça peut mettre jusqu'à 12 heures. Egalement il y a des coûts de récupération qui peuvent être un peu plus importants (de l'ordre de 90 € par To) mais logiquement ça ne devrait jamais être utilisé et le jour où ça le sera, on sera bien content de ne payer que 90 € par To   (Il y a quand même 100 Go gratuit par mois, on peu aussi imaginer restaurer petit à petit si on veut faire des économies).

Ah ouais, quand même... Je paie pour stocker mes données, et je dois payer si je veux les récupérer. Des « coûts de récupération », comme tu dis...

Finalement, l'offre d'Amazon s'apparente non pus ni moins à du ransomware mais légale.

[egtegt²]

90 € par To en cas d'incident ? Donc en cas de problème, il faudrait que je débourse 1350 € pour récupérer mes fichiers et tout ça en payant 324 $ par an ?

Tu touches quel pourcentage ? 

Perso j'ai environ 1 To d'archives sur 11 ans de photographie numérique. C'est sûr qu'avec 20 To c'est cher, mais en même temps les solutions alternatives ne sont pas données non plus, si tu veux un minimum de sécurité.

Pour les quelques autres réponses :
- Amazon Prime : j'ai essayé de l'installer vu que je suis déjà abonné à Prime : leur logiciel est une cochonnerie, je n'arrive pas à savoir ce qui est sauvegardé ni comment c'est sauvegardé, là j'ai un client simple et je décide manuellement ce que je mets.
- Blackblaze : Je n'ai pas testé, déjà dans mon cas c'est plus cher (7$) vu que j'ai seulement 1 To d'archives, ensuite je n'aime pas trop le principe de ces logiciels de sauvegarde, je trouve qu'ils fonctionnent en général mal et sont peu pratiques. Mais si j'avais 20 To de photos, je le regarderais de plus près.

Pour la récupération je pars du principe que ça ne devrait jamais m'arriver d'en avoir besoin, je fais attention à mes données par ailleurs, mais si un jour j'ai un gros pépin genre incendie ou cambriolage, je sais que j'ai une solution de secours qui existe. Et comme je ne met sur Glacier que mes raws de plus d'un an, je n'aurai pas besoin de tout récupérer d'un coup, je peux récupérer 100 Go par mois en fonction de mes besoins, voire laisser une partie dessus définitivement. Mes jpegs après traitement et mes photos depuis un an sont sur Onedrive, là où je peux les récupérer gratuitement autant de fois que je veux.

Ah ouais, quand même... Je paie pour stocker mes données, et je dois payer si je veux les récupérer. Des « coûts de récupération », comme tu dis...

Finalement, l'offre d'Amazon s'apparente non pus ni moins à du ransomware mais légale.

Ca n'a rien à voir : le tarif est affiché dès le départ sans la moindre tromperie, perso ça me convient, mais si tu as plusieurs To de photos, je comprends parfaitement que ça te semble trop cher. J'utilise ça pour stocker mes RAWS, il est rare que j'y accède, en général j'utilise les jpegs post traités, et puis sauf accident, j'ai une copie sur un disque de 6 To sur mon PC.

De toute façon je ne vends rien, je présente juste mon workflow au cas où certains pourraient être intéressés.

Pour résumer :
- RAWS de moins d'un an + tous mes jpegs traités : Onedrive (donc sur mon disque dur et une copie sur le cloud)
- RAWS de plus d'un an : Amazon Glacier + Un disque dur sur mon PC.

Je pense que je vais également faire une copie de mes archives sur un disque externe une fois par an, juste pour ne pas avoir à tout recharger depuis chez Amazon si mon disque tombe en panne.

[doppelganger]

Ca n'a rien à voir : le tarif est affiché dès le départ sans la moindre tromperie, perso ça me convient, mais si tu as plusieurs To de photos, je comprends parfaitement que ça te semble trop cher. J'utilise ça pour stocker mes RAWS, il est rare que j'y accède, en général j'utilise les jpegs post traités, et puis sauf accident, j'ai une copie sur un disque de 6 To sur mon PC.

Ok mais le résultat est le même : tu dois payer pour récupérer tes données. Je trouve ça incroyable 

Après, si tu y trouves ton compte et que cela te convient ne me pose aucun problème.

De toute façon je ne vends rien, je présente juste mon workflow au cas où certains pourraient être intéressés.

Aucun problème là-dessus, je ne te reproche rien. C'est juste ce système qui me choque.

[egtegt²]

Ils te facturent le service, pour eux ça coûte plus cher de t'envoyer les données que de les stocker, ce qui est assez logique : vu les délais de mise à disposition les données sont stockées très probablement sur des bandes magnétiques, une bande coûte très peu cher (50 € pour 30 To environ), par contre ce qui coûte cher c'est d'aller chercher la bande pour la mettre dans un lecteur qui lui coûte cher. De plus leur bande passante est essentiellement utilisée pour envoyer des données vers les clients, donc si tu récupère de grosse quantités de données, ils doivent augmenter cette bande passante. Par contre l'écriture ne leur coute pas grand chose car la ligne est surtout utilisée dans l'autre sens.
Ensuite il y a probablement une intention de dissuader les clients de récupérer leurs données pour aller ailleurs mais vu que c'est affiché dès le départ, ça ne me choque pas.

[M@kro]

Ils te facturent le service, pour eux ça coûte plus cher de t'envoyer les données que de les stocker, ce qui est assez logique : vu les délais de mise à disposition les données sont stockées très probablement sur des bandes magnétiques, une bande coûte très peu cher (50 € pour 30 To environ), par contre ce qui coûte cher c'est d'aller chercher la bande pour la mettre dans un lecteur qui lui coûte cher. De plus leur bande passante est essentiellement utilisée pour envoyer des données vers les clients, donc si tu récupère de grosse quantités de données, ils doivent augmenter cette bande passante. Par contre l'écriture ne leur coute pas grand chose car la ligne est surtout utilisée dans l'autre sens.
Ensuite il y a probablement une intention de dissuader les clients de récupérer leurs données pour aller ailleurs mais vu que c'est affiché dès le départ, ça ne me choque pas.

Je ne pense pas qu'il utilise des bandes de sauvegarde vu la volumétrie qu'ils doivent avoir, et il existe (à grande échelle) d'autres méthodes moins couteuses.
Et quand bien même ils utiliseraient des bandes, il y a des robots de sauvegarde automatisés, il faudra juste rémunéré la prestation d'un informaticien pour le faire à la demande.
Enfin pour un pro, le coût du stockage et de sauvegarde de fichiers peut être très important, et je suppose que si AWS le fait, c'est qu'ils doivent avoir une base de client (pour que ce soit rentable).

[Stepbystep]

Perso j'ai environ 1 To d'archives sur 11 ans de photographie numérique. C'est sûr qu'avec 20 To c'est cher, mais en même temps les solutions alternatives ne sont pas données non plus, si tu veux un minimum de sécurité.

Ça revient moins cher de faire des copies sur DD externe et dupliquer. Il n'y a pas longtemps, j'ai acheté un dd externe de 14 To à 220 euros et demain, ce sont les soldes. 

[egtegt²]

Je ne pense pas qu'il utilise des bandes de sauvegarde vu la volumétrie qu'ils doivent avoir, et il existe (à grande échelle) d'autres méthodes moins couteuses.
Et quand bien même ils utiliseraient des bandes, il y a des robots de sauvegarde automatisés, il faudra juste rémunéré la prestation d'un informaticien pour le faire à la demande.
Enfin pour un pro, le coût du stockage et de sauvegarde de fichiers peut être très important, et je suppose que si AWS le fait, c'est qu'ils doivent avoir une base de client (pour que ce soit rentable).

Justement, le disque en Datacenter comme chez AWS, c'est dans les 150 à 200 € du To (il y a normalement 3 copies). Une bande LTO c'est 10 € du To. Un slot de librairie c'est une centaine d'euros et un emplacement dans un coffre c'est quelques euros. Quand tu as des centaines de Po (1 Po = 1024 To) à stocker, la librairie devient vite très rentable, et l'externalisation des bandes dans un coffre encore plus.

Mais surtout si les fichiers étaient sur disque, le temps de mise à disposition seraient instantanés, et s'ils étaient dans une librairie de bandes, ça serait quelques dizaines de minutes, le fait qu'ils indiquent 12h implique qu'il y a une manipulation pour mettre les bandes dans la librairie.

Si tu as des solutions moins coûteuses que de la bande pour stocker 1 Po, je suis très intéressé, je gère la sauvegarde dans ma boîte et nous avons justement 1 Po de données à stocker. Je viens de commander pour quelques milliers d'€ de cartouches LTO, ça m'intéresserait de baisser ce coût.

Ça revient moins cher de faire des copies sur DD externe et dupliquer. Il n'y a pas longtemps, j'ai acheté un dd externe de 14 To à 220 euros et demain, ce sont les soldes. 

Pour l'instant je paye 2 € par mois, il me faudrait quelques années pour atteindre 220 €, même si dans les faits je pourrais me contenter d'un plus petit qui me coûterait plutôt 150 €. Mais la différence c'est que si je fais comme tu le dis, je dois ensuite envoyer le disque dur ailleurs, c'est assez pénible comme procédure, et je devrai le remplacer assez régulièrement, tous les 4-5 ans, pour être sûr qu'il reste opérationnel.

Au final je ferai un petit peu d'économies et je me casserai la tête pour le gérer. Par exemple si je le récupère pour faire la copie et que j'ai un incident pendant les quelques jours où il est chez moi, j'ai tout perdu, ou alors il me faut deux disques durs mais c'est donc plutôt 300 € et deux fois plus de gestion.

Effectivement si j'avais 10 To de photos cette solution serait moins intéressante, mais pour l'instant je suis à un peu plus de 1 To. Cette solution est à mon sens intéressante jusqu'à 3 ou 4 To au plus, ensuite il faut effectivement envisager la copie sur disque.

Cela dit si j'avais plus de 10 To à conserver, je pense que j'en mettrais la majorité sur deux disques externes que je mettrais chez un proche (ou même deux proches idéalement) et que j'utiliserais cette solution pour le plus récent avec une méthode à 3 niveaux :
- Les données de plus de 2 ou 3 ans sur deux disques externes que je rafraîchirais tous les 2 ou 3 ans
- Les données entre 1 et 2 ou 3 ans sur AWS Glacier avec archivage annuel ou bi-annuel
- Les données de moins d'1 ans sur Onedrive avec copie chez Microsoft en temps réel (ou presque)

[Laurent A]

Mais surtout si les fichiers étaient sur disque, le temps de mise à disposition seraient instantanés, et s'ils étaient dans une librairie de bandes, ça serait quelques dizaines de minutes, le fait qu'ils indiquent 12h implique qu'il y a une manipulation pour mettre les bandes dans la librairie.

Je suis aussi convaincu que Glacier est un stockage sur bande sûrement redondant.
Pour avoir utilisé un service qui s'appuyait sur Glacier, je n'ai pas eu 12 heures de restauration, tout au plus une heure ou deux. Je ne pense pas qu'il y ait de manipulation, je crois à un simple robot. Ils doivent indiquer 12 heures juste pour se prémunir d'un incident de bande et pour s'assurer que ce ne soit utilisé que pour de l'archivage long terme.

[egtegt²]

Je suis aussi convaincu que Glacier est un stockage sur bande sûrement redondant.
Pour avoir utilisé un service qui s'appuyait sur Glacier, je n'ai pas eu 12 heures de restauration, tout au plus une heure ou deux. Je ne pense pas qu'il y ait de manipulation, je crois à un simple robot. Ils doivent indiquer 12 heures juste pour se prémunir d'un incident de bande et pour s'assurer que ce ne soit utilisé que pour de l'archivage long terme.

Un robot c'est maxi 30 secondes pour charger une bande, surtout les gros robots comme j'imagine AWS en a, j'en ai installé un où le bras traversait la librairie longue de plusieurs mètre en moins d'une seconde, si tu ajoutes le temps de faire avancer la bande au point où sont tes données, tu commences à recevoir tes données au bout de 5 minutes grand maximum. Par contre les 12 heures sont un délai contractuel donc je pense qu'ils ont couvert les pires cas de figure avec demande arrivant le weekend avec une équipe réduite, en semaine quand il y a du monde disponible, ça va bien plus vite.

[M@kro]

Si tu as des solutions moins coûteuses que de la bande pour stocker 1 Po, je suis très intéressé, je gère la sauvegarde dans ma boîte et nous avons justement 1 Po de données à stocker.
Je viens de commander pour quelques milliers d'€ de cartouches LTO, ça m'intéresserait de baisser ce coût.

Tu n'inclues donc pas le budget que tu as déjà mis pour le robot de sauvegarde, qui peut couter un bras à lui tout seul ^^
Il existe des solutions d'externalisation de sauvegarde soit via des sociétés spécialisées soit en interne (duplication sur serveur distant)
Mais difficile de donner une réponse à ce genre de question sans connaitre le contexte, les connexions réseaux, le type de données, etc ...

[Zaphod]

Je trouve ce type de sauvegarde complémentaire d'une copie distante sur disque dur.
A moins d'être méga bien organisé, les copies distantes sur disque ont toujours un possible délai de retard.
Mais en cas de souci, si on récupère une sauvegarde sur disque de plusieurs semaines, ça permet d'avoir accès rapidement à la plupart des données, le manquant pouvant être récupéré en ligne.
(sinon le téléchargement peut être long, même si certains sites proposent l'envoi de disque dur (payant) pour récupérer ses données)

Mais au moins, ça permet d'être sur d'avoir une copie distante à jour (les sauvegardes manuelles, j'ai toujours tendance à me dire : aujourd'hui je suis pressé, je la ferai plus tard.)

Pour moi il y a plusieurs trucs importants pour ce type de sauvegarde :
- le débit d'upload pour ne pas devoir laisser tourner son ordinateur 24/24 et finalement ne jamais être totalement à jour non plus.
- la facilité de config pour éviter de stocker certains fichiers inutiles (cache et aperçus lightroom par exemple)
- la facilité de récupération des données en cas de souci

Là je teste backblaze et pour l'instant je trouve le débit d'upload assez correct... faudra que je teste une récupération.
En gros c'est 70$ pour un volume illimité, et il y a des options payantes pour avoir plus de 30 jours d'historique - je ne m'y suis pas intéressé pour l'instant, ça n'est pas forcément le but.
Le soft est basique mais les exclusions sont faciles à mettre en place.
J'ai - aujourd'hui - environ 700 Go de données à sauvegarder sur mon disque de base, et environ 1.5 To de photos sur mon disque externe, donc ça le met à peine plus cher qu'Amazon Glacier.

Je n'ai pas retenu amazon glacier parce que je trouve l'offre assez complexe et je n'ai pas trouvé comment faire de la sauvegarde automatique.
Ca me semble plus être une solution d'archivage (manuel) que de sauvegarde (automatique) mais j'ai peut-être raté quelque chose.
L'offre de backblaze m'a paru plus claire et plus facile à mettre en oeuvre (il y a des concurrents type carbonite aussi, on verra si je teste ou pas).

[egtegt²]

Tu n'inclues donc pas le budget que tu as déjà mis pour le robot de sauvegarde, qui peut couter un bras à lui tout seul ^^
Il existe des solutions d'externalisation de sauvegarde soit via des sociétés spécialisées soit en interne (duplication sur serveur distant)
Mais difficile de donner une réponse à ce genre de question sans connaitre le contexte, les connexions réseaux, le type de données, etc ...

En fait une librairie de sauvegarde n'est pas très chère (toutes proportions gardées évidemment). Là où je travaille, on a Deux baies de 1 Po aves des disques durs à 7200 t/mn pour la sauvegarde (l'une étant la copie de l'autre)  et  deux librairies de bandes pour externaliser une copie.
En gros les baies coûtent 250 000 € pièce et les librairies 12 000 €, 25 000 € avec un jeu de bandes capable de stocker l'équivalent des disques.

Donc même avec la librairie de bandes, on est 10 fois moins cher que du disque.

En fait c'est improbable qu'il y ait des solutions moins chères sans passer par des bandes, quel que soit le fournisseur il faudra bien qu'il achète le matériel pour stocker mon pétaoctet et il devra bien me le facturer d'une façon ou d'une autre, sinon il mettra vite la clef sous la porte.

Les disques les moins chers actuellement sont à 20 € le To, donc 40 € le To si on veut deux copies, ce qui est impératif, dans mon cas ça représente 40 000 € au lieu de 25 000 €, et le problème c'est qu'à ce prix ce sont juste les disques, il faut bien les mettre dans un matériel pour les agréger et les mettre à disposition, que ça soit une baie de disque ou un serveur le résultat est le même : ça coûte de l'argent. Et puis même en prenant cette hypothèse  il y a un autre problème : je ne peux pas utiliser des disque de 20 To car ça ferait 50 disques en tout et le débit serait insuffisant. Quelle que soit la solution que j'utilise sur disque 7200 t/mn, il me faut au moins 100 disques pour assurer un débit correct, et encore, avec l'évolution du volume on est plutôt vers les 200 disques.

Au final tu peux le tourner dans tous les sens, et je peux te dire que je l'ai fait des dizaines de fois, une bonne vieille librairie LTO est encore ce qui coûte le moins cher pour stocker de grandes quantités de données. D'ailleurs les chaînes de télévision ne s'y sont pas trompées, elles ont toutes des librairies LTO avec des milliers de bandes pour stocker leurs vidéos.

[egtegt²]

[...]
Je n'ai pas retenu amazon glacier parce que je trouve l'offre assez complexe et je n'ai pas trouvé comment faire de la sauvegarde automatique.
Ca me semble plus être une solution d'archivage (manuel) que de sauvegarde (automatique) mais j'ai peut-être raté quelque chose.
L'offre de backblaze m'a paru plus claire et plus facile à mettre en oeuvre (il y a des concurrents type carbonite aussi, on verra si je teste ou pas).

Je confirme, c'est de l'archivage pas de la sauvegarde, et les outils à disposition par Amazon sont très basiques, c'est juste de la ligne de commande ou des bibliothèques pour développer. Le logiciel que j'utilise (FastGlacier) est lui aussi très basique, il permet juste graphiquement de sélectionner des dossiers ou des fichiers à copier, aucune automatisation n'est prévue.

C'est d'ailleurs le titre de mon fil : Archivage Amazon Glacier. J'y ai mis mes photos jusqu'à 2022 par exemple, et j'attendrai environ juin 2024 pour y mettre l'année 2023.

[Zaphod]

Oui c'est un besoin différent, que je n'ai pas vraiment
Ma problématique c'est surtout de sécuriser les données locales (principalement récentes) contre risque de foudre/incendie/cambriolage/etc...
Bien sur dans la sauvegarde il y a aussi les vieilles photos puisque je garde tout en local.

Le fil m'aura au moins poussé à me bouger et mettre en place une solution efficace dès maintenant.

[Stepbystep]

Pour l'instant je paye 2 € par mois, il me faudrait quelques années pour atteindre 220 €,

Ce genre de solution est clairement pour des gens qui ont peu de données à stocker. Dès que tu as un peu de volume comme moi, les prix deviennent exorbitants. Même sans la récupération, on est à plus de 324 $ par an, ce n'est pas intéressant dés que l'on se place à long terme. C'est 3 240 $ en 10 ans.