Archivage Amazon Glacier

[egtegt²]

Ce genre de solution est clairement pour des gens qui ont peu de données à stocker. Dès que tu as un peu de volume comme moi, les prix deviennent exorbitants. Même sans la récupération, on est à plus de 324 $ par an, ce n'est pas intéressant dés que l'on se place à long terme. C'est 3 240 $ en 10 ans.

C'est effectivement la limite (même si j'ai un peu de mal à qualifier de "peu" 1To), pour de grosses volumétries le plus intéressant est d'acheter deux disques externes de grosse capacité et de copier le gros des données en double sur ces deux disques, pour les photos récentes par contre, il est envisageable d'utiliser le cloud.

Car si tu as 20 ou 30 To, je suppose qu'une grosse partie est constituée d'archives que tu ne modifies plus ou très rarement.

[nimbus]

Cela paraît coûteux mais  c'est une sauvage externe et cela comprend l'energie Et l'espace Physique de stockage avec une restauration à toute heure, maintenance du système incluse.

Comparer cela au prix du seul média physique est pour moi incorrecte.

Pour quelque Tera c'est peut être coûteux. Pour des volumes de 30 à 50T croissant annuellement c'est pratique car sans investissement, sans maintenance. Sans m2 à louer.
Pour dès volumétries de plusieurs Peta cela semble coûteux mais comparé à un robot + bandes + maintenance + m2 data center + investissement c'est compétitif. La classe S3 Glacier Deep Archive coûte deux fois moins cher.

Ces solutions sont souvent utilisés dans le cadre de sauvegardes de données pour lesquelles il y a obligation légale. Le coût est faible par rapport à l'enjeu (amende en cas de manquement à ces obligation, etc...)

Pour revenir à la classe Glacier, dans le cas de petite volumétries et de photos, c'est certain que de copier la production hebdomadaire sur un disque et la porter sur un autre site coûte moins cher en facial. C'est contraignant et non automatisable.

Pour le coût, Tout doit être mis en perspective:
Quel est la valeur de votre fond photo? Quel est l'investissement qui peut être fait?

Une production personnelle ou une agence photo c'est différent.
Sur mon NAS de sauvegarde qui est redondé, je fait une sauvegarde local sur disque des nouvelles photos lorsque publiées (automatiquement). Une sauvegarde mensuelle des originaux et fichier dop, sur disque dur qui est ensuite déconnecté et stocké chez un ami à 6km de chez moi.(deux disques sont utilisés en roulement).

J'ai la possibilité de sauvegarder directement l'archivage de mon NAS sur Glacier mais je ne l'ai pas fait pour raison de coût. (Et je ne sus pas une entreprise). Si la photo eut été  mon métier, je l'aurai souscrit.

[egtegt²]

En fait je pense que les photos sont souvent bien plus importantes pour un particulier que pour un pro. Pour un pro ça représente juste un enjeu financier, s'il perd des photos, ça va lui coûter de l'argent et c'est tout. Pour un particulier par contre, il y a un élément affectif qui peut être  bien plus important. Si je perds toutes les photos de mes enfants dans leurs 10 premières années, ça ne me coûtera pas un cent mais la perte sera pour moi énorme.

En fait si je me pose la question, mes photos sont même mes données numériques les plus précieuses. Mes factures, mes comptes ou mes documents administratifs me feraient perdre beaucoup de temps, d'argent pour certains, si je les perdais mais rien d'aussi gênant que mes photos.

J'ai essayé les solutions type copie sur CD, sur disque externe ... Le principal souci est que je ne m'astreint pas à le faire de façon très régulière, et je ne souhaite pas mettre mes photos en danger, même quelques jours. Par exemple si je rentre de vacances, je décharges mes photos sur OneDrive et vu que j'ai la fibre, elles sont envoyées chez Microsoft quasiment aussi vite qu'elles arrivent sur mon disque dur. A partir de ce point je sais que le risque de perte est insignifiant et ce sans le moindre effort de ma part ( en dehors de payer l'abonnement OneDrive ).

Si j'ai choisi Glacier, c'est parce que Onedrive est limité à 1 To. On peut l'étendre mais ça coûte vitre très cher, bien plus cher que Glacier. Donc je reste en dessous de 1 To chez Microsoft et le reste va chez Amazon.

Pour préciser : les données primaires sont de toute façon sur mon disque dur, Microsoft et Amazon ne sont que des copies.

[nimbus]

Oui pour le côté affectif.
Mais je comprends le choix car j'ai failli le faire.
Pour l'instant, pas prêt pour payer Glacier. Peut être que je changerai d'avis lorsque l'un des 3 disques de sauvegarde tombera en panne et qu'il faudra le remplacer.

C'est confort et j'aime.
Bonnes photos

[Zaphod]

En fait je pense que les photos sont souvent bien plus importantes pour un particulier que pour un pro.

Oui.
Après il y a différentes façons de sécuriser, par exemple je me fais des albums google photos avec ma sélection de photos traitées mais j'ai 6 mois de retard pour créer les albums. Si jamais je perds tout le reste, j'aurais au moins ça.

Après sur la sauvegarde en ligne j'y mets tout vu que je ne suis pas limité pour le volume.

[M@kro]

D'ailleurs les chaînes de télévision ne s'y sont pas trompées, elles ont toutes des librairies LTO avec des milliers de bandes pour stocker leurs vidéos.

Et je suis sur qu'en cherchant un peu, on pourrait trouver un exemple contraire

J'en ai connu qui pratiquait la sauvegarde entre serveur, car la société disposait de plusieurs bâtiments distants reliés par de grosses fibres.
Donc les données étaient dupliquées d'un serveur du bat 1 vers un serveur du bat 2 (et vice versa) via les fibres et ca fonctionnait très bien.
Ca demandait de la vérification mais l'avantage c'est qu'on ne fait que du différenciel, pas de la sauvegarde totale (effectuée qu'une seule fois)

Après le problème des bandes c'est qu'on rechigne souvent à les changer régulièrement, jusqu'au jour où on en a besoin et qu'on s'aperçoit qu'elles sont usées :p
Et forcément, une bande usée est une bande qui n'a pas enregistré toutes les données avec les conséquences que cela peut avoir ^^
(et pire encore, on rechigne encore + à faire des tests de restauration pour vérifier si tout est OK)

bref, chaque méthode a ses avantages/inconvénients et dépend finalement que de la politique des responsables

mais bon fin du HS, car on n'est pas dans le monde pro (même si parfois on s'en approche pour les photographes au doigt lourd ^^)

[Stepbystep]

C'est effectivement la limite (même si j'ai un peu de mal à qualifier de "peu" 1To), pour de grosses volumétries le plus intéressant est d'acheter deux disques externes de grosse capacité et de copier le gros des données en double sur ces deux disques, pour les photos récentes par contre, il est envisageable d'utiliser le cloud.

Car si tu as 20 ou 30 To, je suppose qu'une grosse partie est constituée d'archives que tu ne modifies plus ou très rarement.

Je suis plutôt à 15 To  dont environ 8 To de photos. 1 voyage avec un D850, c'est environ 750 Go rien que pour les raw auquel il faut ensuite ajouter les fichiers finaux et les fichiers intermédiaires, que je supprime après coup.

Mon tout premier voyage en numérique avec un 300D représente à peine 12 Go avec les fichiers finaux.

Mon tout premier ordinateur avait 16 ko de ram et pas de disque dur. 

Demain, on parlera en petaoctets, puis plus tard en hexaoctets. 

[egtegt²]

Et je suis sur qu'en cherchant un peu, on pourrait trouver un exemple contraire

J'en ai connu qui pratiquait la sauvegarde entre serveur, car la société disposait de plusieurs bâtiments distants reliés par de grosses fibres.
Donc les données étaient dupliquées d'un serveur du bat 1 vers un serveur du bat 2 (et vice versa) via les fibres et ca fonctionnait très bien.
Ca demandait de la vérification mais l'avantage c'est qu'on ne fait que du différenciel, pas de la sauvegarde totale (effectuée qu'une seule fois)

Ca ce n'est pas de la sauvegarde, c'est de la réplication, nous le faisons aussi là où je travaille mais la finalité n'est pas du tout la même. Tu te protèges contre une panne ou une perte de salle mais pas contre une corruption des données qui est répliquée sur le site de secours. La sauvegarde implique de conserver l'historique des versions pour pouvoir récupérer les données en cas de corruption.

Après le problème des bandes c'est qu'on rechigne souvent à les changer régulièrement, jusqu'au jour où on en a besoin et qu'on s'aperçoit qu'elles sont usées :p
Et forcément, une bande usée est une bande qui n'a pas enregistré toutes les données avec les conséquences que cela peut avoir ^^
(et pire encore, on rechigne encore + à faire des tests de restauration pour vérifier si tout est OK)

bref, chaque méthode a ses avantages/inconvénients et dépend finalement que de la politique des responsables

mais bon fin du HS, car on n'est pas dans le monde pro (même si parfois on s'en approche pour les photographes au doigt lourd ^^)

Ce que tu décris avec les bandes, ça se passe dans les PME, là où je travaille le contenu des bandes est régulièrement lu et recopié sur une autre bande, et si une bande a des erreurs de lecture ou d'écriture, elle est immédiatement jetée. Par exemple j'ai fait pour une chaîne de télévision le transfert des données vers des bandes d'un modèle plus récent, sur 2000 bandes nous n'avons pas eu la moindre erreur de lecture, sachant qu'il y avait de toute façon un second jeu qui aurait permis de récupérer le contenu s'il y avait eu des erreurs.

[M@kro]

Ca ce n'est pas de la sauvegarde, c'est de la réplication, nous le faisons aussi là où je travaille mais la finalité n'est pas du tout la même.

Bah c'est de la sauvegarde, car tu externalises les données ailleurs et tu conserves l'historique puisque tu as une copie intégrale + les données maj chaque jour.
Et toutes vos bandes, elles sont stockées où ?

[egtegt²]

Bah c'est de la sauvegarde, car tu externalises les données ailleurs et tu conserves l'historique puisque tu as une copie intégrale + les données maj chaque jour.
Et toutes vos bandes, elles sont stockées où ?

On doit parler de choses différentes alors. Pour nos bandes elles sont stockées dans une armoire à côté de la librairie, c'est satisfaisant car la protection contre la perte de la salle est assurée par une copie des sauvegardes sur disque sur un autre site. Les bandes servent essentiellement à protéger contre un éventuel ransomware qui pourrait corrompre les données primaires et les sauvegardes sur disque.

[ChristopheNL]

En fait je pense que les photos sont souvent bien plus importantes pour un particulier que pour un pro. Pour un pro ça représente juste un enjeu financier, s'il perd des photos, ça va lui coûter de l'argent et c'est tout. Pour un particulier par contre, il y a un élément affectif qui peut être  bien plus important. Si je perds toutes les photos de mes enfants dans leurs 10 premières années, ça ne me coûtera pas un cent mais la perte sera pour moi énorme.

En fait si je me pose la question, mes photos sont même mes données numériques les plus précieuses. Mes factures, mes comptes ou mes documents administratifs me feraient perdre beaucoup de temps, d'argent pour certains, si je les perdais mais rien d'aussi gênant que mes photos.

J'ai essayé les solutions type copie sur CD, sur disque externe ... Le principal souci est que je ne m'astreint pas à le faire de façon très régulière, et je ne souhaite pas mettre mes photos en danger, même quelques jours. Par exemple si je rentre de vacances, je décharges mes photos sur OneDrive et vu que j'ai la fibre, elles sont envoyées chez Microsoft quasiment aussi vite qu'elles arrivent sur mon disque dur. A partir de ce point je sais que le risque de perte est insignifiant et ce sans le moindre effort de ma part ( en dehors de payer l'abonnement OneDrive ).

Si j'ai choisi Glacier, c'est parce que Onedrive est limité à 1 To. On peut l'étendre mais ça coûte vitre très cher, bien plus cher que Glacier. Donc je reste en dessous de 1 To chez Microsoft et le reste va chez Amazon.

Pour préciser : les données primaires sont de toute façon sur mon disque dur, Microsoft et Amazon ne sont que des copies.

Pour OneDrive, avec un abonnement familial a 100 euros / an, le 1TB devient 6TB, qu' il est possible de partager.

[Zaphod]

Oui mais ça reste 1 To par personne, si tu veux utiliser plus il te faut switcher de compte non ?
Perso je préfère utiliser des outils adaptés -> pour de la sauvegarde distante, autant utiliser un service qui fait de la sauvegarde, et qui le fait tout seul sans intervention manuelle.

[egtegt²]

Pour OneDrive, avec un abonnement familial a 100 euros / an, le 1TB devient 6TB, qu' il est possible de partager.

C'est ce que j'utilise, mais jusqu'à il y a peu, ça signifiait pour moi de me déconnecter de mon compte Onedrive principal puis de me connecter au compte secondaire pour profiter du To supplémentaire, sans compter que sur les 6 comptes, j'en utilise vraiment 5 donc je n'en ai qu'un de rab.

Bref c'est pas pratique et je trouve Glacier bien plus simple et pas très cher.

Petite remarque, pour uploader mon To de photos, ça m'a coûté 7 € de frais supplémentaires que je n'avais pas prévu. C'est un surcoût lié au nombre de fichiers envoyés, si j'avais voulu diminuer ça, j'aurais pu compresser au préalable mes photos dans des fichiers ZIP.

Bon, c'est une fois, je ne vais pas en mourir

[Col Hanzaplast]

Les glaciers fondent...

[ChristopheNL]

C'est ce que j'utilise, mais jusqu'à il y a peu, ça signifiait pour moi de me déconnecter de mon compte Onedrive principal puis de me connecter au compte secondaire pour profiter du To supplémentaire, sans compter que sur les 6 comptes, j'en utilise vraiment 5 donc je n'en ai qu'un de rab.

Bref c'est pas pratique et je trouve Glacier bien plus simple et pas très cher.

Petite remarque, pour uploader mon To de photos, ça m'a coûté 7 € de frais supplémentaires que je n'avais pas prévu. C'est un surcoût lié au nombre de fichiers envoyés, si j'avais voulu diminuer ça, j'aurais pu compresser au préalable mes photos dans des fichiers ZIP.

Bon, c'est une fois, je ne vais pas en mourir

J'ai cree un dossier partage sur les secondaires que j' ajoute dans le onedrive primaire.
J'ai donc tout sous la main sous mon \Onedrive\ primaire

[egtegt²]

J'ai cree un dossier partage sur les secondaires que j' ajoute dans le onedrive primaire.
J'ai donc tout sous la main sous mon \Onedrive\ primaire

Merci de l'info, je n'y avais pas pensé, il faudra que je regarde.

[M@kro]

On doit parler de choses différentes alors.
Pour nos bandes elles sont stockées dans une armoire à côté de la librairie, c'est satisfaisant car la protection contre la perte de la salle est assurée par une copie des sauvegardes sur disque sur un autre site.
Les bandes servent essentiellement à protéger contre un éventuel ransomware qui pourrait corrompre les données primaires et les sauvegardes sur disque.

Donc tu fais bien de la "copie de sauvegarde sur disque sur un autre site" ce qui revient au même de ce que j'ai dit.
Tu ajoutes une "sauvegarde surr bandes LTO" pour te rassurer en cas de chiffrement des données.
A l'époque où j'ai connu ça, on n'avait pas le risque du chiffrement de données, donc on n'avait que la 1ère solution.
(bien que certaines données étaient sauvegardées sur bandes aussi, mais ce n'était que les données ultra sensibles)

[egtegt²]

Donc tu fais bien de la "copie de sauvegarde sur disque sur un autre site" ce qui revient au même de ce que j'ai dit.
Tu ajoutes une "sauvegarde surr bandes LTO" pour te rassurer en cas de chiffrement des données.
A l'époque où j'ai connu ça, on n'avait pas le risque du chiffrement de données, donc on n'avait que la 1ère solution.
(bien que certaines données étaient sauvegardées sur bandes aussi, mais ce n'était que les données ultra sensibles)

En fait ce qui me dérange dans ta phrase c'est le terme "Copie de sauvegarde", pour moi ça n'est pas de la sauvegarde, pour moi une copie c'est une réplique identique à l'original, une sauvegarde c'est une copie des données avec conservation des différentes versions sur la durée. En fait pour moi le terme "copie de sauvegarde" n'a pas de sens, la sauvegarde n'est pas une copie stricto-sensu.

Mais c'est probablement juste une mésentente sur la terminologie

[doppelganger]

En fait ce qui me dérange dans ta phrase c'est le terme "Copie de sauvegarde", pour moi ça n'est pas de la sauvegarde, pour moi une copie c'est une réplique identique à l'original, une sauvegarde c'est une copie des données avec conservation des différentes versions sur la durée. En fait pour moi le terme "copie de sauvegarde" n'a pas de sens, la sauvegarde n'est pas une copie stricto-sensu.

Mais c'est probablement juste une mésentente sur la terminologie

Non. Ce que tu indiques là un un type de sauvegarde. Ou une pratique de sauvegarde. Une copie des données, peu importe la manière, est une sauvegarde.

Tes fichiers RAW, par exemple, sont des données qui n'évoluent pas dans le temps. Le concept de version n'existe pas. Pourtant, tu les sauvegardes bien.

[egtegt²]

Non. Ce que tu indiques là un un type de sauvegarde. Ou ou pratique de sauvegarde. Une copie des données, peu importe la manière, est une sauvegarde.

Non, c'est une copie. C'est peut-être une sauvegarde dans le langage courant mais techniquement il y a des différences. Une sauvegarde au sens propre du terme doit respecter un certain nombre de critères pour être considérée comme une sauvegarde :
- Gestion des versions et des rétentions
- Séparation des données sauvegardées des données primaires (supports différents, localisation géographique)

Pour moi si tu fais une simple copie des données, tu ne gères pas les versions ni les rétentions.

C'est un peu comme si tu me disais que Notepad est un logiciel de traitement de texte

[doppelganger]

Non, c'est une copie. C'est peut-être une sauvegarde dans le langage courant mais techniquement il y a des différences. Une sauvegarde au sens propre du terme doit respecter un certain nombre de critères pour être considérée comme une sauvegarde :
- Gestion des versions et des rétentions
- Séparation des données sauvegardées des données primaires (supports différents, localisation géographique)

Non. Une copie, stockée à un endroit précis, dans le but de sécuriser ses données en cas de défaillance système, est une sauvegarde dite sauvegarde totale (ou full backup). Que tu le veuille ou non

Si tu veux ajouter une couche de versioning, libre à toi.

Pour moi si tu fais une simple copie des données, tu ne gères pas les versions ni les rétentions.

Donc, selon toi, tu ne sauvegardes jamais tes fichiers RAW ?

C'est un peu comme si tu me disais que Notepad est un logiciel de traitement de texte

Absolument aucun rapport.

[M@kro]

Non, c'est une copie. C'est peut-être une sauvegarde dans le langage courant mais techniquement il y a des différences.
Une sauvegarde au sens propre du terme doit respecter un certain nombre de critères pour être considérée comme une sauvegarde :
- Gestion des versions et des rétentions
- Séparation des données sauvegardées des données primaires (supports différents, localisation géographique)

On pourrait dire que sauvegarder, ce n'est que faire une copie de nos fichiers sur un autre support.
Que ce soit sur un autre espace de stockage sur un serveur ou une bande LTO, ca reste de la sauvegarde.
Et quelque soit le support choisi, on peut faire n'importe quelle méthodologie (full, incrémentielle ou différentielle)

[Zaphod]

Une sauvegarde au sens propre du terme doit respecter un certain nombre de critères pour être considérée comme une sauvegarde :
- Gestion des versions et des rétentions
- Séparation des données sauvegardées des données primaires (supports différents, localisation géographique)

C'est peut-être ta définition mais ça ne semble pas du tout être dans la vraie définition de ce qu'est une sauvegarde.
Que ça soit des bonnes pratiques ou des choses souhaitables ok, mais ça ne rentre pas dans la définition d'une sauvegarde.

[egtegt²]

Heu ... Pour information ça fait 30 ans que mon métier est la sauvegarde, cette définition n'est pas MA définition mais la définition que tout le monde utilise dans le monde professionnel quand on parle de sauvegarde.

Regardez par exemple ce graphique publié par Gartner qui est le cabinet qui fait référence pour l'évaluation des solutions informatiques :

Je ne parle pas du classement mais des logiciels qui y sont recensés. J'en connais bien 5 ou 6, tous ont les fonctionnalités dont je parle. Et dans ce graphique il n'est pas indiqué "Copie sur disque". Et j'ai été gentil avec vous, je n'ai pas parlé de sauvegarde incrémentale, différentielle, et je vous ai épargné la sauvegarde de bases de données qui est encore très différente.

Sans versioning et sans paramètre de rétention, on n'est pas dans la sauvegarde, on fait juste de la copie. Ca peut quand même sauver la vie mais c'est différent.

D'ailleurs vous remarquerez que pour Glacier je n'ai pas parlé de sauvegarde mais d'archivage, c'est très proche de la sauvegarde mais c'est un petit peu différent. En fait c'est la façon dont on utilise le service qui définit si on parle de sauvegarde ou d'archivage.

En l'occurrence vu que mon but est de faire de l'archivage à la demande sans gérer les versions, ça n'est pas vraiment de la sauvegarde.

La sauvegarde est un domaine technique avec une terminologie précise, quand on connait cette terminologie, autant l'utiliser, elle permet de savoir exactement de quoi on parle.

[Zaphod]

Je n'ai trouvé aucune définition de sauvegarde nulle part qui aille dans ton sens.
Que ça soit ce que les logiciels proposent où ce que les gens cherchent à faire ok, c'est normal, mais dire que sans suivi des versions ça n'est pas une sauvegarde, je pense que c'est juste faux, les mots ont un sens

Si c'est la définition que tout le monde utilise ça doit bien se trouver quelque part.