Stockage des photos?

Démarré par schmargult, Novembre 03, 2020, 15:31:14

« précédent - suivant »

SeSy

Citation de: heneauol le Avril 02, 2021, 09:19:10
ps: je pense que je vais acheter à différent magasins pour avoir des lots différents.

Les bons magasins peuvent te garantir des lots différents. tu n'es pas garanti que des magasins différents ne soient pas sur les mêmes lots.

Citation de: heneauol le Avril 02, 2021, 09:19:10
pour le prix, effectivement cela est cher mais surtout je n'ai pas besoin pour le moment d'autant de To et je ne veux pas non plus voir trop petit pour le regretter plus tard quand j'en aurai "peut-être" besoin.

Si c'est pour dans 5 ans, à mon avis tu vois trop loin.

Si tu veux être sûr, perso je ferais avec des HDD Red normaux (éviter les Green dans du NAS, les démarrages et changements de vitesse posent problème), deux en miroir dans le NAS, un (ou deux) en sauvegarde (deux permets d'en stocker un ailleurs en cas d'incendie, de vol...) et avec ce que j'ai économisé sur les disques en prenant du Grand public, j'achète un onduleur.
Sur fond noir...

MFloyd

Je ne comprends toujours pas ce délire de système RAID pour un simple photographe. Si on était dans un environnement transactionnel de style entreprise de trading, de fiduciaire, vente/achat je comprendrai. Mais là ça me dépasse.

On peut parfaitement mettre un stratégie de sauvegarde / protection des données avec une stratégie simple et quelques DD de qualité. Sans tomber dans des usines à gaz qu'on propose ici.

(cliquez ev. sur l'image)

zuiko

Bonjour,

Il ne faut pas trop être inquiet tout de même si on a par exemple :
- un NAS avec 2 disques en RAID5 (je peux en rajouter 2)
- 1 ou 2 disques amovibles,
- un PC fixe avec ses espaces de stockage SSD+Disque mécanique
- un PC portable avec ses espaces de stockage pour les déplacements SSD+Disque mécanique
- un ou deux espaces cloud pour partager et/ou sauvegarder les JPG importants
De plus :
- la durée de vie des SSD est surveillée par l'utilitaire du constructeur (pour Samsung c'est Magician)
- le NAS peut envoyer périodiquement par mail l'analyse de la santé de ses disques s'il est bien paramétré pour ça (sur Syno ça marche bien).
- un petit utilitaire analyse en permanence la santé des disques des PC et des amovibles et alerte bien avant d'avoir des problèmes rédhibitoires, j'utilise CrystalDiskInfo : https://crystalmark.info/en/software/crystaldiskinfo/
- en SSD je ne prends que du Samsung, en mécanique que du Western Digital
Et ça roule sans angoisses intempestives...

SeSy

Citation de: MFloyd le Avril 02, 2021, 09:29:36
Je ne comprends toujours pas ce délire de système RAID pour un simple photographe. Si on était dans un environnement transactionnel de style entreprise de trading, de fiduciaire, vente/achat je comprendrai. Mais là ça me dépasse.

On peut parfaitement mettre un stratégie de sauvegarde / protection des données avec une stratégie simple et quelques DD de qualité. Sans tomber dans des usines à gaz qu'on propose ici.

Les photos sont "accessoires" sur mes espaces disques, je pense aux alentours de 5-10% vraiment grand maximum. Mon RAID est positionné sur un serveur plus global et le RAID me permet en premier lieu d'avoir un Syst d'Expl. résilient et par conséquent des services rendus sûrs.
Sur fond noir...

baséli

Citation de: MFloyd le Avril 02, 2021, 09:29:36
Je ne comprends toujours pas ce délire de système RAID pour un simple photographe. Si on était dans un environnement transactionnel de style entreprise de trading, de fiduciaire, vente/achat je comprendrai. Mais là ça me dépasse.

Je pense que notre ami confond deux besoins distincts: la tolérance aux pannes (ce que fait un RAID) et la sauvegarde (ce que ne fait pas un RAID). Avec des considérations de volume de données qui me semblent prématurées, mais j'en suis moins sûr.

On le voit bien dans un de ses messages, où il se plaint que son disque de sauvegarde sature car les fichiers qu'il supprime sur le disque de travail ne sont pas supprimés sur le disque de sauvegarde. Il me semble qu'il s'agit là d'un problème de logiciel de sauvegarde et rien d'autre. Il est sur PC et je ne connais pas, mais sur mac Time Machine gère parfaitement ce problème. A mon avis il ferait bien mieux de se concentrer sur les logiciels de backup et leur configuration.

Et de voir comment mettre en place une sauvegarde déportée, hors ligne, en un lieu différent de la sauvegarde automatique, pour se protéger des destructions (incendie, inondation, vol) et des pirates (ransomware).

Il n'y a aucune nécessité à mettre sa sauvegarde en ligne sur un NAS. Encore moins qu'elle soit tolérante aux pannes de disque, puisqu'en théorie, la sauvegarde ne sert pas  ;D Par contre une sauvegarde hors ligne en complément est indispensable, et elle a en plus pour avantage de gérer le risque de panne de la sauvegarde principale.

Pour préciser mon point de vue, ma solution de sauvegarde:
- sauvegarde en ligne sur un NAS par Time Machine
- Sauvegarde déportée n°1 sur un disque dans mon garage au sous-sol, mise à jour tous les mois à peu près par Time Machine aussi
- Sauvegarde déportée n°2 dans un tiroir au bureau mise à jour tous les mois à peu près par Time Machine aussi
- Décalage de 15 jours à peu près entre les sauvegardes déportées 1 et 2
- et tout ça chiffré bien entendu

Ça me fait quatre copies de mes données, deux parfaitement en phase et deux décalées de deux semaines et un mois. Je suis paré, pour un vulgaire particulier (mais informaticien). Et je ne parle que des photos: pour mon code, il est aussi en ligne sur gitHub (cinq copies donc)

Et je n'ai aucune des questions métaphysiques posées ici!

S'il me fallait des disques de 10To, il est clair que ce ne serait pas donné, mais leur MTBF me serait assez indifférent dans la mesure où deux disques tournent seulement une heure par mois, que celui du NAS peut mourir assez tranquillement puisque les données sont toujours sur mon disque de travail le temps du remplacement, et que pendant ce temps de remplacement je peux recycler un des disques déportés pour assurer un backup continu.

MFloyd

#180
Une philosophie un peu similaire: TimeMachine pour le disque principal SSD (1 TO) et Carbon Copy Cloner (CCC) hebdomadaire. Les images / média sont stockées sur un DD de 5 TO; qui est cloné automatiquement, une fois par jour, sur un DD de 5 TO; et un autre clonage hebdomadaire sur un autre disque 5 TO qui est stocké dans une enceinte pare-feu. Les images uploadés sont dédoublées en Lr; la copie de sauvegarde est purgée en année mobile. Donc pour un an en arrière, je dispose de 6 copies; plus loin de 3 copies. Les images publiées sont aussi sauvegardées dans le cloud. On parle de 150'000 images, et un mix de 20 et 45 MPx.

Très récemment, j'ai dû faire un clean install du disque principal (les fichiers effacés ne se vidaient plus) en BigSur. Tout s'est passé impeccablement avec TimeMachine. Il y a quelques années, j'ai eu un disk crash du disque images; je l'ai remplacé par un des disques de back up et, avec Lr, le sytème a tout de suite retrouvé ses jeunes. Une chose qui est une certitude, que tôt au tard, un disque dur finira par rendre l'âme.  ::)
(cliquez ev. sur l'image)

kochka

Sa  première contrainte vient du fait d'avoir acheté une serveur avant de bien comprendre ce qu'il fait exactement. J'ai commis la même erreur au début et j'ai longtemps utilisé un serveur comme simple porte disques indépendants.
Bien qu'ayant un lourd passé informatique dans différents secteurs, je ne connaissait rien aux serveurs et j'ai mis un bon moment à intégrer leur logique.
Je suis passé par plusieurs étapes, depuis des disques extérieurs, des tiroirs extractibles, un petit serveur 4DD pas cher chez Synologie, puis un gros serveur 8DD, auquel j'ai fini par ajouter un Icybox de 4x8T, qui le double par sécurité.
Intégrer les possibilité des uns et des autres boitiers, les logiques tolérances de panne et sauvegardes, avec le coût total indispensable, n'est pas évident. La sécurité coûte cher et n'est pas dans une démarche intellectuelle simple.
D'autant qu'avec l'espace disponible, on a tendance à s'étendre trop facilement. (Les raw, les conversions JPG maxi (au cas où le dérawtiseur disparaisse), et ne pas oublier les versions 4K pour l'Ipad et la télé, plus les films de vacance et de voyage reconvertis à am dernière norme). Je dois en avoir dans les 16T  à sécuriser au départ, tout en ayant perdu en cours de route, mes scans de N&B que je vais devoir reconstituer un jour.
Le sujet n'est pas simple lorsque l'on débarque.
Technophile Père Siffleur

baséli

Citation de: baséli le Avril 02, 2021, 11:21:08
A mon avis il ferait bien mieux de se concentrer sur les logiciels de backup et leur configuration.

Je précise que Carbon Copy Cloner (et équivalents) n'est pas un logiciel de backup, c'est un logiciel de copie comme son nom l'indique. Il a une utilité certaine, mais si on fait un clone d'un disque dans lequel il manque des fichiers, il manque des fichiers dans le clone aussi.

Les logiciels de synchronisation ne sont pas non plus des logiciels de backup: si on vérole (ou supprime) un fichier sur son disque de travail, il se retrouve aussi sec vérolé (ou supprimé) dans la copie. Et si on ne veut pas supprimer lors de la synchro, on retombe sur le problème de saturation d'espace initial. Ces logiciels ont également une utilité. Je m'en sers par ailleurs: de temps en temps synchro du PC du boulot sur un support dédié, copie du résultat sur le mac, et le boulot se retrouve dans les sauvegardes Time Machine.

Un vrai logiciel de backup permet de remonter dans le temps pour retrouver des fichiers effacés ou modifiés par erreur ou vérolés, il gère la saturation du disque de sauvegarde, offre des fonctions de recherche, etc.

MFloyd

Alors, tu nous donneras quelques logiciels de back up ?
(cliquez ev. sur l'image)

Zaphod

Il me semble que Carbon Copy cloner permet de garder l'historique des fichiers modifiés non ?
Il fait des sauvegardes incrémentales :
https://bombich.com/features

baséli

Citation de: MFloyd le Avril 02, 2021, 13:39:09
Alors, tu nous donneras quelques logiciels de back up ?

20 secondes de recherche google: https://beanland.net.au/AutoVer/

Je cite:  "It can be used as a simple real time backup or as a more complex, but transparent version control system (like a realtime incremental backup)". Le souligné et le gras sont de moi.

Ca fait du versionning de fichiers. C'est gratos. Encore une fois je suis sur mac, je ne connais pas les solutions windows, il y a sûrement mieux et plus cher.

Et puis.... ce sont vos données les gars, pas les miennes  >:D

SeSy

Puisque l'on parlait de Synology, tu as HyperBackup.
Sinon sous les *nix, un simple rsync peut faire l'affaire, les fs journalisés ou des snapshots systèmes aussi si on veut du très simple.
Tout dépend de ton cahier des charges : simple backup, plusieurs versions de backup, limitation de l'espace utilisé, facilité de navigation dans les backups...
Sur fond noir...

MFloyd

Citation de: baséli le Avril 02, 2021, 14:41:51
20 secondes de recherche google: https://beanland.net.au/AutoVer/

Je cite:  "It can be used as a simple real time backup or as a more complex, but transparent version control system (like a realtime incremental backup)". Le souligné et le gras sont de moi.

Ca fait du versionning de fichiers. C'est gratos. Encore une fois je suis sur mac, je ne connais pas les solutions windows, il y a sûrement mieux et plus cher.

Et puis.... ce sont vos données les gars, pas les miennes  >:D

Tu as l'air de t'y connaître  8)
(cliquez ev. sur l'image)

egtegt²

Citation de: heneauol le Avril 02, 2021, 09:19:10
"Je te laisse dans tes certitudes sur les temps de vie" si j'avais tant de certitudes, je ne poserais pas tant de questions et je n'hésiterais pas.
Je ne fais que dire ce qu'un ami (pas un nain de jardin en informatique) m'a expliqué, c'est d'ailleurs lui qui m'a indiqué qu'il ne fallait pas voir les raid "sécurité" comme la panacée pour cette raison (au départ c'est un des points que j'espérais:  ne plus trop me soucier des pannes de disques, centraliser , avoir du stockage évolutif en capacité, matos fiable et de qualité. l'accessibilité n'étant pas recherchée)
au final bcp de points ne sont remplis qu'en partie (juste un peu moins de risques de crash total des disques de travail/peu évolutif car il me resterait juste une baie vide).
j'avais abandonné cette idée et acheté un wd elements , mais je n'ai pas trop confiance dans ce matos comme  disque principal de travail et pas trouvé un dd externe "top qualité"

si les dd lâchent de manière aléatoire, et pas ou peu très influencés par la durée d'utilisation,  perso je ne demande pas mieux et cela redonne du poids à la sécurité (l'histoire de la voiture qui peut rouler sur 3 roues mais pas sur 2).
Je ne fais qu'essayer de faire une synthèse des avis et conseils parfois opposés (je mets de côté les vendeurs qui ont intérêt à ce que j'achète bcp) . comme avec les médecins, plus on se renseigne et plus on doute (j'opère, j'opère pas?).
ps: je pense que je vais acheter à différent magasins pour avoir des lots différents.
pour le prix, effectivement cela est cher mais surtout je n'ai pas besoin pour le moment d'autant de To et je ne veux pas non plus voir trop petit pour le regretter plus tard quand j'en aurai "peut-être" besoin.
Il ne s'agit pas de certitudes, juste d'expérience. Ca fait 35 ans que j'administre des serveurs, des baies de disques et de la sauvegarde. J'ai des clients qui ont des baies de disques avec plusieurs milliers de disques pour certains, quelques centaines pour la plupart. Et quand je parle d'expérience, je parle de la mienne mais également de celles de mes collègues, car quand on tombe sur ce genre de problème, on en parle.

En 35 ans, la seule fois où j'ai vu des disques tomber en série, c'était des disques de 2 Go IBM (je te laisse imaginer de quand ça date en fonction des capacités :) ) qui avaient un défaut de fabrication et quand on les arrêtait, la tête de lecture se collait sur le plateau et ils refusaient de redémarrer. Sinon au pire j'ai vu sur une baie avec 80 disques, 5 disques tomber en panne en l'espace d'un an, ce qui était un taux de panne bien au dessus de la moyenne, mais c'était très loin de poser problème car à chaque fois on a eu largement le temps de remplacer chaque disque et de le reconstruire avant que le suivant tombe en panne. Donc une chose est sure : si tu met du RAID, acheter des disques de lots différents a très peu d'intérêt. Mais tu peux le faire si tu veux, ça ne va pas non plus augmenter le nombre de pannes.


heneauol

lu ceci qui rejoint le danger de la reconstruction et qui reparle de l'onduleur et du hot spare http://blogmotion.fr/systeme/secteur-defectueux-raid-13500
pas évident de se faire sa propre opinion...  ???
petite question le raid 1 (miroir) serait-il plus "secure" que le SHR car les données sont physiquement clonées à 2 endroits différents?
les hommes, les anges, les v..

baséli

Citation de: heneauol le Avril 03, 2021, 11:02:42
petite question le raid 1 (miroir) serait-il plus "secure" que le SHR car les données sont physiquement clonées à 2 endroits différents?

Ben oui, le RAID1 est une simple copie sur plusieurs disques pour rendre une panne d'un disque transparente tandis que le RAID5 vise la performance en minimisant le risque supplémentaire de perte de données induit par la technologie de stripping. Tout est dit dans la page wikipédia.

https://fr.wikipedia.org/wiki/RAID_(informatique)

Je cite:

Le système RAID est :

soit un système de redondance qui donne au stockage des données une certaine tolérance aux pannes matérielles (ex : RAID 1).
soit un système de répartition qui améliore ses performances (ex : RAID 0).
soit les deux à la fois, mais avec une moins bonne efficacité (ex : RAID 5).

Je crois bien que ton choix devrait s'orienter vers la simplicité et la rusticité vues les questions que tu poses. Sauf si tu veux faire mumuse (ce qui est tout à fait légitime, j'aime bien aussi).


heneauol

#191
je parlais du Synology hybride raid, mais cela doit être +/- la même chose. sans doute plus facile de récupérer les données en miroir en cas de gros soucis.
https://www.synology.com/fr-fr/knowledgebase/DSM/tutorial/Storage/What_is_Synology_Hybrid_RAID_SHR
les hommes, les anges, les v..

kochka

D'après ce que j'ai compris, le SHR est une forme de Raid 5 à la sauce Synologie.
C'est un compromis, qui évite de doubler tout le volume, mais nécessite d'avoir au mois  trois disques.
Il est aussi possible d'augmenter la capacité de certains serveurs par un boitier complémentaire permettant d'ajouter d'autres DD sans avoir à changer tout le  boitier d'origine, mais je n'ai pas encore creusé la question.
Technophile Père Siffleur

kochka

Comme par un fait exprès, j'ai testé tous mes DD et le serveur m'annonce un DD HS.
Je le retire ; c'est un Red acheté en 2017. 
C'est le premier qui calque.
Je viens de le remplacer et la reconstruction est en cours.
Désormais je ferais les tests plus souvent.
Technophile Père Siffleur

SeSy

Citation de: kochka le Avril 03, 2021, 18:02:13
D'après ce que j'ai compris, le SHR est une forme de Raid 5 à la sauce Synologie.
C'est un compromis, qui évite de doubler tout le volume, mais nécessite d'avoir au mois  trois disques.
Il est aussi possible d'augmenter la capacité de certains serveurs par un boitier complémentaire permettant d'ajouter d'autres DD sans avoir à changer tout le  boitier d'origine, mais je n'ai pas encore creusé la question.

Il y n'y a que le nom de Synology dans le SHR. Je l'ai dit plus haut : c'est un RAID 5 géré par un mdadm standard sur lequel il y a une couche lvm des plus standards aussi. La seule chose, c'est que le lvm est bridé et qu'il ne faut surtout pas aller jouer manuellement avec.
Et le point de difficulté pour réutiliser les disques ailleurs est de déclarer le RAID dans le bon ordre.
Sur fond noir...

kochka

Merci de l'info.
Serait-il plus prudent de refuser le SHR et s'en tenir au raid 5?
Technophile Père Siffleur

egtegt²

Pour un particulier, la question ne se pose la plupart du temps pas dans ces termes, le choix est plus souvent guidé par le nombre de disques et les besoins en capacité.

Strictement parlant, un raid 1 est un peu plus fiable qu'un RAID 5 ... mais il prend plus de disques, et c'est vrai si on n'a pas de Hot spare (disque inutilisé pour remplacer immédiatement un disque défaillant sans attendre le remplacement). Si on a un disque hot spare, le calcul devient délicat et la réponse est plutôt "ça dépend" :)

Si on a plus de 4 disques, ça dépend des cas de figure mais le plus efficace est en général le RAID 6 DP (ça a plusieurs noms DP est le terme NetApp) qui permet la meilleure redondance et la meilleure capacité. Mais ça n'existe pas partout.

Pour moi pour un particulier, la solution la plus efficace est :
- 2 disques : RAID 1
- 3 disques : RAID 5
- 4 disques et au delà : RAID 5 ou RAID 6, le RAID 5 pour maximiser la capacité, le RAID 6 pour maximiser la redondance.

kochka

OK, mais SHR ou raid 5, avec 4 DD ou plus?
Technophile Père Siffleur

SeSy

Citation de: kochka le Avril 05, 2021, 17:50:00
Merci de l'info.
Serait-il plus prudent de refuser le SHR et s'en tenir au raid 5?

Il n'y a pas de raison, à moins de vouloir passer outre la gestion par Synology, et encore.
LVM est un système très standard et fiable.
Sur fond noir...

kochka

Ok,merci, je reste en SHR.
Technophile Père Siffleur