Compression avec pertes en ARW

Démarré par SuBWaReZ, Août 03, 2015, 11:20:32

« précédent - suivant »

SuBWaReZ

Bonjour à tous,

J'ai l'impression que ce sujet n'a pas, ou très succinctement, été abordé ici. Après avoir acheté récemment un A6000 en remplacement de mon NEX 5R je me suis posé une question toute bête concernant la taille de mes fichiers RAW par rapport à la taille du capteur. A partir de cela je me suis rendu compte que les fichiers étaient plus petits qu'ils ne devraient l'être en partant du fait qu'un pixel fait 14 bits en RAW (pas universel mais profondeur la plus rependue).
Après quelques recherches le constat est que Sony compresse avec perte ses images au format ARW qui ne font finalement (que) 11 bits + 7 bits d'offset. Je n'ai pas trouvé énormément d'info sur la méthode de compression. A priori c'est, on l'imagine, pour gagner en vitesse d'écriture par image, en taille de buffer intermédiaire (mode rafale) et accessoirement en espace sur la carte mémoire mais ça ne doit pas être la raison essentielle.

J'ai parcouru des articles très intéressants sur les artefacts générés par cette compression, en français:
http://fxfaidy.com/sony-arw-2-3-est-til-un-vrai-raw/#MAJ
en anglais:
http://diglloyd.com/blog/2014/20140212_2-SonyA7-RawDigger-posterization.html
https://photographylife.com/reviews/sony-a7-ii/3

Avec l'ARW on en a forcément plus sous le pied qu'avec un bête jpeg mais c'est quand même dommage d'avoir des artefacts de compression sur des appareils haut de gamme comme le A7R-II... Une compression sans perte je le comprend, mais avec perte c'est quand même dommage.

Au delà du fait que j'ai maintenant l'impression d'avoir un RAW au rabais (j'en rajoute un peu pour la forme ;D), qu'en pensez-vous?
Pourquoi ne pas proposer d'enregistrer dans RAW/ARW sans perte en option? Serait-ce une limitation hardware des processeurs BIONZ ou dans la chaine d'acquisition des données?

efmlz

je ne connais pas les détails techniques mais Sony a reconnu travailler sur le sujet suite à différentes remarques très étayées (dont certaines de pros et techniciens férus, ce qui j'imagine, a dû plus le marquer que nos bavardages?)
pour le reste en conditions de lumière pas trop difficile (et bas isos) les JPG de l'a6000 sont si bons qu'à moins de vouloir à tout prix post-traiter on peut mettre beaucoup de raw à la poubelle, mais je m'éloigne un peu du sujet  :D
i am a simple man (g. nash)

spinup

Citation de: SuBWaReZ le Août 03, 2015, 11:20:32
Pourquoi ne pas proposer d'enregistrer dans RAW/ARW sans perte en option? Serait-ce une limitation hardware des processeurs BIONZ ou dans la chaine d'acquisition des données?
Un haut respnsable chez Sony a dit dansune interview qu'ils avaient pris connaissance de la demande pour des RAW sans perte, qu'ils travaillaient desus, et que dans le futur cette option pourrait etre apportee par MAJ firmware.

SuBWaReZ

 [at] efmiz
Pour ce qui est de la qualité des jpeg je n'en doute pas mais on ne choisit pas la façon dont il sera traité et le boitier ne sortira pas forcément "le jpeg" que je veux, et c'est un autre débat ^^

[at] spinup
Oui effectivement, ça semble dans les tuyaux:
http://www.sonyalpharumors.com/sony-interview-and-a-good-news-they-are-working-on-uncompressed-raw/
J'espère juste que ça ne mettra pas des années à arriver et que le A6000 sera concerné par cette éventuelle MAJ du firmware. Vu les dernières déclarations d'axer principalement la stratégie de Sony sur le FF j'ai des doutes.

efmlz

Citation de: SuBWaReZ le Août 03, 2015, 18:42:08
...... J'espère juste que ça ne mettra pas des années à arriver et que le A6000 sera concerné par cette éventuelle MAJ du firmware. Vu les dernières déclarations d'axer principalement la stratégie de Sony sur le FF j'ai des doutes.

là j'ai bien peur que tu aies raison simplement parce que l'a6000 commence à être "vieux" et cela ne semble pas vraiment la tendance des fabricants de s'occuper des vieilleries,
quant au futur a7000 annoncé dans les tuyaux sera-t-il avec des raw non compressés ? mystère ...
en tout cas s'il l'est on voit mal les FF ne pas l'être,
j'imagine mal aussi Sony abandonner les alpha Xooo aps-c tant que le FF ne sera pas plus "démocratique", d'autant plus que passer du aps-c au FF signifie dépenser un peu plus pour d'autres objectifs, même si au début on pourrait utiliser un A7x avec des objectifs aps-c  :-[
i am a simple man (g. nash)

Polak

Ca fait surtout désordre avec des appareils comme l'A7r II et avec les ambitions de Sony.
Avec mon brave A7 , je n'ai jamais noté de problèmes. Je crois que beaucoup d'utilisateurs s'en moquent.

spinup

Citation de: SuBWaReZ le Août 03, 2015, 18:42:08
J'espère juste que ça ne mettra pas des années à arriver et que le A6000 sera concerné par cette éventuelle MAJ du firmware.
As tu remarqué concrètement un probleme avec les RAW de ton A6000? Parce que c'est pas non plus un souci qui concerne beaucoup d'utilisateurs. Je fais du RAW avec parfois pas mal de postraitement et je n'ai remarque aucun probleme lié a ce format.

SuBWaReZ

Citation de: spinup le Août 03, 2015, 21:50:12
As tu remarqué concrètement un probleme avec les RAW de ton A6000? Parce que c'est pas non plus un souci qui concerne beaucoup d'utilisateurs. Je fais du RAW avec parfois pas mal de postraitement et je n'ai remarque aucun probleme lié a ce format.
Si tu regardes les liens que j'ai donné tu verras que la compression entraine une perte d'information (forcément) mais aussi dans certaine condition (forts contrastes) des artefacts dû à la compression. En cherchant sur le net, il y a pas mal d'exemples qui les mettent en évidence. Pour ce qui est de la perte d'info, ça dénature le sens du RAW qui est sensé correspondre aux données brutes du capteur.
Je me dis juste que c'est dommage et pas très logique de la part de Sony alors que chez Nikon et Canon c'est du vrai RAW, à partir de là quand tu achètes un appareil qui permet de shooter en RAW tu t'attends à avoir la même profondeur que chez les concurrents, cela concerne tous les utilisateurs qui shoote en RAW et qui peuvent se sentir lésés, que le contrat n'est pas rempli. Évidement c'est à relativiser, comme tu le fais remarquer il est probable que la plupart du temps on ne s'en rende même pas compte.
Personnellement, n'ayant compris que récemment que l'ARW était compressé avec perte je n'ai jamais cherché ce genre d'artefacts ni ne les aient constaté.

Mistral75


SuBWaReZ


Mistral75


stringway

Il me semble que sur les A700 et A900, l'utilisateur a la possibilité d'utiliser un RAW non compressé et un S-RAW légèrement compressé.
Dire que Sony travaille à la non compression des RAW pour l'avenir est interessant.  ::)

SuBWaReZ

Si vous êtes intéressé par le coté technique, voici un article assez intéressant et probablement le plus complet: http://www.rawdigger.com/howtouse/sony-craw-arw2-posterization-detection
Citation de: Mistral75 le Août 03, 2015, 23:27:28
Je le crains...

Pourtant chez Canon plusieurs sources confirmes que les 14 bits sont utilisées, histogrammes à l'appui, notamment dans cet article (partie "Dynamique")dans lequel ils ont été surpris des résultats obtenu avec l'A7S et le compare avec un Canon 50D:
http://www.focus-numerique.com/test-1880/compact-a-objectifs-interchangeables-sony-a7s-mode-video-17.html
D'ailleurs ils mettent en évidence que Panasonic (GH4) utilise aussi ce genre de compression avec perte.

Chez Nikon c'est plus flou mais j'ai l'impression que c'est juste configurable (12 et 14 bits). Leur page de support vante les avantages des 14 bits:
https://nikoneurope-fr.custhelp.com/app/answers/detail/a_id/24179/~/quels-sont-les-avantages-dun-enregistrement-14%C2%A0bits-par-rapport-%C3%A0-un
ici ils semblent le confirmer également (d'ailleurs il y a des images comparatives intéressantes entre un RAW 12 bits et un RAW 14 bits): http://www.earthboundlight.com/phototips/nikon-d300-d3-14-bit-versus-12-bit.html
mais en revanche sur Nikon D750 & D7100 il y a ici les mêmes symptômes de perte d'information: http://fxfaidy.com/sony-arw-2-3-est-til-un-vrai-raw/

Aurais-tu d'autres information à partager?
Citation de: stringway le Août 04, 2015, 00:35:13
Il me semble que sur les A700 et A900, l'utilisateur a la possibilité d'utiliser un RAW non compressé et un S-RAW légèrement compressé.
Dire que Sony travaille à la non compression des RAW pour l'avenir est interessant.  ::)
Je pense avoir lu aussi que, Sony, sur de précédent modèles autorisait deux options et que au bout d'un moment uniquement le format compressé avec perte est resté mais je ne retrouve plus la source...

Ilium

Citation de: Polak le Août 03, 2015, 21:09:54
Ca fait surtout désordre avec des appareils comme l'A7r II et avec les ambitions de Sony.
Avec mon brave A7 , je n'ai jamais noté de problèmes. Je crois que beaucoup d'utilisateurs s'en moquent.

La plupart et il est vrai que les limites semblent rarement atteintes.
Reste que ça fait désordre d'imposer du 11+7 avec perte quand on prétend viser un marché d'excellence.

Citation de: SuBWaReZ le Août 03, 2015, 23:18:35
On m'aurait menti? :D

Disons surtout qu'il faudrait définir "vrai RAW" et qu'avec une définition de puriste, il y a des chances que ce produit n'existe pas. :)

SuBWaReZ

Citation de: Ilium le Août 05, 2015, 11:45:54
Disons surtout qu'il faudrait définir "vrai RAW" et qu'avec une définition de puriste, il y a des chances que ce produit n'existe pas. :)
Je n'ai pas l'impression que le problème vienne de la définition de ce qu'est un RAW. En simplifiant c'est l'accès à la plage complète des valeurs disponibles par le capteur. J'imagine que tu faisais allusion à leur représentation dans le fichier, l'utilisation de compression sans perte ou non, etc. De mon point de vue c'est un autre débat, ici la question est sur l'accès à la pleine plage de valeurs que le capteur fournit. Après Sony peut bien les représenter de la manière dont ils le veulent (bien qu'ils respecteraient un standard ce ne serait pas plus mal mais, encore une fois, le débat n'est pas la).

Johnny D

Oui bah.. reste à savoir si des RAW sur 14 bits de 70 Mo le bout c'est forcément mieux pour en tirer un jpeg sur 8 bits de 10 Mo..

polohc

Citation de: Johnny D le Août 24, 2015, 11:07:35
Oui bah.. reste à savoir si des RAW sur 14 bits de 70 Mo le bout c'est forcément mieux pour en tirer un jpeg sur 8 bits de 10 Mo..

non, mais pour des impressions > A3+, oui ;)
Il est plus tard que tu ne penses

Ilium

Citation de: Johnny D le Août 24, 2015, 11:07:35
Oui bah.. reste à savoir si des RAW sur 14 bits de 70 Mo le bout c'est forcément mieux pour en tirer un jpeg sur 8 bits de 10 Mo..

Pour le savoir encore faudrait-il avoir le choix et au delà de l'utilité réelle d'un tel choix, c'est bien le fait que Sony ne le laisse pas qui est reproché.

Couscousdelight

Citation de: Johnny D le Août 24, 2015, 11:07:35
Oui bah.. reste à savoir si des RAW sur 14 bits de 70 Mo le bout c'est forcément mieux pour en tirer un jpeg sur 8 bits de 10 Mo..
Le problème, c'est surtout le post-traitement. Moins de latitude, pousser quelques curseurs fait apparaitre des artefacts, c'est plutôt ballot.

SuBWaReZ

Sony vient d'annoncer la possibilité de sélectionner un nouveau mode RAW 14 bits non-compressé pour le nouveau A7S II et par update firmware sur le A7R II. D'autres appareils seront à priori mis à jour mais il n'y a aucune liste.
http://blog.sony.com/press/sony-announces-addition-of-uncompressed-14-bit-raw-still-image-capture-for-new-%CE%B1-cameras/
Ou en français sur SAR:
http://www.sonyalpharumors.com/official-at-sony-us-14-bit-raw-coming-to-a7sii-a7rii-and-additional-cameras-what-image-qaulity-improvement-can-you-expect/

Comme quoi Sony peut prendre en compte les demandes des utilisateurs, cela donne donc de l'espoir pour d'autres évolutions.

N'ayant aucune idée du ratio de compression j'ai une inquiétude concernant la taille des fichiers car on passera d'un mode 11(+7) bits compressé avec perte à un mode 14 bits non-compressé. Je reste satisfait mais il aurait été judicieux de proposer un 14 bits compressé sans perte mais cela aurait probablement demandé plus de boulot.

J'espère en tout cas que le A6000 aura son update firmware pour tester cela :D

ST2

Citation de: Couscousdelight le Août 25, 2015, 15:26:58
Le problème, c'est surtout le post-traitement. Moins de latitude, pousser quelques curseurs fait apparaitre des artefacts, c'est plutôt ballot.

Alors oui, dans le fonds c'est vrai. Toutefois, utilisateur d'un A7II (et d'un D800E), il faut pousser gravement les manettes en postprod pour voir apparaitre des postérisations dans les ciels du soir....mais tellement gravement que l'image est inexploitable depuis un bon moment.
Alors oui, 14 bits sans compressions sera une possibilité intéressante et j'en suis heureux pour ceux qui la réclame...mais je dois dire que je n'ai jamais eu de souci avec la compression 11+7.
My two cents. :)

rsp

un article en anglais qui explique le problème lié à la compression avec perte :
http://www.dpreview.com/articles/2834066212/the-raw-and-the-cooked-pulling-apart-sony-raw-compression
Si c'est absolument sans compression on peut penser qu'il suffit de multiplier le nombre de bits (14) par le nombre de photo-sites et diviser par 8 pour avoir la taille en octets. Bien sûr il faut aussi ajouter au moins une en-tête contenant les données EXIF.

esperado

Citation de: rsp le Septembre 15, 2015, 22:29:25
un article en anglais qui explique le problème lié à la compression avec perte :
http://www.dpreview.com/articles/2834066212/the-raw-and-the-cooked-pulling-apart-sony-raw-compression
Une plainte pour viol a été déposée par une mouche. La police scientifique, première arrivée sur les lieux a receulli un indice très important: un bout de scotch utilisé par l'auteur des faits, dont on ignore encore à quel usage il a servi. On attend aussi le résultat des recherches comparatives  sur les emprientes digitales relevées sur les lieux.

rsp

Citation de: esperado le Septembre 15, 2015, 22:54:30
Une plainte pour viol a été déposée par une mouche. La police scientifique, première arrivée sur les lieux a receulli un indice très important: un bout de scotch utilisé par l'auteur des faits, dont on ignore encore à quel usage il a servi. On attend aussi le résultat des recherches comparatives  sur les emprientes digitales relevées sur les lieux.
voilà qui fait avancer le débat...

Mikado

Citation de: rsp le Septembre 15, 2015, 22:29:25
un article en anglais qui explique le problème lié à la compression avec perte :
http://www.dpreview.com/articles/2834066212/the-raw-and-the-cooked-pulling-apart-sony-raw-compression
Si c'est absolument sans compression on peut penser qu'il suffit de multiplier le nombre de bits (14) par le nombre de photo-sites et diviser par 8 pour avoir la taille en octets. Bien sûr il faut aussi ajouter au moins une en-tête contenant les données EXIF.
RAW sans compression personne ne fait. Compression sans pertes c'est bien.