CFHTLS_z

For comparison, here are the stats for the available SED fitting zphots in the Wide and Deep fractions of the catalog respectively:

ZPHOT_W>0 (14872 galaxies) :
sigma,bias,eta=0.04021 & 0.02019 & 26.80

ZPHOT_D>0 (5277 galaxies) :
sigma,bias,eta=0.03301 & -0.01458 & 29.05

ps: the fraction of outliers is still defined as abs(deltaz)>0.05.

Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

Johanna Pasquet wrote:

Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

oui en effet, au delà de 1.5 ça devient hautement imprécis, comme on pouvait s'en douter au vu de la fraction de galaxies dans cette zone. les pdf sont quasi plates.

Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

Marie TREYER wrote:

On voit vraiment bien l'amélioration Merci Marie!

Johanna Pasquet wrote:

On voit vraiment bien l'amélioration Merci Marie!

oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.

Stephane ARNOUTS wrote:

Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

Stephane ARNOUTS wrote:

Johanna Pasquet wrote:

On voit vraiment bien l'amélioration Merci Marie!

oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.

c'est ce que j'avais fait avant, les stats sont les mêmes.

non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

OK, c'est bien ce qui me semblait. On a sans doute pas trop de stats avec un seul pickle pour le faire.

Sinon oui Tu as le flag_K qui identifie les regions avec le K (je ne sais plus dans quel sens ca marche)  et tu as flag_opt qui dit si la photometrie optique est OK ou dans une region masquee. 
 Par defaut les objets dans des masques optiques ont zphot=-99 (mais  zml contient l'info)

Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

Stephane ARNOUTS wrote:

Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

rien d'inattendu finalement

Marie TREYER wrote:

Johanna Pasquet wrote:

New results with 50% of the statistics for the test: 97 603 images

biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826

consistency check
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.

Super merci!

Marie TREYER wrote:

the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5

Au delà de 3 en redshift c'est vraiment pas bon...dû au faible nombre de données dans cet intervalle. Peut être qu'on ne devrait pas considérer les images au delà de 3 pour le test du moins. Pour le PIT il faudrait voir si plus d'ensemble permettent de le rendre plus plat...