Rapport technique sur la couverture, Recensement de la population, 2016
10. Évaluation des études de couverture

10.1 Contre-vérification des dossiers

10.1.1 Introduction

Les résultats de la plus vaste étude sur la couverture, soit la Contre-vérification des dossiers (CVD), peuvent être évalués en comparant les estimations de la CVD avec des données portant sur les mêmes caractéristiques, mais tirées d’autres sources, comme la base de données du Recensement de 2016 et des données administratives utilisées par le Programme des estimations démographiques (PED). Les comparaisons avec les estimations de la CVD servent à évaluer ces dernières et à quantifier les différences au chapitre des concepts et des mesures.

Malgré quelques différences conceptuelles entre la CVD et le Recensement de 2016, les estimations du nombre de personnes dénombrées au Recensement de 2016 de la CVD peuvent être comparées aux chiffres du recensement. Afin de rendre ces chiffres comparables, certains rajustements ont été apportés aux chiffres du recensement avant d’effectuer la comparaison.

Les estimations des composantes de croissance intercensitaire peuvent être comparées aux estimations provenant d’autres sources. Les estimations de la CVD en ce qui concerne le nombre de personnes décédées entre le Recensement de 2011 et celui de 2016 peuvent être comparées aux chiffres tirés des statistiques de l’état civil. Les chiffres du solde migratoire interprovincial qui sont calculés par le PED à partir des données provenant de l’ARC peuvent être comparés aux estimations de la CVD. Finalement, les estimations des composantes de l’accroissement de la population de la CVD peuvent être comparées aux estimations comparables des données administratives.

10.1.2 Comparaisons avec les chiffres du recensement

Étant donné que le plan d’échantillonnage stratifié à un seul degré de la CVD produit des estimateurs sans biais, les écarts entre les estimations de la CVD et les chiffres du recensement sont principalement attribuables à l’erreur d’échantillonnage de la CVD, aux différences conceptuelles entre les deux sources ou aux biais systématiques ayant des répercussions sur les deux sources, qui se traduisent par une sous-estimation ou une surestimation de la caractéristique étudiée.

Personnes dénombrées

Les comparaisons établies pour les provinces et l’ensemble du pays sont présentées au tableau 10.1.2.1, de même que l’erreur-type de l’estimation de la CVD et la valeur t servant à tester l’hypothèse selon laquelle il n’y a pas d’écart entre l’estimation de la CVD et le chiffre comparable du recensement. Les ajustements suivants sont apportés aux chiffres publiés du recensement afin de tenir compte des différences conceptuelles entre les deux sources :

• Les ajustements faits à partir de l’Enquête sur la classification des logements sont exclus, car bien qu’ils soient inclus dans les chiffres du recensement, ils ne font pas partie de l’estimation de la CVD du nombre de personnes dénombrées.
• L’estimation du surdénombrement du Recensement de 2016 est soustraite, car la base de données du recensement contient des personnes surdénombrées alors que l’estimation de la CVD est établie d’après le nombre de personnes uniques ayant été dénombrées (et non d’après le nombre de dénombrements).
• L’estimation obtenue du nombre de personnes qui résidaient à l’extérieur du Canada cinq ans auparavant (à l’exclusion des immigrants intercensitaires et des résidents non permanents) en utilisant le questionnaire détaillé du Recensement de 2016 est également soustraite, car les estimations de la CVD n’incluent pas la majorité de ces personnes. Pour les mêmes raisons, on soustrait aussi l’estimation du nombre d’enfants de 0 à 4 ans nés à l’extérieur du Canada, mais ayant la citoyenneté canadienne.
• De même, pour les provinces, on soustrait l’estimation du nombre de personnes résidant dans un territoire cinq ans auparavant, car elles n’étaient pas couvertes par les bases de sondage provinciales de la CVD.
• Le nombre de personnes provenant des réserves de retour (participantes au Recensement de 2016, mais non participantes au Recensement de 2011) a également été soustrait, car les estimations de la CVD n’incluent pas la majorité de ces personnes.

À l’échelle nationale, l’estimation de la CVD du nombre de personnes dénombrées au Recensement de 2016 était légèrement inférieure au chiffre comparable du recensement (-0,09 %). Dans le cas des recensements de 1996 à 2011, les estimations de la CVD se situaient entre -0,08 % et 0,12 %. À l’échelle provinciale, les écarts les plus importants sont observés pour l’Île-du-Prince-Édouard et la Colombie-Britannique; l’estimation du nombre de personnes dénombrées dans le cadre de la CVD sous-estimait les chiffres comparables du recensement de 2 498 et 51 967 personnes respectivement. Ces différences sont statistiquement significatives. Dans les autres provinces, les différences ne sont pas significatives du point de vue statistique. Lors des cycles précédents, des différences significatives ont également été observées. Les écarts les plus importants font l’objet d’une vérification plus approfondie pour confirmer que la classification de la CVD ne comporte pas de biais (y compris la province de résidence le jour du recensement, par exemple). D’autres facteurs pourraient aussi jouer un rôle important dans les écarts observés. Outre l’erreur d’échantillonnage, des biais dans les ajustements (p. ex., Canadiens de retour) apportés aux chiffres du recensement publiés afin d’obtenir des chiffres comparables du point de vue conceptuel pourraient les expliquer. Le biais de non-réponse de la CVD pourrait aussi entrer en ligne de compte, car l’ajustement en fonction de la non-réponse est choisi afin d’obtenir le meilleur résultat possible pour estimer les personnes omises et non les personnes dénombrées. Toutes les étapes de la CVD sont régulièrement vérifiées et soumises à des contrôles de la qualité. Vu les écarts plus importants pour l’Île-du-Prince-Édouard et la Colombie-Britannique, des mesures de vérification plus approfondies ont été effectuées afin de confirmer qu’aucune des erreurs et qu’aucun des problèmes mentionnés ci-dessus n’influence les opérations et les estimations. Aucun problème à cet effet n’a été détecté.

10.1.3 Comparaison avec les estimations démographiques

Personnes décédées

Le tableau 10.1.3.1a permet de comparer l’estimation du nombre de personnes décédées pendant la période intercensitaire (du 10 mai 2011 au 9 mai 2016) selon la province de classification de la CVD aux chiffres tirés des dossiers des statistiques de l’état civil. L’estimation de la CVD exclut les personnes décédées hors Canada lorsque le pays de décès est connu. À l’échelle nationale, l’estimation de la CVD est plus élevée de 52 323 personnes (4,1 %) que ce qu’indiquent les dossiers des statistiques de l’état civil, et cette différence est statistiquement significative (valeur t de 2,83). À l’échelle provinciale, les différences les plus élevées ont été observées au Québec (19 655, ou 6,3 %) et en Ontario (30 215, ou 6,4 %) et ces différences sont statistiquement significatives (valeur t de 2,20 et 2,10 respectivement). Dans les autres provinces, les différences relatives se situent entre -4,0 % et 4,8 %, et elles ne sont pas statistiquement significatives.

Certaines raisons peuvent expliquer ces écarts significatifs. D’abord, l’estimation de la CVD peut inclure certains décès qui surviennent à l’étranger, ce que n’incluent pas les statistiques de l’état civil. Dans la CVD, si le pays de décès est connu et qu’il est à l’étranger, alors le décès ne fait pas partie de la comparaison des personnes décédées du tableau 10.1.3.1a. Cependant, si la personne n’a pas été trouvée dans les dossiers des statistiques de l’état civil et que le pays de décès est inconnu, elle sera alors classée par défaut dans sa plus récente province de résidence au Canada. Cette situation se produit notamment dans le cas des personnes présumées décédées dans les données fiscales seulement. La strate des décès de la base du Recensement de 2011 contient plusieurs de ces personnes (environ 20 000). Certaines d’entre elles sont probablement décédées au Canada et pourraient peut-être être trouvées dans les dossiers des statistiques de l’état civil à l’aide de recherches manuelles plus approfondies. Par contre, certaines de ces personnes sont probablement décédées à l’extérieur du pays et n’apparaissent pas dans les dossiers des statistiques de l’état civil. Le tableau 10.1.3.1b permet de comparer l’estimation de la CVD du nombre de personnes décédées pendant la période intercensitaire (du 10 mai 2011 au 9 mai 2016) selon la province de décès indiquée dans les dossiers des statistiques de l’état civil (donc seulement pour les personnes trouvées dans ces dossiers) aux chiffres tirés des dossiers des statistiques de l’état civil. Les différences qui étaient significatives (Canada, Québec et Ontario) ne le sont alors plus, les valeurs t se situant près de 1,0. Cependant, la différence devient alors significative au Nouveau-Brunswick (-2 031, et une valeur t de -2,50). Même si ces derniers résultats ne semblent pas démontrer d’enjeux liés aux estimations de la CVD du nombre de personnes décédées, des mesures de vérification plus approfondies ont été effectuées afin de confirmer qu’aucune erreur de classification ou d’autre nature ne sont en cause dans les opérations et dans les estimations. Aucun problème à cet effet n’a été détecté.

Migration interprovinciale

Le tableau 10.1.3.2 compare les estimations du solde migratoire interprovincial intercensitaire de la CVD avec les chiffres correspondants calculés par le PED au moyen des fichiers de l’ARC. En général, les données sur les migrants interprovinciaux ne sont pas comparables, car la CVD ne prend en compte que les migrations survenues entre la date de référence de la base de sondage (p. ex. le 10 mai 2011 pour la base du recensement) et le jour du Recensement de 2016, alors que les estimations du PED prennent en compte les migrations annuelles. Pour cette raison, seules les estimations du solde migratoire interprovincial sont présentées. De plus, la stratification de la base du Recensement de 2011 à l’aide de la province fiscale la plus récente a permis une meilleure précision des estimations provinciales des personnes omises au Recensement de 2016, mais rend plus difficile l’estimation du solde migratoire interprovincial par la CVD pour l’échantillon provenant de cette base de sondage.

Un seul des écarts observés était statistiquement significatif, soit au Manitoba (valeur t de -2,18), où la CVD a estimé un solde migratoire beaucoup plus négatif que l’estimation du PED. Les deux sources ont estimé un solde migratoire négatif, mais l’ampleur de ce solde différait selon la source. Cette différence pourrait s’expliquer par l’erreur due à l’échantillonnage de l’échantillon de la base du Recensement de 2011 ainsi que par un plus grand nombre d’immigrants récents ayant quitté cette province selon la CVD. Dans le cas de l’Île-du-Prince-Édouard, du Québec et de l’Ontario, les écarts étaient élevés, mais non significatifs. Tout comme dans le cas du Manitoba, la CVD a estimé un solde migratoire beaucoup plus négatif que l’estimation du PED pour l’Île-du-Prince-Édouard et le Québec. Les analyses pour ces deux provinces laissent entendre que cet écart était surtout causé par les migrations d’immigrants récemment établis qui n’étaient pas totalement relevées par les données fiscales utilisées par le PED. En Ontario, la CVD a estimé un solde migratoire légèrement positif, ce qui est contraire à l’estimation négative du PED. Cet écart pourrait être le reflet de la situation observée dans plusieurs autres provinces. La CVD pourrait signaler les migrations interprovinciales de certains immigrants récents qui n’ont pas été mesurées par le PED. À Terre-Neuve-et-Labrador, le solde migratoire de la CVD était négatif, mais il était positif selon l’ARC. Cependant, la valeur t était inférieure à 1. Dans les cinq autres provinces, les estimations de la CVD et de l’ARC étaient semblables et allaient dans la même direction.

10.1.4 Composantes de la croissance démographique

Une comparaison approfondie entre les estimations des composantes de la croissance démographique intercensitaire de la CVD et les estimations de la population, établies à partir de sources de données administratives, a été effectuée par les démographes de la Division de la démographie (ce sujet est aussi abordé à la section 10.3). Les estimations des composantes démographiques de la CVD sont un sous-produit de la CVD et, par conséquent, ne sont pas nécessairement très précises. Cependant, ces données renseignent sur les composantes de la croissance démographique, qui pourraient potentiellement être plus liées aux erreurs de mesure du PED.

Les estimations de l’accroissement total selon ces deux sources sont présentées dans le tableau 10.1.4. Les estimations des Canadiens de retour et des personnes résidant dans les réserves indiennes ou établissements indiens partiellement dénombrés en 2011 et dénombrés en 2016 ont été ajoutées aux estimations de la CVD pour les rendre comparables aux estimations du PED. Les estimations du PED proviennent de la combinaison de plusieurs composantes de la croissance démographique, comme les naissances, les décès et l’immigration, qui sont sujettes à des erreurs d’estimation plus ou moins grandes selon la source.

À l’échelon national, l’estimation de la CVD est inférieure de 126 121 (ou 6,8 %) à l’estimation du PED. À l’échelon provincial, les écarts les plus grands sont observés pour le Québec (-79 610) et la Colombie-Britannique (34 258).

10.2 Étude sur le surdénombrement du recensement

De nombreux changements ont été apportés à la méthodologie de l’ESR de 2016 afin de déceler un plus grand nombre de cas de surdénombrement qu’en 2011. L’évaluation qui permet de rendre compte du succès de l’ESR de 2016 poursuit deux objectifs : mesurer le surdénombrement que l’ESR n’a pas décelé et quantifier l’amélioration attribuable aux changements méthodologiques apportés depuis 2011. L’EAA représente un outil utile pour atteindre les deux objectifs, parce que sa méthodologie est demeurée essentiellement la même depuis 2001. Elle est particulièrement utile pour résoudre le problème non négligeable consistant à ventiler tout accroissement du surdénombrement estimé en deux composantes : la première est attribuable à un accroissement du surdénombrement dans la population étudiée et la deuxième, à la détection de cas supplémentaires de surdénombrement à l’aide de la méthodologie améliorée de l’ESR.

10.2.1 Comparaison des EAA de 2011 et 2016

La même méthodologie a servi à réaliser l’EAA de 2011 et l’EAA de 2016. Les deux études ont ensuite fait l’objet d’une comparaison. Ainsi, il a été possible d’estimer les différences relatives de surdénombrement à plusieurs échelons (p. ex. national, provincial et territorial) entre 2011 et 2016. Les résultats de cette comparaison sont présentés dans le tableau 10.2.1.

L’EAA de 2016 a révélé que le surdénombrement a encore une fois augmenté, comme ce fut le cas entre chacun des recensements précédents. L’EAA de 2016 a fait état d’une hausse de 8,0 % du nombre estimé de personnes surdénombrées par rapport à l’EAA de 2011. Ce résultat est conforme à l’estimation produite par l’ESR qui indiquait une augmentation relative de 11,8 %. L’accroissement observé d’une étude à l’autre est plus proche cette fois-ci comparativement à celui observé entre 2006 et 2011.

Aux échelons provincial et territorial, la variation entre les estimations de l’EAA de 2011 et celle de 2016 était positive dans le cas de huit des treize provinces et territoires. La variation du surdénombrement estimé entre les recensements de 2011 et de 2016 allait dans le même sens dans le cas de l’EAA et de l’ESR pour l’ensemble des provinces et territoires à l’exception de trois, à savoir l’Île-du-Prince-Édouard, la Nouvelle-Écosse et le Nouveau-Brunswick, où le surdénombrement estimé d’après l’EAA a diminué, alors que l’estimation produite par l’ESR indique qu’il a augmenté. De 2006 à 2011, la variation allait dans des sens opposés à deux endroits, soit à l’Île-du-Prince-Édouard et au Manitoba.

10.2.2 Comparaison de l’ESR de 2016 avec l’EAA de 2016

Les résultats de l’ESR de 2016 sont comparés à ceux de l’EAA de 2016 pour estimer le surdénombrement manqué par l’ESR, mais décelé par l’EAA et, inversement, le surdénombrement manqué par l’EAA, mais décelé par l’ESR, ainsi que le surdénombrement identifié dans les deux études. Des différences de ce genre sont attendues, en raison des approches différentes suivies pour réaliser l’ESR (axée sur la personne) et l’EAA (axée sur le ménage). La comparaison est effectuée en deux étapes.

La première étape consiste à estimer le surdénombrement décelé à la fois par l’EAA et l’ESR dans les bases de sondage de l’ESR, c’est-à-dire le surdénombrement dans le domaine EAA de l’ESR. Ce surdénombrement est estimé en appariant les paires de personnes qui se trouvent dans la base de sondage de l’EAA avec les doublons de l’échantillon de l’ESR. Il est estimé au moyen de l’échantillon de l’ESR.

La deuxième étape consiste à estimer le surdénombrement que l’EAA a pu déceler contrairement à l’ESR. Ce surdénombrement est égal au surdénombrement total pour l’ensemble des paires de ménages de l’EAA qui ne contiennent aucune paire de personnes de l’ESR. Il est estimé en appariant les paires des bases de l’ESR avec les doublons de l’échantillon de l’EAA. Les doublons de l’EAA non appariés constituent la partie qui n’a pas été relevée par l’ESR.

Les résultats de la comparaison de l’ESR et de l’EAA sont présentés dans le tableau 10.2.2.

La partie gauche du tableau 10.2.2 contient les estimations nationales fondées sur l’échantillon de l’ESR :

• Surdénombrement dans la base de sondage de l’ESR : 695 828;
• Surdénombrement dans la base de sondage initiale de l’ESR ainsi que dans la base de sondage de l’EAA : 433 140, soit 62,2 % du surdénombrement total détecté au moyen de l’ESR;
• Surdénombrement dans la base de sondage de l’ESR, mais non dans la base de sondage de l’EAA : 262 688, soit 37,8 % du surdénombrement total détecté au moyen de l’ESR.

La partie droite, quant à elle, contient les estimations nationales fondées sur l’échantillon de l’EAA :

• Surdénombrement dans la base de sondage de l’EAA : 464 993;
• Surdénombrement dans la base de sondage de l’ESR ainsi que dans la base de sondage de l’EAA : 453 484, soit 97,5 % du surdénombrement total décelé au moyen de l’EAA;
• Surdénombrement dans la base de sondage de l’EAA, mais non dans la base de sondage de l’ESR : 11 508, soit 2,5 % du surdénombrement total décelé au moyen de l’EAA.

Comme présenté dans le tableau 10.2.2, l’ESR et l’EAA peuvent toutes deux être utilisées pour estimer le surdénombrement couvert par les deux études. Pour cette portion commune, l’estimation de l’EAA est supérieure de 20 344 à celle de l’ESR. Les deux estimations sont cohérentes entre elles et, à un niveau de confiance de 95 %, leur différence n’est pas statistiquement significative. 

10.3 Estimations démographiques

10.3.1 Erreur en fin de période

Le PED de Statistique Canada établit la population des provinces et des territoires au jour du recensement en additionnant les chiffres de la population du recensement, les estimations du sous-dénombrement net du recensement (SDNR) et l’estimation des populations des réserves indiennes partiellement dénombrées. Le PED reconduit ensuite au 1er juillet ces chiffres rajustés qui deviennent le point de départ des estimations postcensitaires de la population.

Au moment de l’établissement de ces chiffres rajustés, le PED procède à une évaluation de la qualité des estimations postcensitaires qu’il a produites dans la période quinquennale précédant le recensement. L’évaluation porte sur l’écart entre le chiffre des estimations postcensitaires au jour du recensement et le chiffre rajusté de la population de ce recensement. Cet écart est appelé erreur en fin de période. L’examen détaillé de cette erreur constitue la principale mesure de la qualité des estimations postcensitaires.

Le tableau 10.3.1 présente les erreurs en fin de période pour 2006, 2011 et 2016, et ce, selon la province et le territoire ainsi que pour l’ensemble du Canada. Rappelons qu’une erreur en fin de période est dite positive lorsque l’estimation démographique postcensitaire est plus élevée que le chiffre du recensement rajusté. À l’échelle nationale, l’erreur en fin de période pour 2016 se chiffre à 110 310, pour un taux d’erreur de 0,31 %. Les estimations démographiques à l’échelle nationale ont donc surestimé la population du pays. L’erreur et le taux d’erreur en 2016 sont plus faibles que ceux de 2011, mais plus élevés que ceux de 2006^Note 1. Cinq provinces affichent une erreur en fin de période supérieure à 1 % ou inférieure à -1 % en 2016 : l’Île-du-Prince-Édouard (1,88 %), le Québec (1,05 %), la Saskatchewan (1,06 %), l’Alberta (1,05 %) et la Colombie-Britannique (-2,07 %). En comparaison, en 2011, quatre provinces et deux territoires présentaient de telles erreurs en fin de période. En 2016, sept provinces et un territoire affichent une erreur en fin de période plus élevée qu’en 2011 (en valeur absolue).

10.3.2 Exactitude des estimations postcensitaires

Aux fins de la production des estimations démographiques par le PED, les chiffres du recensement sont rajustés pour le SDNR par les études de couverture du recensement. Or, comme ces études se basent en partie sur des enquêtes par échantillon, les résultats du SDNR comportent une certaine variabilité statistique attribuable à l’échantillonnage. Afin de déterminer si les erreurs en fin de période présentées précédemment sont statistiquement significatives, il faut donc tenir compte de l’erreur-type des chiffres du recensement rajustés. Par ailleurs, étant donné que les chiffres rajustés du Recensement de 2011 ont servi de base aux estimations postcensitaires 2011 à 2016, une erreur-type qui combine la variabilité statistique des chiffres rajustés des recensements de 2011 et de 2016 a été calculée pour le Canada et pour chaque province et territoire.

Le tableau 10.3.2 présente l’erreur en fin de période pour le Canada, les provinces et les territoires en 2016, de même que l’erreur-type combinée des chiffres rajustés des recensements de 2011 et de 2016 et la valeur statistique t^Note 2. L’erreur en fin de période est statistiquement significative à un niveau de confiance de 95 % pour l’Île-du-Prince-Édouard, le Québec, l’Alberta et la Colombie-Britannique. Pour ces provinces, la variabilité attribuable à l’échantillonnage des chiffres rajustés des recensements de 2011 et de 2016 ne permet donc pas d’expliquer la plus grande part de l’erreur en fin de période.

Les composantes de l’accroissement démographique estimées par le PED ont été comparées à celles tirées d’autres sources, principalement de la Contre-vérification des dossiers (CVD), afin de déterminer les composantes qui pourraient être plus étroitement liées à l’erreur en fin de période. Cette analyse s’est concentrée sur les quatre provinces pour lesquelles l’erreur était significative sur le plan statistique. La migration interprovinciale, notamment celle des immigrants récents, pourrait expliquer une partie de l’erreur en fin de période calculée pour l’Île-du-Prince-Édouard et le Québec. En plus de la variabilité dans la mesure de l’erreur nette de couverture, plusieurs composantes de l’accroissement démographique pourraient contribuer à l’erreur calculée pour l’Alberta et la Colombie-Britannique. Cependant, il est difficile d’isoler un facteur principal. Enfin, de manière générale, l’émigration demeure un phénomène démographique particulièrement difficile à mesurer.

Notes

• Précédent
• Suivant