Feuillets d’information du Recensement 2021
Test du contenu du recensement de 2019 : conception et méthodologie
1. Introduction
Statistique Canada prend les mesures nécessaires pour s’assurer que chaque recensement produit des renseignements pertinents pour que la population canadienne et les décideurs puissent prendre des décisions éclairées.
La préparation de chaque recensement exige plusieurs étapes de consultation, d’essai et d’évaluation des données d’essai avant que le contenu recommandé du questionnaire pour le prochain recensement puisse être proposé au Cabinet aux fins d’approbation. Voici ces étapes :
- consultation du contenu auprès d’utilisateurs de données et d’intervenants;
- essais qualitatifs des modifications et des ajouts proposés au contenu;
- essais quantitatifs du recensement pour évaluer le contenu et le comportement des répondants à plus grande échelle;
- évaluation des résultats des essais se fondant sur un cadre de travail pour déterminer le contenu.
Dès l’approbation des questions du recensement par le Cabinet, le gouverneur en conseil procède à un examen des questions et, au moyen d’un décret, prescrit les questions qui doivent être posées en vertu des articles 19 ou 20 de la Loi sur la statistique. Dans les 30 jours suivant la signature du décret, le contenu doit être publié dans la Gazette du Canada.
De l’automne 2017 au printemps 2018, Statistique Canada a mené de vastes consultations au moyen d’un questionnaire en ligne et de discussions en personne auprès des intervenants. Plus de 2 800 répondants ont participé à la consultation en ligne. Ce nombre sans précédent témoigne du grand intérêt des répondants à contribuer au façonnement d’une source importante de données démographiques et sociales qui soutient la prise de décisions et la réalisation d’analyse.
En plus d’avoir mené une consultation en ligne, Statistique Canada a rencontré en personne les répondants de 14 ministères fédéraux et autres organisations intéressées. Pour permettre de comprendre les besoins des organisations et des collectivités autochtones, plus de 60 discussions ont été menées en personne dans 30 collectivités autochtones et non autochtones dans l’ensemble du Canada; plus de 400 personnes y ont participé.
Statistique Canada a modifié les questions posées dans le cadre du recensement d’après les résultats des consultationsNote 1. En 2018, diverses versions ont fait l’objet d’essais qualitatifs au moyen d’interviews cognitives individuelles. Ces interviews ont été menées dans les deux langues officielles partout dans le pays.
Les questionnaires du recensement ont fait l’objet d’une nouvelle révision en fonction des résultats des essais qualitatifs et ils ont été soumis à des essais quantitatifs dans le cadre du Test du recensement de 2019. Le Test du recensement de 2019 a évalué les modifications apportées au libellé et à l’enchaînement de certaines questions, ainsi que l’ajout éventuel de nouvelles questions. Le test comprenait également l’évaluation de nouveaux documents de communication et de modifications pour améliorer davantage les méthodes de collecte, qui ne sont pas abordés dans le présent document. Cette mise à l’essai permettra d’avoir accès à des données de haute qualité pour le Recensement de 2021. Ces dernières serviront à appuyer un large éventail de programmes et services dans les collectivités de l’ensemble du pays.
À la suite d’une analyse statistique des résultats du Test du recensement de 2019 et de la prise en compte des coûts, des facteurs opérationnels et des mesures à adopter contre la perte de qualité des données, Statistique Canada a formulé des recommandations au gouvernement, permettant de déterminer le contenu définitif du questionnaire du Recensement de 2021.
2. Test du contenu du Test du recensement de 2019
Pour faire en sorte que le recensement mesure les tendances importantes dans la société, de nombreux changements de contenu ont été proposés pour le Recensement de 2021. Pour permettre d’évaluer quantitativement l’incidence des modifications apportées au contenu, trois versions du questionnaire ont été mises à l’essai. La version de contrôle présentait le contenu du Recensement de 2016 ainsi que quelques modifications, décrites ci-dessous. Il s’agissait de la version de référence du questionnaire; elle ne comportait aucun changement significatif par rapport au cycle précédent. Deux autres versions, la version 1 et la version 2, ont été élaborées pour mettre à l’essai un contenu nouveau et modifié. Les comparaisons entre les différentes versions ont permis d’évaluer les questions, le libellé, l’enchaînement des questions, les messages de vérification et d’autres caractéristiques qui fonctionnaient bien et qui fourniraient des renseignements fiables.
Le questionnaire de contrôle était essentiellement une version mise à jour du questionnaire de 2016. Il comportait une question sur la religion, qui a été posée tous les 10 ans, et certaines catégories de questions ont été mises à jour avec une période de référence différente (par exemple, la catégorie « 2016 à 2019 » a été ajoutée à titre de réponse possible à la question sur l’année où le logement a été construit).
Le questionnaire abrégé (formulaire 2A) et le questionnaire détaillé (formulaire 2A-L) ont été testés à la fois sous forme de questionnaires en ligne, ou questionnaires électroniques (QE), et sous forme de questionnaires papier (QP). Cette procédure a été utilisée parce qu’il y a des différences dans la logique et l’enchaînement des questions dans le QE et le QP, et parce que les profils démographiques des répondants du QE et du QP diffèrent.
La composante du test du contenu du Test du recensement de 2019 a nécessité l’élaboration de questionnaires d’essai et de contrôle différents, en français et en anglais, répartis en neuf panels d’analyse. Pour répondre adéquatement aux objectifs du test, le Test du recensement de 2019 était obligatoire pour les répondants.
3. Population cible et échantillonnage
Le Test du recensement de 2019 était composé de deux éléments : un test du contenu qui visait à évaluer les questions nouvelles et modifiées, et un test des opérations sur le terrain qui visait à évaluer les procédures et technologies nouvelles et modifiées à utiliser dans la collecte de données. Le texte qui suit décrit la conception du test du contenu.
En raison des contraintes opérationnelles du test (p. ex. absence de personnel sur le terrain pour la livraison des questionnaires), des logements privés situés dans les secteurs d’envoi par la poste des 10 provinces ont été retenus pour la sélection de l’échantillon. Les secteurs d’envoi par la poste sont des secteurs où Statistique Canada peut envoyer par la poste la documentation du recensement et ils englobent environ 90 % des logements. Les logements collectifs ont été exclus du test.
Seuls les ménages des logements privés sélectionnés pour répondre au questionnaire détaillé en 2016 ont été invités à participer au Test du recensement de 2019 pour maximiser la comparabilité entre les réponses de 2016 et de 2019 chez les répondants correspondants.
Comme il a été mentionné, certains des changements proposés ne s’appliquaient qu’au QP et d’autres ne s’appliquaient qu’au QE. La population cible, la méthode de collecte et la taille des échantillons des panels d’analyse ont été définies de façon à obtenir un nombre suffisant de réponses « papier » et de réponses « électroniques » pour veiller à ce que tous les changements proposés soient testés correctement. Cette particularité était nécessaire pour permettre un niveau de précision adéquat durant l’analyse des données et ainsi détecter des différences statistiquement significatives par mode de réponse (QP ou QE).
Pour répondre à tous les objectifs du test, neuf panels étaient nécessaires :
- Les trois premiers panels ont été utilisés pour tester le contenu du QE. Chaque panel a reçu une des trois versions du questionnaire 2A-L. Compte tenu de la conception de l’application du QE 2A-L, ces panels ont été suffisants pour tester à la fois les questionnaires abrégés et les questionnaires détaillés. On a pu procéder ainsi parce que, dans le QE, les questions du questionnaire abrégé sont posées selon le même format que celles figurant au début du questionnaire détaillé. Les répondants ont également eu la possibilité de répondre en remplissant un QP, mais les tailles de l’échantillon ont été déterminées de manière à recevoir un nombre suffisant de réponses par QE. Ces panels ont également été utilisés pour mettre à l’essai la stratégie de communication du Recensement de 2021, un autre objectif du Test du recensement de 2019;
- Les six autres panels ont été utilisés pour tester uniquement les modifications de contenu du QP. L’univers des panels du QP était celui des ménages qui ont répondu par eux-mêmes au QP 2A-L du Recensement de 2016. Cet univers a été utilisé dans le but d’obtenir un échantillon représentatif de répondants au QP. Les panels 4 à 6 ont été utilisés pour tester le QP 2A, tandis que les panels 7 à 9 ont été utilisés pour tester le QP 2A-L. Les questionnaires abrégés et détaillés devaient être testés séparément parce que les formulaires papier sont conçus différemment et que la conception peut influencer la manière dont les gens répondent.
La figure 1 décrit la conception du test.
Bon nombre des modifications apportées au contenu du Test du recensement de 2019 s’appliquaient à des sous-populations très précises, souvent petites. Par conséquent, la stratégie d’échantillonnage a fait appel à un échantillon aléatoire simple stratifié, où les strates ont regroupé des sous-populations d’intérêt précises pour le test. La stratégie d’échantillonnage définitive a été choisie après que des simulations regroupant différents groupes de sous-populations ont été effectuées pour déterminer la stratégie optimale pour tous les intervenants. Ces simulations ont mené à la stratégie d’échantillonnage définitive, qui comprenait quatre strates : les ayants droit des minorités linguistiques, les peuples autochtones, les anciens combattants des Forces armées canadiennes et les autres.
Des ménages additionnels ont été choisis dans les strates « peuples autochtones » et « ayants droit des minorités linguistiques ». Ainsi, un plus grand nombre de ménages ont pu être échantillonnés pour tester des questions propres à ces sous-populations, car elles sont relativement rares dans la population canadienne. L’échantillon sélectionné pour les anciens combattants a été obtenu à partir de la base de sondage de l’Enquête sur la vie après le service militaire. Cette base était propre aux personnes plutôt que propre aux logements. Chaque personne de l’échantillon qui pouvait être liée avec certitude à un logement du Recensement de 2016 a été incluse dans le test. Par conséquent, la sous-population des anciens combattants a été traitée séparément du reste de l’échantillon.
Les strates créées ont tenu compte des différentes régions (provinces ou groupes de provinces) et de la langue de réponse (français ou anglais). Le nombre de ménages qui devaient, selon les prévisions, répondre dans chaque langue officielle a été contrôlé de façon à ce qu’un nombre suffisant de répondants soit choisi pour tester les questionnaires en français. Deux échantillons ont été choisis, l’un pour les panels du QE et l’autre pour les panels du QP.
Dans le cadre du Test du recensement de 2019, l’échantillon final choisi pour la composante du test du contenu comprenait 134 757 ménages répartis dans les 10 provincesNote 2. Un échantillonnage stratifié proportionnel a été utilisé pour sélectionner tous les échantillons sauf un, à savoir l’échantillon du QE en français des ayants droit des minorités linguistiques. Cet échantillon a été réparti de sorte que 70 % des réponses proviendraient du Québec et 30 %, de toutes les autres provinces. Cette procédure a été suivie pour recueillir davantage de réponses d’autres provinces et ainsi tester la question proposée sur les ayants droit auprès des ménages hors Québec (sinon, l’échantillon ne contiendrait pas suffisamment de répondants francophones hors Québec).
Description de la figure 1
Conception du test du contenu de 2019. Une étiquette en haut de la figure illustre la base de sondage (population cible) pour les secteurs d’envoi par la poste de 2021. Deux groupes sont compris dans cette étiquette : l’un représentant les logements privés occupés sélectionnés pour répondre au 2A-L de 2016 et l’autre représentant les répondants ayant rempli eux-mêmes le questionnaire papier (QP) 2A-L de 2016.
Ces groupes sont ensuite ventilés davantage dans une deuxième étiquette regroupant les panels du test du contenu de 2019.
Les panels du test du contenu de 2019 qui se rapportent aux logements privés occupés sélectionnés pour répondre au 2A-L de 2016 sont représentés par trois panels. Ils comprennent les suivants : Panel 1 : Version de contrôle du questionnaire QE 2A-L (n = 16 884); Panel 2 : Version d’essai 1 du questionnaire QE 2A-L (n = 21 255); et Panel 3 : Version d’essai 2 du questionnaire QE 2A-L (n = 21 248).
Les panels du test du contenu de 2019 qui se rapportent aux répondants ayant rempli eux-mêmes le questionnaire papier (QP) 2A-L de 2016 sont représentés par six panels. Ils comprennent les suivants : Panel 4 : Version de contrôle du questionnaire QP 2A (n = 9 375); Panel 5 : Version d’essai 1 du questionnaire QP 2A (n = 10 460); Panel 6 : Version d’essai 2 du questionnaire QP 2A (n = 10 461); Panel 7 : Version de contrôle du questionnaire QP 2A-L (n = 14 299); Panel 8 : Version d’essai 1 du questionnaire QP 2A-L (n = 15 386); et Panel 9 : Version d’essai 2 du questionnaire QP 2A-L (n = 15 389).
4. Approche par vagues du Test du recensement de 2019
Une approche par vagues a été utilisée pour la collecte des données du Test du recensement de 2019. L’approche était très semblable à celle utilisée lors du Recensement de 2016 et à celle envisagée pour le Recensement de 2021. L’approche par vagues augmente la qualité des données en réduisant la non-réponse et en favorisant l’autodéclaration par Internet et, en bout de ligne, réduit les coûts du recensement. Selon cette approche, les répondants reçoivent des invitations et des rappels à certains moments (appelés « vagues ») au cours de la période de collecte. S’appuyant sur le succès des recensements précédents, le Test du contenu du recensement de 2019 a incorporé des changements potentiels aux trois vagues. De plus, après la troisième vague, un échantillon de logements a reçu un rappel par message-texte, à titre d’essai pour le Recensement de 2021. Le tableau 1 présente les documents de communication et les dates clés de chaque vague.
| Étape de la collecte | Documents de la vagueTableau 1 Note 1 | Panels ciblés | Date de début |
|---|---|---|---|
| Vague 1 | Lettre d’invitation | Panels du QE | 6 mai 2019 |
| Trousse du questionnaire | Panels du QP | ||
| Vague 2 | Lettre de rappel | Panels du QE | 16 mai 2019 |
| Lettre de rappel spéciale encourageant la réponse au QP | Panels du QP | ||
| Vague 3 | Lettre de rappel ou trousse du questionnaire comportant un code d’accès sécurisé | Panels du QE | 24 mai 2019 |
| Trousse du questionnaire | Panels du QP | ||
| Rappel par message-texte | Rappel par message-texte envoyé à un échantillon de logements | 5 juin 2019 | |
|
|||
5. Collecte de données
Le jour du test du recensement était le 14 mai 2019. La collecte du Test du recensement de 2019 a eu lieu du 6 mai au 28 juin 2019.
L’Assistance téléphonique du recensement (ATR) était disponible pendant la collecte; les personnes qui avaient des questions ou qui avaient besoin d’aide pour remplir leur questionnaire pouvaient donc parler à un agent. Lorsque l’appel visait à remplir le questionnaire avec le répondant, les agents ont utilisé l’application des intervieweurs, à savoir un QE spécialement conçu à cette fin.
Le suivi des cas de non-réponse n’a pas été effectué au cours du test du contenu. Par conséquent, la plupart des réponses déclarées étaient des autodéclarations. Une proportion négligeable de réponses a été obtenue par l’ATR.
6. Traitement des questionnaires retournés
Pour le test du contenu, les QE remplis par les répondants ont été transmis directement aux serveurs du Centre des opérations des données (COD) de Statistique Canada et ils ont été enregistrés automatiquement dès la réception. Les QP retournés par la poste ont également été enregistrés au COD grâce au balayage du code à barres sur la couverture du questionnaire. Une fois enregistrés, les QP ont été traités pour l’étape de la saisie des données.
Une fois saisies, les données des QP ont été intégrées à celles des QE dans un même fichier. Un processus d’intégration complexe a été nécessaire pour uniformiser les données de chaque mode de réponse. Ce processus avait pour but de produire un fichier unique pour tous les modes de réponse et tous les panels. Des règles de traitement ont été appliquées au fichier pour faire en sorte que certaines incohérences et certains problèmes soient déterminés et corrigés (p. ex. un QP retourné sans aucune réponse, un QP et un QE remplis pour le même ménage). Une vérification a également permis de déterminer les questionnaires qui ne contenaient aucun renseignement ou qui contenaient des renseignements insuffisants pour permettre de passer aux étapes de traitement et d’analyse.
Étant donné les objectifs d’analyse, les données n’ont pas été soumises au processus de vérification et d’imputation. En outre, les réponses écrites n’ont pas toutes été soumises à un codage.
7. Taux de retour
Le tableau 2 présente les taux de retour du Test du contenu du recensement de 2019, dont le taux de retour global est de 76 %. Ce taux a été calculé au moyen du nombre de questionnaires remplis divisé par le nombre de ménages de l’échantillon. Il comprend les réponses électroniques enregistrées et celles enregistrées automatiquement, ainsi que les questionnaires entièrement remplis et ceux partiellement remplis. Les logements inoccupés (dont certains ont été déterminés comme tels par les répondants) ont été inclus dans le numérateur et le dénominateur.
| Groupe | Nombre | Échantillon total | Taux de retour (%) |
|---|---|---|---|
| Panel 1 du QE — version de contrôle | 13 141 | 16 884 | 77 83 |
| Panel 2 du QE — version d’essai 1 | 16 453 | 21 255 | 77 41 |
| Panel 3 du QE — version d’essai 2 | 16 610 | 21 248 | 78 17 |
| Total partiel des panels du QE | 46 204 | 59 387 | 77 80 |
| Panel 4 du QP — version de contrôle 2A | 7 146 | 9 375 | 76 22 |
| Panel 5 du QP — version d’essai 1 2A | 8 000 | 10 460 | 76 48 |
| Panel 6 du QP — version d’essai 2 2A | 7 962 | 10 461 | 76 11 |
| Panel 7 du QP — version de contrôle 2A-L | 10 650 | 14 299 | 74 48 |
| Panel 8 du QP — version d’essai 1 2A-L | 11 378 | 15 386 | 73 95 |
| Panel 9 du QP — version d’essai 2 2A-L | 11 402 | 15 389 | 74 09 |
| Total partiel des panels du QP | 56 538 | 75 370 | 75 01 |
| Total — tous les panels | 102 742 | 134 757 | 76 24 |
| Note : Le sigle « QE » signifie « questionnaire électronique » et le sigle « QP », « questionnaire papier ». | |||
8. Conclusion
À la suite du Test du recensement de 2019, les résultats des versions de contrôle et d’essai des questionnaires ont été comparés pour évaluer les effets des modifications proposées au contenu. Les réponses provenant des QP et des QE ont été analysées séparément. En ce qui a trait aux nouvelles questions, les résultats des versions d’essai du questionnaire ont également été comparés à ceux de la version de contrôle pour veiller à ce que ces nouvelles questions n’aient pas d’effet sur les questions situées à proximité dans le questionnaire ou sur d’autres questions connexes. Les questions pour lesquelles aucun changement n’a été testé ont également été analysées pour vérifier que les résultats demeuraient exacts. Les paradonnéesNote 3 des QE ont été analysées pour évaluer le fardeau et le comportement de réponse (p. ex. le temps requis pour remplir le formulaire et la question de savoir si le questionnaire a été enregistré pour être rempli plus tard ou s’il a été rempli en une seule séance) et les caractéristiques du QE, comme les messages automatisés qui incitent les répondants à fournir une réponse lorsqu’un champ est laissé en blanc. Enfin, les résultats de test ont été analysés et comparés aux données du Recensement de 2016 et d’autres ensembles de données.
Les principales constatations et conclusions des analyses effectuées sont résumées dans une série de feuillets d’information en ligne. Il s’agit de courts documents informatifs, éducatifs et faciles à lire qui donnent un aperçu de chaque sujet du recensement. De plus, les feuillets d’information expliquent pourquoi les questions sont posées, ils décrivent les changements envisagés et l’approche qui en résultera pour 2021, et ils précisent ce à quoi il faut s’attendre en 2021. Trois rapports techniques contenant des renseignements plus approfondis (y compris les conclusions du Test du contenu du recensement de 2019) sur les sujets du genre, de l’origine ethnique ou culturelle et des ayants droit linguistiques minoritaires sont également disponibles en ligne.
- Date de modification :