Inter-rater reliability of the Illinois Structured Decision Support Protocol

ObjectiveThe purpose of this study was to determine the level of inter-rater reliability of the Illinois Structured Decision Support Protocol by examining the level of Child Protective Services (CPS) caseworkers’ agreement regarding state interventions. The Protocol was designed to guide CPS workers to consistent decisions related to the level of state intervention in child maltreatment cases.MethodForty-one workers recruited from three CPS field offices in Illinois participated in this study by assessing three cases using the Illinois Structured Decision Support Protocol. The three cases were developed based on actual cases investigated by the agency. The kappa statistic was used to calculate the level of workers’ agreement.ResultsThe result showed a weak reliability (kappa = .29). Further analysis showed that workers identified a wide range of risk factors and differing levels of intervention for each identified risk factor even among the workers who made the same final decisions.ConclusionsDecision support protocols are developed to provide systematic structures for workers’ decision-making. However, this study suggested that workers demonstrated a low level of agreement on such a protocol. Several suggestions for developing more reliable computerized protocols include: more specified inquiries with criteria to assess the range of risk for a factor, consideration of interactions among risk factors, assessment of family strengths, and having the final decision made by a computerized program.

RésuméObjectifLe but de cette étude fut de déterminer le degré de fiabilité entre les usagers d’un protocole décisionnel structuré nommé Illinois Structured Decision Support Protocol, en examinant la cohérence parmi les intervenants d’un service de protection de l’enfance de l’état. Ce protocole a été élaboré pour les aider à prendre des décisions cohérentes.MéthodeQuarante-et un intervenants recrutés dans trois bureaux de la protection de l’enfance de l’état de l’Illinois ont participé à cette étude en évaluant trois cas au moyen du protocole en question. Les trois cas ont été conçus à partir de véritables situations qui avaient fait l’objet d’une enquête par l’agence. On a eu recours à la statistique kappa pour mesurer la cohérence des intervenants dans leur usage du protocole.RésultatsLe résultat indique une fiabilité faible (kappa = .29). Une analyse plus poussée indique que les intervenants identifient une vaste gamme de facteurs de risques et différents niveaux d’intervention pour chacun de ces facteurs à risque, même parmi les intervenants qui ont abouti à la même décision.ConclusionsDe tels protocoles décisionnels sont élaborés dans le but de fournir une structure systématique pour aider les intervenants à prendre des décisions. Toutefois, cette étude semble révéler que les intervenants qui s’en servent manifestent un degré minimal de cohérence devant l’usage d’un tel protocole. Les auteurs proposent plusieurs suggestions lorsqu’il s’agit d’élaborer des protocoles informatisés plus fiables: poser des questions plus précises, y compris avancer des critères pour évaluer la gamme de facteurs de risque propres à chaque facteur; prendre en considération les interactions entre les divers facteurs de risque; évaluer les caractéristiques de la famille; et produire une décision finale informatisée.

ResumenObjetivoel objetivo era determinar el nivel de fiabilidad interjueces del Protocolo Estructurado de Apoyo a la Decisión de Illinois analizando el nivel de acuerdo de los responsables de caso de los Servicios de Protección Infantil (SPI) en relación con las intervenciones del estado. El protocolo fue diseñado para guiar a los trabajadores de los SPI en decisiones consistentes relacionadas con el nivel de intervención del Estado en casos de maltrato infantil.MétodoUn total de 41 trabajadores pertenecientes a tres oficinas del SPI de Illinois participaron en este estudio evaluando tres casos y utilizando el Protocolo Estructurado de Apoyo a la Decisión de Illinois. Los tres casos fueron desarrollados en base a tres casos reales investigados por la agencia. Se utilizó el coeficiente kapa para calcular el nivel de acuerdo de los trabajadores.ResultadosSe observó una débil fiabilidad (kappa = .29) entrejueces. Análisis posteriores mostraron que los trabajadores identificaron un amplio rango de factores de riesgo y niveles diferentes de intervención ara cada factor de riesgo identificado incluso entre los trabajadores que habían tomado la misma decisión.ConclusionesLos protocolos de apoyo a la decisión son desarrollados para proporcionar estructuras sistemáticas en la toma de decisión de los trabajadores. Sin embargo, este estudio sugirió que los trabajadores demostraron un bajo nivel de acuerdo en tal protocolo. Varias de las sugerencias para desarrollar protocolos informatizados más fiables incluyen: investigaciones más específicas con criterios para evaluar el rango de riesgo para cada factor, consideración de la interacción entre factores de riesgo, evaluación de las fortalezas familiares y que la decisión final sea tomada a través de un programa informatizado.