Wine judging, context and New Zealand Sauvignon Blanc

Wine show competitions require judges to evaluate a large number of wines, typically within a time constraint. Under such circumstances, some form of quantification of wine quality is essential to achieve the aim of the task, namely allocation of a numerical score, or an award (e.g. a gold medal) that symbolises a numerical range of scores, to each wine. In this paper, we consider the relation between method of scoring, the scores awarded Sauvignon Blanc wines in a simulated wine show competition, and several aspects of wine-judging behaviour. Twenty experienced wine industry professionals judged 15 New Zealand Sauvignon Blanc wines via a 20-point scoring system, the system currently used in New Zealand wine shows, and via a 100-point scoring system in a context that simulated a wine competition. We were interested in two quantitative issues. The first related to the wines, where we investigated whether the 100-point judging system led to greater differentiation of the wines than the 20-point system. The second issue concerned wine-judging behaviour. We were interested in whether scoring method would influence between- and/or within-judge variability, with greater consistency resulting from use of the 20-point system. Results showed that there was no greater differentiation of the Sauvignon Blanc wines when they were judged by the 100-point scale than when judged out of 20 points. Variation in scores given to each wine on each scale was also generally consistent. With respect to whether method of scoring influenced variability of wine judges, we employed a model described by Schlich (1994) to consider measures of wine-evaluation behaviour. The major result was that consistency, both within judges and between judges, was independent of type of scoring method. Implications of the findings are discussed.

RésuméLors d'un concours de vins, les juges doivent déguster un grand nombre de vins, généralement dans un temps limité. Dans ces conditions, l'évaluation de la qualité du vin est essentielle pour attribuer à chaque vin, une note ou une distinction (une médaille d'or, par exemple). Dans cet article, nous considérons les relations entre la méthode de notation, les notes obtenues par des vins de cépage Sauvignon Blanc, ainsi que des aspects comportementaux, dans une situation simulée de concours. Vingt experts, professionnels du vin, ont jugé 15 Sauvignons blancs Néo-Zélandais avec un système de notation sur 20 points, actuellement utilisé dans les concours en Nouvelle-Zélande, et un système de notation sur 100 points. Notre questionnement a porté sur deux points. Le premier était relatif aux vins et visait à déterminer si la notation sur 100 était plus discriminante que la notation sur 20. Les résultats ont montré que les vins ne sont pas mieux discriminés avec le système de notation sur 100 points. Le second point était relatif à la variabilité inter- et intra-individuelle. Les résultats ont été analysés selon le model décrit par Schlich (1994). Globalement, la variabilité inter- comme intra-individuelle n'est pas dépendante du système de notation. Les implications de ces résultats sont discutées.