信頼性、妥当性、結果に対する共感――「良いアセスメント」とは何か？

このフォーラムは、午前中はオープニングセッション、DiSC®やProfileXT®などグローバルで活用されている各種アセスメントの開発元である米国Wiley社からのゲストによる基調講演、ランチ交流会をはさんで、午後からは様々な企業によるアセスメントの活用事例を聴くことができる9つの分科会、そして最後にフォーラムを総括するクロージングセッションで構成されています。

オープニングセッションの後は、Wiley社のJens Damsholt氏による来日講演です。Damsholt氏は、デンマークにてEverything DiSC®のパートナーコンサルタントとして10年間、Wileyアセスメントソリューションを提供したのち、現在はWiley社のグローバルチャネルのディレクターとして海外パートナーの統括をされています。講演では、今後オートメーションやAI化が進む中で、「社会的・感情的なスキル」、たとえばチームワーク、コミュニケーション、リーダーシップといったスキルがますます求められるようになるだろうということ、一方でそういった人材を見抜くことには困難が伴うということが語られていました。これについては、企業の人事の方も、同様のご意見ではないでしょうか。こういった世相を反映してか、この10年間で全世界で1150万人がDiSC®またはProfileXT®を活用しているそうです。これだけ多くの方が活用していることこそが、これらのアセスメントに対する満足度の表れなのではないかと思います。

基調講演の後半は、Wiley社のプロダクトイノベーション シニア・ディレクターのDr. Mark Scullard氏によるビデオ出演です。「良いアセスメントとはどういうものか？」という、アセスメントの導入を検討されている方には、とても興味深い内容だと思いますので、講演内容を丁寧にお伝えしたいと思います。

Scullard氏は、良いアセスメントの条件として「信頼性」と「妥当性」を挙げていました。「信頼性」は時間がたってから改めて受診しても結果が変わらないこと。毎回受診するたびに結果が大きく変わってしまうようでは、そのアセスメントの結果を信頼することはできません。一方で、数値に一貫性があり「信頼性」があったとしても、その数値に「妥当性」があるかは、また別の話です。では、Wiley社ではアセスメントの妥当性をどのように検証しているのでしょうか？

「妥当性」とは、測りたいものを正確に測ることを指しますが、その正確性を担保するためには、多くの人にモニター回答をしてもらい、集めたデータを分析する、そしてそれを繰り返すことです。新しいアセスメントを作るには、試作の段階から多くの人に協力してもらうことが必要です。これには大変なお金と労力がかかりますので、中にはこの手間を省略しているアセスメントもあることでしょう。Wiley社では新旧両方のアセスメントを回答してもらい、時間を割いて協力していただいた方には謝礼を支払い、そのデータを比較分析するということを繰り返します。

またWiley社では、アセスメントを多言語化する際にも、多くの労力を費やしています。これはローカライズの重要性を認識しているからです。単に設問を翻訳するという安易な方法もありますが、例えば英語による原語版では有効だった設問が、日本語でも適切だとは限りません。その言語の文化的背景に合う違和感のない言葉が使われているか、言語によって結果に差が生じないか、十分な検証が必要であり、その手間を惜しんでは粗悪なアセスメントになってしまいます。

便利な世の中となり、優秀な翻訳ソフトもたくさん出回っています。しかしながら、母国語で回答できるということだけではなく、翻訳の結果としてどのような影響が出るかということまで考慮しなければ、妥当性があると認めるには不十分であり、また回答者もその結果を受け入れることはできないでしょう。Scullard氏は「良いアセスメントに人は共感する」と話していましたが、共感を生まないアセスメントは、導入しても社内で浸透せず、その後の活用も難しいのではないかと思います。これまで多くのアセスメントを開発してきたScullard氏の言葉は、開発者のこだわり、プライドが感じられ、強い説得力を伴うものでした。