ビジネスの世界では、ユーザエクスペリエンスに対する努力は、慨してコストとみなされる。つまり、競争力を維持しつつも、可能な限り大きく削減すべき費用項目の１つだということだ。これには、ユーザエクスペリエンスの専門家にも責任の一端がある。我々ユーザエクスペリエンスの専門家は、手法と手順と解決策の開発にばかり注目していたため、わざわざ、企業に、我々の経済的な価値を測定させ、そして、理解させるような事はしてこなかった。
我々は自らの価値を自明だと考えていた。もちろん、製品の使い易さが向上すれば、より多くの製品が売れるだろう！また、生産性を向上すれば、コストを削減できるだろう！しかし正確にはどれだけの利益になるのだろう？それはわからないが、とにかく最高の製品を作りたいと思わないか？
この分野が成熟するにつれ、そして、持続的な経済状態の緊縮によってコストに関する予算項目が削減されるにつれ、我々は自らの経済的価値を証明する必要があると気付き始めた。（ユーザエクスペリエンスの）コンサルタントや代理店にとっては、サービスを販売するために、これを証明する必要がある。企業の中では、（ユーザエクスペリエンスを担当する）従業員は解雇されないために自らの貢献を示さなければならない。そして、周囲には、このゲームへ我々をより深く関わらせ、我々の経験と手法を単に製品をより良くするためだけに使うのでなく、まず何を作るべきかを判断するために使おうとする強い圧力がある。
重要な戦略は、ユーザエクスペリエンスが単なるビジネス上のコストではなく投資である事、つまり、妥当な支出によって収益を期待できるものである事を、企業に理解させる事だ。収益を証明する事は大変難しい。なぜなら、ユーザエクスペリエンスの評価指標（例えば、エラー率の削減、成功率の増加）を重要な財務上の評価指標（例えば、売上の増加、顧客維持の向上）に関連付けるには、我々の多くが全く持っていない情報を参照する必要があるからだ。もし、それが我々に特有の問題ではなく、我々の業界の問題だとすれば、我々の場合の解決策を見つけるために、他の場合に目を向けてみるとしよう。
このレポートが元となり、ユーザエクスペリエンスの価値の証明に関する数々のエッセイや記事や書籍が書かれた。Nielsen Norman Group (NN/g)は、雑誌「New Scientist」での有名な発言によって、この論争に踏み込んでいる。
「ものを使い易くする方法を知っているのに、使いにくいものが沢山あるのはなぜだろうか？私は、これはユーザビリティ提唱者がビジネスを理解していないという事実に関係があると思う。彼らがこの事と製品がどのように作られるのかを理解しない限り、ほとんど発展はないだろう。」
残念ながら、NN/gのレポートはこのアドバイスに従っていないようだ。このレポートは、ユーザビリティへの投資に関して、合理的で逸話に富んだ事例を示してはいる。しかし、その方法論に根本的欠陥があるため、辛辣さを売りにしている財務アナリストはその調査結果をすぐさま疑わしく思うだろう。ビジネスの損益に最大の責任を持つ財務担当者や上級管理職を納得させるには、ユーザビリティに関する有力なビジネス事例が必要だが、単に、この著者達はそれを示していないのだ。
このレポートは、「ユーザビリティのコスト」、「ユーザビリティによる利益」、「ケーススタディ」の３つの章に分かれている。「ユーザビリティのコスト」では、Nielsen Norman Group User Experience World Tourの出席者に対して実施された調査に関して報告している。また、その調査での発見である「ベストプラクティスとしては、ウェブデザイン予算におけるユーザビリティの占める割合は10%である」という事を報告している。このレポートの核心部「ユーザビリティによる利益」では、ユーザビリティの評価指標を「売上／転換率」「トラフィック／訪問者数」「ユーザ目標達成」「特定機能の利用」の4つに分類している。また、ケーススタディを分析した結果、これらの評価指標が平均135％向上している事を示している。残りの約80ページは、35のケーススタディに充てられており、改善前後での重要な評価指標の状態と、ユーザビリティの手法がそれらの向上にいかに貢献したかが示されている。
注意深い読者は、前のパラグラフの「出席者に対して実施された調査」という言い回しに困惑した事だろう。おそらく、このレポートの最も重大な過ちは、コストの評価と利益の調査の両方で行われている、極めて疑わしいサンプル選択である。著者達もコスト評価の際にこれを認めている。
したがって、そもそもサンプル選択には偏りがある。つまり、ユーザビリティに大きな関心を持たない企業はこの会議の費用や担当者を主席させる時間を割こうとしないので、それらの企業をサンプルに含んでいないのだ。ユーザビリティに積極的な企業でのユーザビリティ予算の推定を目指すという今回の調査目的に対しては、このサンプル選択の偏りは問題にはならない。
「ベストプラクティス」と表現する事によって、読者にとって重要な事は「ベストプラクティス」にふさわしい努力をしている企業の傾向を理解する事だけとなる。そして、そのような企業を見分ける鍵は、Nielsen Norman Group User Experience World Tourに出席したかどうかというわけだ。うーむ、なるほど。
利益の実証に用いられるケーススタディについて検討するには、彼らのケーススタディ収集方法に関する記述を引用してみると良い。
ケーススタディには、文献から収集したものや、我々の個人的関係者から収集したものもあるが、その多くは、2001年と2002年の2回、Jakob NielsenのウェブサイトUseit.comに掲示されたケーススタディ募集からのものだ。とても多くの人がこの募集を読んだ事を考慮すると、我々が収集できた評価指標がそれに比べて少なかった事は驚くべき事だ。明らかに、ほとんどのプロジェクトでは、ユーザビリティの評価指標を全く記録していないか、例え匿名性が保障されていてもそれらを公開したくないという事になる。
このレポートが達成しようとしている事を考慮すると、ただ募集を掲示するだけというのは驚くべき怠慢と言える。失敗のケーススタディを自ら投稿する人がいるとは思えないので、当然、調査結果にはユーザビリティによるプラスの効果しか現れない。ユーザビリティによる利益を本当に理解するためには、一連の活動の把握に際して多少実地調査を行う必要がある。事実、ユーザビリティデザインのコミュニティは、成功から学ぶのと同じくらい多くの事を失敗から学ぶ事ができるだろう。つまり、ユーザビリティの向上が必ずしも財務上の成功に貢献しなかったケースの分析や、それよりはましだが、ユーザビリティの向上を財務上の成功の要因として示すのが難しかったケースの把握は、この分野の真の専門家にとって成功ケースと同様に価値のある、そして、恐らくより信頼性の高い報告となるだろう。のレポートでは、それぞれのケーススタディは基本的に妥当だが、この偏ったケーススタディ収集方法が、ここでの総合的な調査結果と発見された傾向を無意味にしてしまっている。
このレポートの約75％（全111ページ中の83ページ）は、投稿者自らが選んだ35のケーススタディを扱っている。それぞれのケースでは、NN/gが定義した、そのユーザビリティプロジェクトの前後で計測する重要な評価指標が示されている。また、背景情報、直面した問題、到達した解決策（これは、改善前後のスクリーンショットで例示されている）、ROIへの影響が示されている。
細かい事を暴いてしまうと、このレポートは、ROIの測定基準とした評価指標の向上については言及するが、新しい解決策の開発にかかったコストについては議論しない。確かに売上は100%向上したかもしれない。しかし、その向上を実現するのにかかったコストを考慮する事なく、実際の利益を定める事はできない。
いくつかのケースはかなり根拠がしっかりしている。Performance Bikes、Broadmoor、eBags、macys.com、Junior's Restaurant、Deerfield.com、その他いくつかのケースでは、使いやすくデザインするための手法が財務上の重要な評価指標に対して直接的に影響しているのが明確にわかるだろう。しかしながら、大部分のケースでは、著者達が示したユーザビリティと財務上の利益の関係は、疑わしいか、もしくは、存在すらしない。ここにいくつかの例を示す。
ADCのケーススタディでは売上が劇的に増えている。しかし、もしオンライン注文が無くても、電話注文によって同等の購入が行われたと推測できる。実際の効果を知るためには、オンライン注文がもっとコストのかかる他の販売チャネルから奪った売上の割合と、実際にオンライン注文が新規に獲得した売上の割合を区別する必要があるだろう。また、販売をオンラインに移す事によって可能になるコストの削減を推定するのも良いだろう。
※編注）「カニバリゼーション」 ... 自社の製品・サービスが、自社の他の製品・サービスを侵食してしまう現象のこと。多方面に展開することで既存チャネルが新規チャンネルに侵食されてしまうといったいわゆる共食い現象。
ある匿名の電力会社のケースでは、この会社や顧客にとって顧客調査の促進が重要な理由が明確になっていない。エネルギーの節約となんらかの関係があるようだが、このケーススタディでは詳しくわからない。その結果、利益に関するデータをエネルギー節約に全く関連付ける事ができない。（ほぼ間違いなく、エネルギー節約はこの会社と顧客と社会全体の経済的利益なのだが。）
opentable.comのケースでは、サイトを再オープンした時、この会社は全国展開の過程にあった。「予約数」という評価指標はこのような自然な増加が除外されていない。財務アナリストがGapなどの小売チェーンを分析する際、「総売上」よりも「店舗毎の売上」に基づいて分析するのはこのためだ。同様の理屈で、opentable.comにとってのより良い評価指標は「レストラン店舗毎の予約数」だろう。
Dynamic Graphicsは、ユーザエクスペリエンスの再立ち上げと同時に、ブランドと提供商品を全面的に変更した。同様に、Omni Hotelは、ビジュアルデザインを大規模に変更した。NN/gのレポートでは、間違いなく他の要素の影響があったにもかかわらず、それらの評価指標の向上に対してユーザビリティのみが貢献したとしている。
Vesey's Seedsの以前のサイトは、ページダウンロードが遅い、または、失敗するといった技術的問題に悩まされていた。単なる技術的改善だけで評価指標がどれだけ向上した事だろうか？
政府機関であるとはいえ、イスラエル財務省は使いやすいウェブサイトによる金銭的な利益（電話受付の削減、等）について考慮すべきだ。このケーススタディでは、ユーザの行動変化の投資効果への関連づけが試みられておらず、単に通行量の分析のみが報告されている。
無限大の向上を示しているケーススタディがあるが、それらはどれも不十分な基準データの例である。無限大の向上をユーザビリティの結果とすることはできない。単に、それはデザイン変更前にそのような特徴が存在しなかった場合か、または、データが不正確だった場合だからだ。
私がこのレビューを書く気になった理由でもあるのだが、このレポートについて考える際の根本的疑問は、「122ドル（サイトライセンスの場合は248ドル）払う事で、実際、私は何を手に入れているのか？このレポートを使って私は何ができるのか？」という事だ。
このレポートの狙いは、ユーザビリティ専門家の予算増加を支援する事にあるようだ。おそらく、今度はユーザビリティ専門家が経営者に対して、このレポートを見せるのだろう。彼らは経営者に対して、プロジェクト予算の10％をユーザビリティ向上に充てるのが現行の「ベストプラクティス」だと伝えるのだろう。また、彼らはユーザビリティ向上によって「平均」135％程度の確認可能な改善があると伝えるのだろう。
残念ながら、経営者がエグゼクティブサマリーだけに注目し、実際にはレポートを読まないような人物でない限り、この方法はユーザビリティ専門家にとって裏目にでるだろう。仮説検証と財務的なベンチマーキングとROI計算に関して、少しでも実質的または直感的なセンスを持っている経営者は、方法論の弱さ、まやかしの会計計算、サンプル選択の偏りというこれまで議論した問題点によって、このレポートの妥当性に疑いを抱くだろう。
このレポートの功績として言っておくと、このレポートから得られる本当に価値のあるものはユーザビリティの評価指標だ。それは、4つに分類された評価指標（「売上」「トラフィック」「ユーザ目標達成」「特定機能の利用」）とそれぞれのケースで利用された独特の評価指標の両方の事だ。ユーザビリティ専門家にとって、これらの評価指標は、基準データの把握とこれらの評価指標と財務成績の関係に関する仮説の構築を開始する際の大きなスタートポイントだ。このような実地調査をした後で、専門家はユーザビリティへの投資の経済的価値を証明する作業を開始できる。しかしながら、これらの評価指標はスタートポイントに過ぎない。つまり、このレポートはユーザビリティの評価指標と財務上の効果の関連をほのめかしてはいるが、それぞれのケースでどのようにしたかという真に詳細な分析や、あなたのビジネスでこの試みに取り組む際の指針を提供してはいないのだ。
「しかし、83ページにわたるケーススタディはどうなのか？そこには良い内容があるに違いない！」と、人々の不思議がる声が聞こえる。悲しいかな、そのような状況ではない。これらのケースはそれぞれの状況に特化しすぎているため、このレポートの大部分は全く役に立たない。それぞれのケーススタディは向上した部分にフォーカスしているが、それは読者にとっては全く意味がない。Deerfieldのケースのように、製作チームが「実質的に役に立っていなかったパンくずリストをトップページから削除した」り、「サポート情報をホームページに追加した」場合を考えてみよう？確かに、ユーザビリティの方法論によって、彼らの製品ダウンロード数が134%に増加した事は興味深い。しかし、このレポートの著者達が、読者も同じ事をする事によって評価指標を向上できるとでも考えていない限り、彼らがどのようにしたかという事は本当に興味深い事ではない。同様に、それを示すスクリーンショットを見るのも興味深い事ではない。
これらのケーススタディの主な役割は、このレポートを111ページに増量する事だろう。これによって、いわば40ページよりも、122ドルの支払いに見合うように見えるのだ。
このレポートが対象とする読者には、Aaron Marcusの"Return on Investment for Usable User-Centered Design: Example and Statistics"（PDF）がもっと役に立つだろう。これは文献調査と説得力のある簡単な分析の両方を合わせたエッセイだ。そして、上の直接のリンクからもわかるように、このエッセイは無料だ。
このエッセイは、ユーザビリティの経済的な影響を様々な側面から扱った42の文献を直接参照している。もし、他に何もないとしても、このテーマに関する有用な参考文献集として役に立つだろう。彼の功績として言っておくと、Aaronはさらにその先まで進めており、評価指標を3つのクラスに分類し、また、それぞれをサブクラスに分類している。
| 開発： コスト削減 |
売上： 収益の増加 |
使用： 有効性の向上 |
| 開発コストの節約 | 取引／購入の増加 | 達成率の向上 |
| 開発時間の節約 | 製品売上の増加 | ユーザの失敗の削減 |
| 保守コストの削減 | トラフィックの増加 | 生産性の向上 |
| 再設計コストの節約 | 顧客の維持 | ユーザ満足度の向上 |
| より多くの顧客への訴求 | 仕事への満足度の向上 | |
| 市場シェアの増加 | 使い易さの向上 | |
| 学習し易さの向上 | ||
| システムへの信頼性の向上 | ||
| サポートコストの縮小 | ||
| 教育コストの削減 |
この枠組みは評価指標の不快な雰囲気を晴らすのに役立つ。そして、読者は、自分がどの評価指標に影響を与える事ができ、その評価指標の値をどう解釈するべきかを解り始めるだろう。
ユーザビリティの価値を強調する努力が行われてきているが、そのやり方は未熟な状態だ。すぐにできる提案は、Nielsen Norman GroupのレポートとMarcusのエッセイから学べる事を統合し、Adaptive Pathの顧客と共に行った、財務上の結果をユーザエクスペリエンスデザインに上手く帰着する取り組みの中での観察結果をそれに加える事だ。
製品の開発と設計に関する学究的かつ専門的な文献では、職能横断的チームによって設計プロセスが改善される事が、繰り返し述べられてきた。たとえそれが非公式でその場限りの委員会だとしても、マーケッターや財務管理者や上級経営者の洞察は、設計者がユーザのニーズとユーザビリティの介在を、ビジネスの目標や財務上の評価指標に結びつける際とても役に立つ。
例：ユーザビリティデザインの管理職だけでは、重要なマーケティングや財務のデータを参照しないだろう。または、それに気付きさえしないだろう。それらのデータは、彼らの仕事の影響力をよりうまく測るのに役立つのだが。
デザイン向上に対する有意義な評価結果をうまく示す最も良い方法は、改善の前後でサイトの性能を記録する事だ。しかし、全ての性能評価指標がこの目的に有用なわけではない。大局的なデータ（例えば、売上）を、ユーザビリティに関係する有意義な要素（例えば、転換率、ページビュー毎の売上）に分解する事により、設計者は改善前後での性能記録をより明確に把握する事ができる。
例：ショッピングカートのユーザビリティの向上の有意義な測定方法として、総売上は最適とは言えないだろう。なぜなら、総売上には他の多くの要素が影響するからだ。より良い評価指標は、カート中断率の削減やエラーの削減だろう。そして、これらのユーザビリティの評価指標の向上から、（総売上ではなく、むしろ）売上への貢献度を、より現実的に計算できる。
ユーザビリティの向上は、ブランドポジション、マーケティング、サイト技術、等のより大きな戦略変更と同時に行われる事が多い。ユーザビリティの向上を、これらの変更から分離するよう努めるのが最善だ。
例：ビジネスの自然な拡大の時期にデザイン向上を行った場合、その成長に対するユーザエクスペリエンスデザインの貢献を正確に計測するには、より高い技術が必要となる。例えば、製品数やベンダーが大きく増加した場合、総取引数の増加は意味を失う。自然な成長から独立したデザインの向上を切り出すには、製品毎、ベンダー毎の取引数のような計測値が役に立つ。
同様に、デザインの性能向上と経済的な利益の関係は期待通りには現れてこないだろう。考えうる評価指標や利益をブレインストーミングで洗い出し、それぞれを独立に分析し、ユーザエクスペリエンスデザインによる向上をうまく捉えているものを決定するのが良いだろう。特に興味深いのは、いわゆる"indicator"指標で、その挙動がより直接的に財務上の評価指標に連動しているものだ。
例：Nielsen Norman Groupのレポートによると、Deerfield.comの開発チームは、自分たちが商品ダウンロード数に直接的な影響を与えられるという事を理解した。それとは別に、彼らは、商品ダウンロード数が製品売上に結び付く事も知っていた。つまり、ダウンロード数を増加する事により、彼らは売上を増加する事ができるのだ。
ウェブデザインの担当者は、責任ある者として捉えられていない場合が多い。彼らの努力は単にビジネスを行う上でのコストと見做されている。彼らの努力に本当に有意義な価値があると信じられていないため、有能なユーザエクスペリエンス担当者が、不完全なプロジェクトの中で、ある種の無料の内部コンサルタントか糸車のように扱われているのを、我々は見てきている。ユーザエクスペリエンスに従事する者は、ここまで議論してきた評価指標に対する責任能力を追求する必要がある。
例：売上のような一つの大局的な評価指標に対する責任で、チーム全員を縛り付けてはいけない。これはフラストレーションを生ずるだけである。それは、従業員が、この遠大な目的に対して彼らの個々の貢献がくだらないもののように感じてしまうからだ。明確なグループや個人に、彼らが直接影響を与えられる評価指標に対する責任を与えるべきだ。おそらく、最初はAaron Marcusのエッセイからのいくつかの評価指標を用いるのが良いだろう。最初これは扱いにくいだろうが、ひとたび運用されると、大いに有効性を示すだろう。
デザインプロセスから学んだどんな教訓でも、それを制度化するには、職能横断的チームのメンバーと、そして会社全体で、成功事例を共有するのが有効だ。
例：多くの会社では、成功事例を共有し、ビジネスへの価値ある貢献を認識するために、自社のイントラネットに内部報告書を発表している。また、これは、成功プロジェクトの戦士達が次の挑戦へどんどん進むように、そのプロジェクトの記憶を制度的に維持するすばらしい方法でもある。
長い間、ユーザエクスペリエンスの専門家は、彼らの努力が製品やシステムを開発する際に本当に有用だという事を、直感的に知っていた。そして、長い間、我々は、我々の能力が製品開発プロセスにおける戦術の後方へ追いやられるのを見て、失望してきた。その際、我々は不十分な理解しか得られないまま、製品を有用に、使いやすく、魅力的にするよう指示されてきた。業務の成功に対する我々の影響力を具体的に示す事により、我々がプロセスのより上流に参加し、単に物どう作るかではなく、何を作るべきかの決断に役立つという事に、我々自身気付くだろう。