ヤフーのコマースサービスにおけるクレジットカード不正利用対策の取り組み（下）

2022年3月18日8:00

ルールが継続して改善され続ける
フィードバックループを構成

このようなカード不正利用に対して、ヤフーがどのような取り組みをしてきたのか。本題に入ってまいりたいと思います。

ヤフーではAIを活用した不正検知システムを使って不正対策をしておりますが、特徴的なポイントが3つあります。システムと人の両軸で行う判定フローであること、審査・分析・開発が三位一体の体制であること、そして、ルールと機械学習が融合した不正検知システムであることです。

不正検知の方法は、システムによる判定と、人による判定の両方を組み合わせた判定フローになっています。システムは独自開発によるもので、すべてのトランザクションがこれによって判定されます。判定は基本的にルールベースで行われ、ルールは専用のWebツールで管理しています。人による判定では、システムで判定しきれなかったものを、目視によってチェックしています。専門の審査チームにより、24時間365日体制で運用されています。

システムは外部ソリューションを使わずに独自で開発しました。独自開発のメリットは、まず、システム利用料がゼロだということです。外部ソリューションを使うと、月額使用料やトランザクションフィーが発生しますが、自社開発の場合は開発費のみで利用できます。また、仕様変更に柔軟に対応できることや、ヤフーの各サービスで蓄積されたデータが横断的に活用できるといったメリットがあります。

システム構成の概要を説明します。ルール管理者はWebツールを使ってルールを登録します。登録されたルールは、Cassandraのルールデータベースに蓄積されます。判定リクエストがきたら、判定APIがルールデータベースを参照し、判定結果を返します。ここで判定しきれないものは、審査チームにエスカレーションされ、審査チームが人の目により判定します。判定APIの判定結果のログや、審査チームの審査結果のログは、データウェアハウスに蓄積されます。蓄積されたデータをレポート化することで、ルール管理者がレポートを参照して分析して、またルールの改善に活かすことができます。このように、ルールが継続的に改善されるフィードバックループが構築されています。

判定に使うルールについて補足いたします。判定ルールは条件と閾値で構成されていて、複数の条件をAND、ORで組み合わせていきます。たとえば、決済金額が1万円以上で、商品名に「パソコン」という文字列が入る、といったルールを作ったりできます。

また不正検知システムを中心に、先ほどのフィードバックループを素早く回せる三位一体の組織体制が整っています。日々の決済トランザクションを見ている審査チーム。こちらでは日々の不正状況を把握しています。判定結果、審査結果を分析して具体的な不正対策を検討したり、ルールの改善を行う分析チーム。そして、不正検知システムの開発と、このあと説明させていただく機械学習モデルの作成などを行う開発チーム。これらはすべて社員で構成されており、密に連携をとることで、日々変化する不正状況に対応しています。

ルールベースと機械学習の融合によって
互いの弱みを補完しシステムを強化

ヤフーの不正検知システムは基本的にルールベースの判定システムだとお話ししてきました。しかしAIを活用しているので、これに加えて機械学習を採り入れています。どのように取り組んでいるのかをお話しする前に、ここでいったん、ルールと機械学習の違いについて触れたいと思います。

ルールベース判定の特徴は、判定理由が明確であること、即時修正が可能であること、細かい調整が可能であることがメリットとして挙げられます。たとえば、決済金額が1万円以上というルールを作っていても、不正状況を見ながら9,000円や1万1,000円に即座に修正することが可能です。ですが一方で、ルールを人手で作るため手間がかかるということと、不正状況に合わせて常にルールを更新し続けていくというメンテナンスの難しさがあります。

では機械学習はどうでしょうか。精度の高い判定を行えることや、モデルを自動的に作成して更新し、傾向の変化に対応していけるというメリットがあります。一方、デメリットもあります。ルールは即座に調整できますが、機械学習の場合はモデルの再学習が必要なため即座に修正・調整することができません。またディープラーニングのような複雑なモデルを使うと、モデルの説明性の担保が難しくなります。システム面でも、機械学習のパイプラインを組み込むことで、システムが複雑化してしまいます。

また、ルールと機械学習の両者を比較する上では、不正判定特有の課題を考慮する必要があります。1つ目の課題は、偽陽性判定（False Positive：誤検知）を極力抑えるということです。正常な取引を誤って不正と判定してしまうと、お客様に迷惑をかけてしまうので、こういったことは極力避ける必要があります。2つ目は、高い説明性が求められるということです。なぜ不正と判断したのか、どういう特徴のある取引を不正あるいは正常と判断しているのかを、把握しておく必要があります。3つ目は、すべての判定を機械学習モデル任せることは難しく、ビジネスのドメインルールに基づいたルールベースの判定が必要不可欠であるということです。たとえば、規約違反や、過去の不正の履歴の照合などが、こういったルールにあたります。

ここまで見てきたルールと機械学習の特性をチャートにしてみると、システム簡潔性、説明性、調整可能、即時性といったところではルールが要件を満たしていますが、精度や自動化の面では要件を満たせません。ところがこここそが機械学習が得意とするところですので、ルールベースの弱点を補うことができます。ルールベースの検知システムに、機械学習を適用することにいたしました。それがルールと機械学習の融合です。

既存のワークフローに影響を与えずに
機械学習を組み込んで検知精度を向上

では、ルールと機械学習をどのように融合したのか、ルールベースの不正検知システムに、どのように機械学習を適用したのか。その方法をご紹介します。