自動ナンバープレート認識（ANPR）は、自動ライセンスプレート認識（ALPR）とも呼ばれ、車両のナンバープレートを検出して読み取るために使用される正確な画像処理システムを指します。 高速でキャプチャされたナンバープレートの画像に光学式文字認識（OCR）コンポーネントを使用して、ナンバープレート上の個々の文字を検出し、それらをデジタルデータに変換します。

したがって、ANPRは、車両のライセンス/ナンバープレートを検出するために使用される基盤となるテクノロジーであり、この情報をコンピューター処理の次の段階に提供します。これにより、キャプチャされた情報を解釈、保存、または照合して、ANPRベースのアプリケーションを作成できます。

ANPRは、英国、オーストラリア、ドイツ、フランス、デンマーク、日本などの国の法執行機関によってとりわけ自動料金徴収、交通法執行機関、駐車場の出入管理、道路交通監視、移動時間分析、バスレーンの執行機関で使用されています。

日本はパトカーやヘリコプターにANPRシステムを迅速に導入し、戦略的に重要な分野に設置されています。 日本ではANPRシステムは2025年までに444億米ドルの市場規模に達する* と予想されています。

このブログでは、日本のナンバープレートがどのように検出され、ナンバープレートの文字が認識されるかについて概説します。ナンバープレートの検出は、Resnetタイプのモデルによるセマンティックセグメンテーションに基づいており、文字認識はクラシファイアーネットワークに基づいています。日本のナンバープレートには、最初のステップとして研究しなければならない特徴があります。

日本のナンバープレートの特徴

日本のナンバープレートは、4つの領域で構成されています。 次の図は各領域を示しています。

  Fig 1. A 日本のナンバープレートフォーマット

また、ナンバープレートの色は車両のエンジン排気量を示します。 次の図は、さまざまな色と対応するエンジン排気量を示しています。

Fig.2 日本のナンバープレート仕様

上の行は、地名と車両分類番号です。 下の行には、ひらがなとハイフンで区切られた2桁の2つのグループに分割された4桁の番号が含まれています。 最初のゼロはすべて中点に置き換えられます。

データセットの準備とラベリング

データセットは、さまざまなソースからの画像を使用して作成されます。 次のサイトは代表的なセットを提供します。 [Link]

トレーニング結果は、対象領域のラベルが正しい場合にのみ最大の精度をもたらします。これを確実にするには、厳密なラベル付けが必要です。 収集された画像は、LabelMeアプリケーションを使用してラベル付けされます。 これらの画像と対応するxmlファイルは、トレーニング目的で使用されます。

ナンバープレートの検出と分類

Fig.3 車両検出パイプライン

サンプル入力画像に関して上記のパイプラインを説明します。

YOLOトリミング

Fig.4 生の入力画像

ANPRの最初のステップは、生の入力画像から、車両を検出して背景から分離することです。 ここでは、オブジェクト検出の目的でTiny YOLO（You Only Look Once）v3 モデルを使用しました。YOLOを選んだ理由は、速く正確でマルチスケールの予測だからです。ここで重要な事は、それがリアルタイムの物体検出システムであるということです。対象のオブジェクトは、車、バスからトラックまで多岐にわたります。道路、丘、人などは関係がないため破棄されます。 Tiny YOLOを使用して車両のクロップを抽出します。

Fig.5 YOLOを使用して生成された車両のクロップ

ナンバープレート検出モジュール
車両のクロップはセマンティックセグメンテーションモデルに渡され、セグメンテーションモデルはナンバープレート領域を抽出します。 これらのナンバープレート境界領域は、 ((x1, y1), (x2, y2)) や (x, y, w, h) などの適切な形式で json ファイルに保存できます。

Fig.6 ナンバープレート クロップ

ナンバープレート クロップ
セマンティックセグメンテーションは、地域、色、数字、ひらがな に関連するマスクを生成します。 このセマンティックセグメンテーションモデルは、これらのマスクを生成するために、日本のナンバープレートデータセットでトレーニングされます。 前の手順と同様に、ここでもマスクは適切な形式で json ファイルに保存されます。

Fig.7 地域、色、数字、ひらがな の マスク

OCR予測
次の段階では、これらのマスク領域に光学式文字認識（OCR）を適用する必要があります。この段階では、特定のナンバープレート上の対象の特徴の予測が返されます。これらの予測は、次のクラスに基づいています。:
Color
[‘black’, ‘white’, ‘green’, ‘yellow’]
地域
[‘静岡’, ‘福岡’, ‘福島’, ‘岐阜’, ‘群馬’, ‘広島’, ‘金沢’, ‘北見’, ‘高知’, ‘新潟’, ‘帯広’, ‘大分’, ‘徳島’, ‘富山’, ‘宇都宮’, ‘岡山’, ‘札幌’, ‘仙台’,沼津’, ‘千葉’, ‘山梨’, ‘多摩’, ‘大阪’, ‘横浜’, ‘前橋’, ‘練馬’, ‘和歌山’, ‘神戸’, ‘宮崎’, ‘埼玉’, ‘熊谷’, ‘品川’, ‘奈良’, ‘足立’, ‘京都’, ‘なにわ’, ‘姫路’, ‘川崎’]
ひらがな
[’13’, ‘2’, ’20’, ‘7’, ‘1’, ’17’, ’10’, ’25’, ’12’, ’18’, ’21’, ‘5’, ‘4’, ’24’, ’23’, ’16’, ’15’, ’22’, ’19’, ‘3’, ‘8’, ‘9’, ’14’, ‘6’, ’11’, ’26’, ’27’, ’28’]
数字
[‘2’, ‘7’, ’00’, ‘1’, ’90’, ‘0’, ‘5’, ‘4’, ‘3’, ‘8’, ‘9’, ‘6’, ’13’, ’18’, ’22’, ’23’, ’33’, ‘100’]

以下はサンプルテスト画像のパイプラインによって生成された予測です。

Fig.8 予測されるコンソール結果

Fig.9 注釈付き結果 ナンバープレート

結論

この記事では、車両を自動的に検出し、ナンバープレートを切り抜いて、日本語の文字やその他すべての関連フィールドを認識することができる、ディープラーニングベースのANPRパイプラインを紹介します。 当社のANPRソフトウェアの製品版は、費用効果の高いIPまたはWebカメラと統合し、費用効果の高いコンピューティングシステムを使用してリアルタイムの自動プレート読み取りを実行できるため、多くの実用的なアプリケーションに展開できます。

Vision AIを利用したソフトウェアのその他の使用例については、 Automatic Container Code Detection, Face Mask and Attire detection および Automated Tyre Defect Detection に関するブログをご覧ください。 

英語ページ