タグ: 自動運転

On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

自動運転とLLM

DRAMA(Driving Risk Assessment Mechanism with A Casting Module) Dataset

  • DRAMA: Joint Risk Localization and Captioning in Driving [23.1]
    本稿では,運転場面における共同リスクローカライゼーションの新たな研究方向と,その自然言語記述としてのリスク説明を提案する。 標準ベンチマークの欠如により、我々は大規模データセットDRAMA (Driving Risk Assessment Mechanism with A Casting Module) を収集した。 我々のデータセットは、視覚的キャプションの目標を達成するために、関連する重要なオブジェクトによるリスクの駆動に関するビデオおよびオブジェクトレベルの質問に適合する。
    論文  参考訳（メタデータ）   (Thu, 22 Sep 2022 03:53:56 GMT)
    • 運転中のビデオとその説明、QAを含むデータセット。17,785シナリオと規模も大きい。「We make this data available to the community for further research.」とあるものの、データ利用にはプロジェクトサイトからメールで問い合わせが必要そう。
    • プロジェクトサイトはDRAMA – Honda Research Institute USA (honda-ri.com)

自動運転におけるSemantic AI Securityのサーベイ

  • SoK: On the Semantic AI Security in Autonomous Driving [34.5]
    自律運転システムは、安全と運転判断の正しさをAIコンポーネントに依存している。 このようなAIコンポーネントレベルの脆弱性がシステムレベルでセマンティックに影響を及ぼすためには、非自明なセマンティックギャップに対処する必要がある。 本稿では,このような研究領域を汎用AIセキュリティとは対照的にセマンティックAIセキュリティと定義しsemantic ad aiセキュリティ研究分野における知識の体系化を初めて実施する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Mar 2022 12:00:34 GMT)
    • 単一コンポーネントの脆弱性がシステム全体に影響を及ぼすかは自明ではなく、System-to-AIとAI-to-Systemの2つのギャップがある。このような研究をsemantic AI securityと呼び、そのサーベイを実施したとのこと。
    • 自動運転のセキュリティに関する良いサーベイでもあり非常に参考になる。
    • プロジェクトサイトはAD & CV Systems Security – PASS (google.com)

Ad-datasets: 自動運転のデータセットまとめ

  • Ad-datasets: a meta-collection of data sets for autonomous driving [5.3]
    ad-datasetsは150以上のデータセットの概要を提供するオンラインツールである。 ユーザーは16のカテゴリでデータセットをソートしてフィルタリングできる。
    論文  参考訳（メタデータ）   (Thu, 3 Feb 2022 23:45:48 GMT)
    • 自動運転に関連するデータセットを整理したサイト。ライセンス等の記載があるのもうれしいが、後半のデータについて概要等が欠けている気がする。。
    • プロジェクトサイトはad Datasets (ad-datasets.com)

SODA10M(large-Scale Object Detection benchmark for Autonomous driving): 大規模物体検出ベンチマーク

  • SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving [94.1]
    我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。 多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。 我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
    論文  参考訳（メタデータ）   (Mon, 21 Jun 2021 13:55:57 GMT)
    • 1000万枚の未ラベル画像と6つのカテゴリをラベル付けした20Kの画像からなるデータセット。多くの都市、気象条件、時間帯などが含まれていて自動運転をターゲットにしている。