商用AIを作る際のライセンス問題

  • Can I use this publicly available dataset to build commercial AI software? Most likely not [8.9]
    商用AIソフトウェアを構築するために、与えられた公開データセットを使用する場合、ライセンスコンプライアンス違反の可能性を評価するための新しいアプローチを提案する。 その結果,これらの6つの研究データセットのうち5つは,ライセンス違反のリスクがあることが判明した。
    論文  参考訳(メタデータ)   (Wed, 3 Nov 2021 17:44:06 GMT)
    • CIFAR-10、ImageNet、Cityscapes、MS COCO、FFHQ、VGGFace2の商用利用が可能か調べたもの。5つはリスクがあり、(守るべき規定はあるが)利用可能そうなのはCC BYなMS COCOのみとのこと。
    • 商用利用に限らずライセンス確認は必須だが、特に研究用のデータセットはその辺りが不明瞭なものも多い。Creative Commonsのような明確な規定のデータが増えてほしい。

Klarna Product Page Dataset:現実に近いWEBページのデータセット

  • The Klarna Product Page Dataset: A RealisticBenchmark for Web Representation Learning [60.5]
    本稿では,DOM木要素表現学習の未探索問題に対処する。 一般的なグラフベースのニューラルネットワークモデルを適用して、WebサイトDOMツリーに要素を埋め込むようにします。 ウェブページの大規模かつ現実的なデータセットを提示する。
    論文  参考訳(メタデータ)   (Wed, 3 Nov 2021 12:13:52 GMT)
    • 製品紹介のWEBページに対してアノテーションを行ったデータセット。8言語、8Kサイト、51Kページと規模が大きい。複数アルゴリズムでの評価結果も参考になる。
    • リポジトリはhttps://github.com/klarna/product-page-dataset、データのライセンスはCreative Commons BY-NC-SA licenseとのこと。

Fairnessな機械学習へのテクニック

  • Modeling Techniques for Machine Learning Fairness: A Survey [17.9]
    近年,機械学習モデルのバイアスを軽減するため,様々な手法が開発されている。 本稿では,プロセス内バイアス軽減技術の現状を概観する。
    論文  参考訳(メタデータ)   (Thu, 4 Nov 2021 17:17:26 GMT)
    • 公平性の実現、バイアスの除去・軽減技術に関するサーベイ。
    • 決定的な方法はない分野でもあり、整理軸も概観も非常に参考になる。

大規模事前学習による自然言語処理のサーベイ

  • Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.8]
    BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
    論文  参考訳(メタデータ)   (Mon, 1 Nov 2021 20:08:05 GMT)
    • 事前学習モデルを用いたNLPのサーベイ、本文30ページ。「事前学習+Fine-tuning」「Prompt-based learning 」「テキスト生成への帰着」の3つのパラダイムで整理している。加えてPLMによるデータ生成も扱われており非常に勉強になる。

RSA(Relational Self-Attention): 時空間の関係をリッチにとらえる構造

  • Relational Self-Attention: What’s Missing in Attention for Video Understanding [52.4]
    リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
    論文  参考訳(メタデータ)   (Tue, 2 Nov 2021 15:36:11 GMT)
    • コンテンツ間の関連を予測するRelational kernelとコンテンツ間の関連のパターンを提供するRelational contextを組み込んだ構造を用いてビデオ理解タスクでSoTAを主張。