タグ: グラフ構造

LLMの拡張、テーブルデータを併用した推論への応用

GPT-#で大規模言語モデルが話題になっているが、その拡張を行う研究も非常に盛ん。

  • mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [55.7]
    mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
    論文  参考訳（メタデータ）   (Thu, 27 Apr 2023 13:27:01 GMT)
  • LLMのマルチモーダル化、まずVisual Encoder/Visual AbstractorをLLMを凍結して事前学習、その後LoRAを用いてLLMのInstruction tuning
  • リポジトリはGitHub – X-PLUG/mPLUG-Owl: mPLUG-Owl🦉: Modularization Empowers Large Language Models with Multimodality
  • Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning [45.0]
    大規模言語モデル(LLM)を効率的なテーブルベースの推論のためのデコンパイラとして活用する。 巨大な証拠(巨大な表)をサブエビデンス(小さな表)に分解し、無駄な情報の干渉を軽減する。 我々は,思考連鎖のジレンマを軽減するために,「パーシング・エグゼクティオン・フィリング」戦略を提案する。
    論文  参考訳（メタデータ）   (Thu, 27 Apr 2023 11:24:10 GMT)
  • Table データを併用した推論へのLLM適用、 Decompose evidence And questions for effective Table-basEd Reasoning (DATER)提案、優れた性能を達成。初めてTabFactで人間のパフォーマンスを超えたとのこと。
  • テーブルデータの分解、質問の分解、SQLクエリへの変換・実行、 in-context prompting とLLM関連のテクニックが高度に使われている印象で問題の解き方がとても参考になる

セキュリティ分野におけるグラフ分析のサーベイ

  • Graph Mining for Cybersecurity: A Survey [60.8]
    マルウェア、スパム、侵入などのサイバー攻撃の爆発的な増加は、社会に深刻な影響をもたらした。 従来の機械学習(ML)ベースの手法は、サイバー脅威の検出に広く用いられているが、現実のサイバーエンティティ間の相関をモデル化することはほとんどない。 グラフマイニング技術の普及に伴い、サイバーエンティティ間の相関を捉え、高いパフォーマンスを達成するために、多くの研究者がこれらの手法を研究している。
    論文  参考訳（メタデータ）   (Sun, 2 Apr 2023 08:43:03 GMT)
  • サイバーセキュリティにおけるグラフマイニング活用のサーベイ
  • ネットワークなどセキュリティに関わる要素とグラフ構造は相性が良いので活用が期待される（というかよく活用されている）分野

Fairness in Graph Mining

  • Fairness in Graph Mining: A Survey [36.3]
    グラフマイニングアルゴリズムは、人間中心のアプリケーションで悪用された場合、特定の人口に対する差別につながる可能性がある。 グラフ上の公平性の概念の新たな分類法を提案し,その関係や相違点に光を当てる。 本稿では,グラフマイニングにおける公正性を促進する既存手法について概説する。
    論文  参考訳（メタデータ）   (Tue, 11 Apr 2023 05:55:09 GMT)
  • 利用が広がっているグラフマイニングにおける公平性サーベイ
  • グラフ構造分析の実応用ではSNSなどセンシティブなデータを持つものが想定されFairness関連の研究は重要

Graphix-T5

  • Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.2]
    テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。我々は,グラフ認識層によって拡張された標準事前学習トランスフォーマモデルを用いた混合モデルであるgraphix-t5を提案する。 大規模な実験と分析により、SPIDER、Syn、REALISTIC、DKの4つのテキスト-SQLベンチマークにおける GraphIX-T5の有効性が示されている。
    論文  参考訳（メタデータ）   (Wed, 18 Jan 2023 13:29:05 GMT)
  • グラフ構造（としてER）を扱うことによってテキストからのSQL生成の性能を向上させたとの報告。この手のSQL生成支援機能が実装される例が増えてきており興味深い
  • リポジトリはDAMO-ConvAI/graphix at main · AlibabaResearch/DAMO-ConvAI · GitHubとのこと。現時点ではcoming soon

GREENER: Graph nEural nsEtwork for News Media pRofiling

  • GREENER: Graph Neural Networks for News Media Profiling [24.7]
    本稿では,ウェブ上でのニュースメディアのプロファイリングの問題について,その実態と偏見について考察する。 私たちの主な焦点は、オーディエンスの重複に基づいて、メディア間の類似性をモデル化することにあります。 予測精度は2つのタスクに対して2.5-27マクロF1ポイント向上した。
    論文  参考訳（メタデータ）   (Thu, 10 Nov 2022 12:46:29 GMT)
  • グラフに基づくニュースメディアの分析。ramybaly/News-Media-Reliability (github.com)を使って分析しており、Alexa MetricsやTwitter、Facebook、YouTube、Wikipediaなどデータを追加していった時の動きが興味深い

Graph Perceiver IO

  • Graph Perceiver IO: A General Architecture for Graph Structured Data [13.3]
    グラフ構造化データセットのPerceiver IOであるGraph Perceiver IOを提供する。 Graph Perceiver IOは一般的な方法であり、グラフ構造化データやテキストや画像などの多様なデータセットを扱うことができる。 グラフ知覚型IOは,ノード分類,グラフ分類,リンク予測など,様々なグラフ関連タスクに対する競合結果を示す。
    論文  参考訳（メタデータ）   (Wed, 14 Sep 2022 05:05:55 GMT)
    • Perceiver のグラフ対応版、ベンチマーク結果は良さそう。

時間グラフ表現学習のサーベイ

  • A Survey on Temporal Graph Representation Learning and Generative Modeling [21.2]
    時間グラフは、実体間の動的関係を表し、ソーシャルネットワーク、eコマース、コミュニケーション、道路ネットワーク、生物学的システムなど、多くの実生活アプリケーションで発生する。 本稿では,近年提案されている時間依存グラフ表現学習と生成モデルによる時間グラフ処理手法について概観的に検討する。
    論文  参考訳（メタデータ）   (Thu, 25 Aug 2022 14:42:08 GMT)
    • 時間的グラフ表現アプローチに関するサーベイ。
    • 現実的には良く遭遇する状況だが、そのままで扱うことは難しいという認識。概観を知るのに良いサーベイだが、性能関連のまとめが欲しいなという印象…

BIC : グラフ構造を併用したボット検出

  • BIC: Twitter Bot Detection with Text-Graph Interaction and Semantic Consistency [22.5]
    テキストとグラフのモダリティを深くインタラクティブにし、ツイートの意味的矛盾を検知するBICという新しいモデルを提案する。 BICには、ツイートからセマンティック一貫性情報を学ぶためのセマンティック一貫性検出モジュールが含まれている。 われわれのフレームワークは、総合的なTwitterボットベンチマークの競争ベースラインを上回っている。
    論文  参考訳（メタデータ）   (Wed, 17 Aug 2022 14:34:40 GMT)
    • テキスト情報だけでなくグラフ構造を併用、かつ共通のネットワークでTwitterのBot Detectionを行うという研究。

FactGraph: 要約における事実性の評価

  • FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.9]
    文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
    論文  参考訳（メタデータ）   (Wed, 13 Apr 2022 16:45:33 GMT)
    • 文書と要約で意味的整合性が取れないことがあるが、その評価を行う研究。グラフベースのアプローチを用いることでQAベースの手法よりも優れた結果であったとのこと。
    • コードはhttps://github.com/amazon-research/fact-graphで公開予定

Automated Graph Machine Learningのサーベイ