日: 2023年8月15日

LLM As DBA / D-Bot

  • LLM As DBA [25.9]
    大規模言語モデル(LLM)は、価値あるドキュメントを理解し、合理的な回答を生成する大きな可能性を示している。 本稿では (i)文書及びツールからのデータベース保守知識検出 (ii)根本原因分析のための思考推論の木、及び (iii)複数のllm間の協調診断 D-Botが根本原因を効果的かつ効果的に診断できるという予備実験結果が公開されている。
    論文  参考訳（メタデータ）   (Thu, 10 Aug 2023 10:12:43 GMT)
  • データベース管理者としてLLMを利用する取り組み。「 LLM-centric database maintenance framework」というのが熱い
  • リポジトリはGitHub – TsinghuaDatabaseGroup/DB-GPT

SILO

  • SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [125.1]
    推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。 SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。 データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
    論文  参考訳（メタデータ）   (Tue, 8 Aug 2023 17:58:15 GMT)
  • 著作権違反リスクの少ないOPEN LICENSE CORPUS (OLC)を用いてLLMを構築、そうでないデータセットと組み合わせて一定の性能が出るフレームワークの提案。リスクの低いデータと高いデータを分離できることが特徴的。
  • 興味深い考え方であると同時に、 kNN-LMがRIC-LMより効果的なのが意外だった。諸条件でも変わるかもしれないが、機械翻訳用途だとシンプルにkNN-LM的な方針でLLMと併用した方がよかったりするんだろうか。
  • リポジトリはGitHub – kernelmachine/silo-lm: Silo Language Models code repository