- Rethinking Tabular Data Understanding with Large Language Models [39.4]
本研究では,大規模言語モデル(LLM)のテーブル構造摂動に対する堅牢性について検討する。 我々は,同じ内容を示す表の構造的差異が,特に記号的推論タスクにおいて顕著な性能低下を示すことを示した。 テキストおよび記号的推論経路の集約は, 混合自己整合機構によって促進され, SOTA性能が73.6%向上し, WIKITABLEQUESTIONSの精度が向上した。
論文 参考訳(メタデータ) (Wed, 27 Dec 2023 19:58:52 GMT) - 簡単そうで意外と難しいLLMでテーブルデータを扱うときのテクニックに関する報告。正規化過程では「‘row tables’ with headers in the first column」に変換するとのこと。こちらの形式のほうが処理しやすいのは納得感がある。加えてAppendicesがとても良い。
日: 2024年1月3日
MoTCoder: Modular-of-Thought Coder
- MoTCoder: Elevating Large Language Models with Modular of Thought for Challenging Programming Tasks [60.5]
本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。 調査の結果,MoTCoderはサブモジュールの栽培と利用を通じて,生成したソリューションのモジュラリティと正しさの両方を著しく向上させることがわかった。
論文 参考訳(メタデータ) (Tue, 26 Dec 2023 08:49:57 GMT) - コード生成時にサブモジュールのヘッダー+docstringの生成→実装部分の生成という段階を踏む手法の提案。同一パラメータ数(15B)でWizardCoderより優れているとのこと。
- リポジトリはdvlab-research/MoTCoder: This is the official code repository of MoTCoder: Elevating Large Language Models with Modular of Thought for Challenging Programming Tasks. (github.com)