WikiTableEdit

  • WikiTableEdit: A Benchmark for Table Editing by Natural Language Instruction [56.2]
    本稿では,表編集作業におけるLarge Language Models(LLM)の性能について検討する。 Wikiデータセットから26,531のテーブルを活用し、6つの異なる基本操作のための自然言語命令を生成する。 WikiTableEditデータセット上でいくつかの代表的大規模言語モデルを評価し,その課題を実証する。
    論文  参考訳(メタデータ)   (Tue, 5 Mar 2024 13:33:12 GMT)
  • 表を編集するタスク(We select six commonly-employed fundamental operations for our dataset: (1) Adding a new row or column, (2) Removing a row or column, (3) Swapping two rows, (4) Reordering based on a certain column, (5) Merging adjacent cells with identical values, and (6) Splitting the merged cells.)の提案とデータセットの作成。GPT3.5-turboで厳しい感じであり、スコアを見るに簡単に見えて難しいタスクであるよう。(より大規模なモデルでの結果も知りたいところではある)
  • リポジトリはAnonymized Repository – Anonymous GitHub (4open.science)