How Do In-Context Examples Affect Compositional Generalization? [86.6] 本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。 論文参考訳（メタデータ） (Thu, 25 May 2023 02:34:40 GMT)
in context learningのテストスイートの提案、詳細な分析がなされており非常に参考になる。「Our systematic experiments indicate that in-context examples should be structurally similar to the test case, diverse from each other, and individually simple.」とあるのは直感的にもそうだとは思うが、それぞれの要素について検証がなされているのが凄い。