コンテンツへスキップ
- Learning From Mistakes Makes LLM Better Reasoner [112.8]
大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、人間の学習プロセスに似た、ミステイクからの学習(LeMa)を提案する。
論文 参考訳（メタデータ） (Tue, 31 Oct 2023 17:52:22 GMT)
- GPT-4を用いて「 (1) identify the mistake step, (2) explain the reason for the mistake, (3) correct the mistake and generate the final answer」という手順でデータセットを作成、fine tuningによりCoTデータに比べて性能が大幅に向上したとの報告。誤りの方が学習効率が良い（新たな情報が多い）のはそうなんだろうと思う。
- リポジトリはGitHub – microsoft/CodeT ？
- Data-Centric Financial Large Language Models [27.5]
大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
論文 参考訳（メタデータ） (Sat, 7 Oct 2023 04:53:31 GMT)
- 金融分野向けにLLMを活用するため、データの前処理を工夫・拡張（AAR: abductive augmentation reasoning ）など行ったうえで既成のLLMを使う方針及びfine tuningに使う方針などを試している。単純なLangChain＋LLMより有効とのこと。
- 「データ中心な金融分野向けLLM」という題名であるが分野に関わらずこの手のオフラインでの準備は非常に重要という印象。とりあえずDBとつなげばよいという方針はあまりうまくいかない。