- Recent Developments in Recommender Systems: A Survey [34.8]
この研究は、パーソナライズされたシステムやグループレコメンデーションシステムを含む、レコメンデーションシステムの主要な分類を包括的にまとめることから始まる。 この調査は、レコメンデータシステムにおける堅牢性、データバイアス、公平性の問題を分析します。 この研究は、リコメンデータシステムの開発における最新のトレンドについての洞察を提供し、この分野における今後の研究の方向性を浮き彫りにしている。
論文 参考訳（メタデータ） (Thu, 22 Jun 2023 05:51:49 GMT) - レコメンデーションのサーベイ、ChatGPT関連の言及は最終章に若干ある程度ではあるが、高度化の流れや実装上の課題と対応を振り返るには良いサーベイ。
月: 2023年6月
ChipGPT: How far are we from natural language hardware design
- ChipGPT: How far are we from natural language hardware design [34.2]
この研究は、自然言語仕様からハードウェアロジック設計を生成するLLMを探索する自動設計環境の実証を試みる。 LLMをベースとしたスケーラブルな4段階ゼロコード論理設計フレームワークを提案する。
論文 参考訳（メタデータ） (Mon, 19 Jun 2023 08:28:15 GMT) - ロジック設計にLLMを使おうという取り組み、 段階的にうまくLLMを使っていくアプローチのよう。Verilogを通せばプログラムコードに近いわけでできそうな気はする。EDA toolsに組み込んで効果があったとのこと。
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
- A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.4]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (Sun, 11 Jun 2023 23:13:51 GMT) - Transformerの適用に関する総合的なサーベイ、分野としてNatural Language Processing, Computer Vision, Multi-Modal, Audio/Speech, Signal Processingを挙げ、様々な手法を紹介している。
- 時系列での手法進化を振り返るのに良いサーベイ
OpenOOD
- OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection [81.3]
アウト・オブ・ディストリビューション(OOD)検出は、オープンワールド・インテリジェントシステムの信頼性の高い運用に不可欠である。 本稿では,OOD検出手法の精度,標準化,ユーザフレンドリな評価を保証したOpenOOD v1.5を提案する。
論文 参考訳（メタデータ） (Sat, 17 Jun 2023 01:14:56 GMT) - Out of Distribution(OOD)検出のためのベンチマーク、リポジトリにある手法やタスク、データの整理が非常にわかりやすい
- プロジェクトサイトはGitHub – Jingkang50/OpenOOD: Benchmarking Generalized Out-of-Distribution Detection
PyRCA: Root Cause Analysisライブラリ
- PyRCA: A Library for Metric-based Root Cause Analysis [66.7]
PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 09:55:10 GMT) - インシデントの根本原因を探っていくためのRoot Cause Analysisのためのライブラリ
- 基本的には難しい問題のはずだが、この問題を取り扱うための素材はそろってきている感はある。
- GitHub – salesforce/PyRCA: PyRCA: A Python Machine Learning Library for Root Cause Analysis
GPT-4とGPT-3.5の信頼性
- DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [76.8]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 評価の結果,信頼感の脅威に対する未公表の脆弱性が判明した。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 17:24:23 GMT) - GPT-4とGPT-3.5の信頼性を検証した論文。通常はGPT-4の方が信頼性が高いが「GPT-4 is more vulnerable given jailbreaking system or user prompts」とのこと。GPT-4は（jailbreakingされた場合も）より忠実に命令に従おうとするためかもしれないとしている。90ページと長いが、非常に詳細な検証がなされていてとても勉強になる。
- プロジェクトサイトはDecodingTrust Benchmark
Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction
- Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.1]
アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
論文 参考訳（メタデータ） (Sun, 11 Jun 2023 23:27:47 GMT) - ILA: Indigenous Languages of the Americas、アメリカ大陸の先住民族の言語を対象とした機械翻訳に関するサーベイ。パラレルコーパスが少ない状況での構築手法が紹介されており参考になる。日本でも大事なトピックであり、技術的には近しいものが多いと感じる。
AudioPaLM、 Direct Speech-to-text Translationのサーベイ
- AudioPaLM: A Large Language Model That Can Speak and Listen [79.4]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳（メタデータ） (Thu, 22 Jun 2023 14:37:54 GMT) - 音声とテキスト処理を融合するPaLM-2 +AudioLMな研究、Automatic Speech Translation (AST) 、Speech-to-Speech TranslationでSoTAを主張
- プロジェクトサイトはAudioPaLM (google-research.github.io)
同時期に Direct Speech-to-text Translationのサーベイが出ていた。音声＋テキストの融合はマルチモーダルな進化としては自然だと思う。TextlessNLPに向かっていくのだろうか？
- Recent Advances in Direct Speech-to-text Translation [58.7]
我々は、既存の研究成果を、モデリングの負担、データの不足、アプリケーション問題という3つの課題に基づいて分類する。 データ不足の課題に対して、最近の研究は、データ強化、事前学習、知識蒸留、多言語モデリングなど、多くの高度な技術を活用している。 我々は、リアルタイム、セグメンテーション、名前付きエンティティ、性別バイアス、コードスイッチングなど、アプリケーションの問題を分析して要約する。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 16:14:27 GMT)
Textbooks Are All You Need
- Textbooks Are All You Need [46.8]
phi-1はトランスフォーマーベースのモデルで、1.3Bパラメータを持ち、8A100で4日間訓練された。 phi-1はHumanEvalで50.6%、MBPPで55.5%の精度を達成した。
論文 参考訳（メタデータ） (Tue, 20 Jun 2023 16:14:25 GMT) - 教科書品質のデータ（6B）＋GPT-3.5が出力した品質の高いテキスト（1B）を用いて、1.3Bパラメータ（使用計算リソース 8 GPU * 4 days）という比較的小型で優れた性能を持つモデルが構築できたとのこと
- タスクがコード生成かつPythonと特化されている点に注意が必要だが、品質の高いデータの重要性が分かる報告。パラメータは小さめと言いつつ、パラメータ拡大が品質向上に効果がありそうに見える。
Inverse Scaling
- Inverse Scaling: When Bigger Isn’t Better [65.0]
大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
論文 参考訳（メタデータ） (Thu, 15 Jun 2023 20:11:23 GMT) - 大規模言語モデルでTraining FLOPs（モデルパラメータとも相関）が拡大するにつれ通常とは逆にスコアが悪化するタスクの例と分析、 the Inverse Scaling Prize (§2)の分析
- U字型だけでなく逆U字型のグラフになるタスクがあるのが興味深い。
- リポジトリはGitHub – inverse-scaling/prize: A prize for finding tasks that cause large language models to show inverse scaling