Steam Agentを利用したAPIインタラクション: データの商業化を一般消費者に向けて推進する
Last updated
Last updated
大規模言語モデル（LLMs）の自然言語処理分野における進展に伴い、その能力を利用してソフトウェアインタラクションを簡素化することに対する関心が高まっています。本論文では、自然言語入力を対応するAPI呼び出しに分類し、特定のAPI機能を呼び出すサンプルデータセットを自動生成する新しいシステムを提案します。自然言語コマンドを通じて、私たちのシステムはユーザーが簡単な入力で複雑なAPI機能を呼び出すことを可能にし、インタラクションの効率を向上させ、APIの使用障壁を低下させます。これにより、API消費者は非技術的なグループにシフトし、迅速に消費可能なアクセスの商業化を実現できます。
近年、大規模言語モデル（LLMs）は自然言語処理（NLP）分野で顕著な進展を遂げており[1, 2, 3]、テキスト生成から金融、医療、芸術、顧客サービスなどの複数の業界における複雑な問題解決に至るまで、さまざまなタスクで優れたパフォーマンスを示しています[4, 5, 6]。これらの進展は、LLMsがソフトウェアインタラクションを簡素化し最適化する可能性に対する関心を高めています。機械学習や高度な深層学習技術は、ソフトウェアシステムの統合を強化し、さまざまなアプリケーションを最適化するために広く研究されています[7, 8, 9]。さらなる発展として、LLMsは異なる技術レベルのユーザーにとって、ソフトウェアシステムをより直感的で使いやすくする強力なツールとして研究されています[10, 11]。
従来、ユーザーはアプリケーションプログラミングインターフェース（API）を通じてソフトウェアと対話しており、これらのインターフェースは異なるソフトウェアアプリケーション間の通信にとって重要です[12]。しかし、APIとのインタラクションには通常、その構造、パラメータ、および特定の呼び出しについて深い理解が必要であり、これは非技術的なユーザーやAPIの基盤となるロジックに不慣れなユーザーにとって障壁となります[13]。LLMsをAPI管理ワークフローに統合することで、シンプルで自然な言語入力を通じてAPIと対話する機会が提供され、異なる技術レベルやニーズを持つユーザーに新たな可能性を開きます[14, 15]。
しかし、LLMsを用いてAPI管理を展開することにはいくつかの課題が伴います。主な課題は、モデルが自然言語入力を正確に解釈し、適切なAPI呼び出しに分類できることを確保することです。APIは多様な構造を持ち、ユーザーの入力は文脈によって異なるため、異なるユースケースにおけるLLMの性能を評価する信頼性の高いシステムを開発することが重要です。これらの課題に対処するために、私たちはLLMsを統合した新しいシステムを提案します。このシステムは二つの主要な機能を備えています。一つは、LLMsを利用して自然言語入力を解釈し分類し、対応するAPI呼び出しに正確にマッピングすることです。もう一つは、特定のAPI機能に対するサンプルデータセットを自動生成するためにLLMを使用することです。これは、さまざまなAPI分類タスクにおけるLLMの性能を体系的に評価するために重要です。従来の方法とは異なり、私たちのフレームワークは拡張可能で再現可能なソリューションを提供し、APIワークフローが高い精度と実際のアプリケーションとの関連性を持って包括的にテストできることを保証します。
私たちは、呼び出し指示を使用して業界内のさまざまなAPI機能に関する広範な実験を行い、GPT-4、GPT-4o-mini、Claude 3.5 Sonnet、GPT-4o (Aug '24)、DeepSeek-V2-Chat、DeepSeek-V2.5、LLaMA-3-8B、Gemini-1.5などの複数の著名なLLMsの分類能力を評価しました。結果は、モデルの性能に顕著な差があることを示しており、準備率の高い順に並べると、Claude 3.5 Sonnet、GPT-4o (Aug '24)、GPT-4o-miniとなります。これらの発見は、API分類におけるLLMsの潜在能力を示し、異なる環境でモデルを慎重に選択する重要性を強調し、私たちのシステムが効率的で実用的なモジュール式API管理ツールとしての有効性を際立たせています。
過去10年間、機械学習分野の急速な発展に伴い、その応用は複数の分野に拡大し、技術[16, 17]、医療[18, 19, 20, 21, 22, 23]、金融[24]、道路建設[25]などの業界を根本的に変革しました。これらの進展は、複雑な技術的課題を解決するだけでなく、ユーザー体験を向上させる簡素化されたソリューションを提供しています[26, 27, 28]。最も変革的なブレークスルーの一つは、自然言語モデルの台頭です。深層学習技術を利用することで、自然言語インターフェースはユーザーがシンプルで直感的なコマンドを通じて複雑なシステムと対話できるようにし[29, 30, 31, 32, 33]、従来の技術操作のハードルを大幅に下げ、非専門ユーザーにもアクセス可能にしました。
顕著な応用の一つはデータクエリの分野であり、モデルは自然言語のクエリを解析し、SQLなどの構造化されたコマンドに変換することができます。これにより、非技術者は基盤となる文法を理解することなく、データベースから情報を取得できます[34]。データクエリに加えて、LLMsはDevOpsの自動化にも統合されており、ユーザーはシンプルなコマンドを使用して複雑なワークフローを起動および管理することができます。この統合により、インフラストラクチャの設定、デプロイメント、システム監視などのタスクが簡素化され、従来は複雑であったDevOpsの分野がよりユーザーフレンドリーなインタラクションモデルを提供することで簡素化されました[35]。
同様に、LLMsの潜在能力はAPIインタラクションにも活用されることが探求されています。既存のモデルであるCodexはコードスニペットを生成することができますが、API呼び出しの検索分野は依然として未発達の状態にあります[36]。APIの複雑性は、通常、複数のプロトコル、データ形式、およびドメイン特有のパラメータを含むため、独自の課題をもたらします。
私たちは、OpenAIがSwarm [37]という実験的フレームワークを発表する前に、マルチエージェントシステムの構築、編成、展開を実現しました。そして、それをプロダクションレベルにまで引き上げました。システムの定義は以下の通りです：
API検索フレームワークは、ユーザーのクエリを効果的に処理できる自動化パイプラインであり、各クエリが正しく分類され、対応するAPI関数に渡され、結果が効率的にユーザーに返されることを保証します。その構造化されたワークフローは、以下の主要な段階に分けることができます：
システムはまず、ユーザーからの自然言語クエリを受け取ります。プロンプトの過程で、ユーザーの入力は事前に定義されたプロンプト指示と組み合わされ、その後LLMに送信されます。これらの指示はAPIの階層構造を定義し、特定の出力フォーマットのルールを確立することで、システムの応答がAPIの構造と機能要件に合致することを保証します。入力の複雑性は、単純な質問からより複雑なコマンドまでさまざまです。LLMsの柔軟性により、システムは広範なユーザー入力を解釈し処理することができ、入力の表現があいまいであっても対応可能です。
クエリを受信すると、統合されたLLMはそれを対応するAPI機能にマッピングします。具体的には、LLMはクエリを処理し、事前に定義されたAPIの階層構造に基づいて分類されたラベルを返します。同時に、API機能の入力パラメータに必要な関連キーワードが取得されます。このラベルは、ユーザーのリクエストを満たすために必要なAPIモジュールと具体的な機能を決定します。利用可能なリソース間で効率的に処理を行うために、負荷分散装置が導入され、受信したクエリを分配します。
ラベルが返された後、API識別子はサーバーにリクエストを送信してAPI機能のルーティングを取得します。このステップでは、クエリから抽出されたキーワードを動的にAPI機能に必要な入力パラメータにマッピングします。例えば、Coingecko APIの場合、その後API呼び出しを実行してJSON形式のフィードバックデータを取得します。
API呼び出しの処理が完了した後、結果はユーザーが読みやすい形式で返されます。このステップにはエラーハンドリングが含まれます。API実行中に無効なパラメータやAPI呼び出しの失敗などの問題が発生した場合、システムはユーザーに関連するフィードバックを提供します。さらに、検索履歴機能により、ユーザーは過去のクエリを確認でき、繰り返しのインタラクションに新たな機能を追加します。
このエンドツーエンドのフレームワークは、APIインタラクション全体のプロセスを自動化し、手動介入を最小限に抑え、ユーザーのクエリが効率的かつ正確に処理されることを保証します。プロンプトの過程でAPIの階層構造を統合することで、システムは拡張が容易であり、必要に応じて新しいAPIカテゴリや機能を追加できるようになっています。
大規模言語モデル（LLM）は、APIが返すJSONオブジェクトのパラメータを読み取り、その内容を自然言語で読みやすい形式でユーザーに返すことができます。これにより、技術者主導の制約から一般ユーザーが消費できるビジネスモデルへの転換がもたらされ、主に以下のいくつかの側面で顕著な変革が生じます：
大規模言語モデル（LLM）がAPIデータ処理に関与する前、APIの使用は主に技術者や開発者に限られていました。一般ユーザーは必要な技術知識を欠いているため、APIと直接対話することができませんでした。この制約は以下のいくつかの欠点を引き起こしました：
知識の壁：一般ユーザーは、APIが提供するデータやサービスを効果的に利用するために、一定のプログラミングスキルとAPI使用の知識を持つ必要があります。これにより、多くの潜在的なユーザーが排除され、市場の広範な応用が制限されます。
高コスト：企業はAPIとの統合を開発・維持するために技術者を雇う必要があり、これが運営コストを増加させます。データ提供者にとっては、不安定な顧客基盤が再革新の動機を制限します。
応答速度の遅さ：技術者はAPIリクエストの処理やデータの解析に多くの時間を費やすことが多く、これが情報取得の遅延を引き起こし、意思決定のタイムリーさに影響を与えます。
APIの使用が主に技術者の手に集中しているため、市場の潜在能力は十分に発揮されていません：
ユーザー層の狭さ：技術的なバックグラウンドを持つユーザーのみがAPIを効果的に利用できるため、市場の需要が制限されています。多くの業界や分野のユーザーは、APIがもたらす利便性を享受できません。
革新の制限：技術者の主導地位は、ユーザーからのフィードバックやニーズを制限し、APIの開発や改善に多様性や革新性が欠ける原因となります。市場には多くの未満たされたニーズが存在する可能性があります。
LLMの導入により、APIデータ処理がより直感的で使いやすくなり、一般ユーザーもAPIが提供するデータに簡単にアクセスし利用できるようになりました。この変革は以下の利点をもたらします：
知識のハードルの低下：ユーザーは自然言語を通じてシステムと対話でき、プログラミングスキルを必要としません。これにより、より多くの非技術的なユーザーがデータ消費に参加でき、ユーザーベースが拡大します。
ユーザー体験の向上：自然言語処理を通じて、ユーザーは必要な情報をより便利に取得でき、学習コストや使用障壁が減少します。このようなフレンドリーなユーザー体験は、より多くのユーザーが関連サービスを利用することを引き付けるでしょう。
LLMの関与は、ユーザー体験を向上させるだけでなく、市場の拡大と革新を促進します：
多様なユーザー層：APIの使いやすさが向上することで、より多くの業界のユーザーがAPIデータを利用して意思決定や分析を行えるようになります。これにより、市場の多様化が進み、異なるユーザーのニーズを満たすことができます。
革新の促進：ユーザーからのフィードバックやニーズがより容易に収集・分析されることで、APIの継続的な改善と革新が促進されます。企業はユーザーの実際のニーズに基づいて新機能を開発し、市場競争力を高めることができます。
LLMの導入により、データ処理がより効率的になり、ユーザーはリアルタイムで情報を取得し、迅速な意思決定を行えるようになります：
応答速度の向上：ユーザーは必要なデータを即座に取得でき、待機時間が短縮されます。これは、迅速な意思決定が求められる暗号通貨業界にとって特に重要です。
作業効率の向上：データ処理の自動化により、ユーザーはデータの取得や解析に費やす時間を減らし、分析や意思決定により多くの時間を投入できるようになります。これにより、作業効率が大幅に向上します。
データ提供者はAI Steam Labsとの協力を通じて、データを私たちの検索システムに統合し、独立したエージェントを形成する革新的なビジネスモデルを構築できます。このエージェントはAgent Storeに上架され、ユーザーに便利なデータ消費サービスを提供し、ユーザーは自然言語で読みやすいデータを得ることができます。本稿では、このビジネスパスの実現方法とその潜在的な収益化モデルについて探討します。
AI Steam Labsとデータ提供者の協力は、以下のいくつかのコア要素に基づいています：
データ統合：データ提供者のAPIとデータソースをAI Steam Labsの検索システムに統合し、ユーザーが読みやすい消費形式に変換します。ユーザーはこのプラットフォームを通じてデータにアクセスし、消費することができます。
独立エージェント：データ提供者は独立したエージェントとしてAgent Storeで運営され、ユーザーはこれらのエージェントと直接対話し、必要なデータサービスを取得できます。
消費ポイントシステム：ユーザーがプラットフォーム上でデータを消費する際、消費ポイントを使用して支払いを行います。ポイントの消費はデータの使用量（例えば、1Mトークンの消費量）に連動し、透明な消費メカニズムを形成します。
消費ポイントシステムは、このビジネスモデルの核心となります。具体的な実装方法は以下の通りです：
ポイントの取得：ユーザーは安定した通貨を使用して少額の支払いを行うことで消費ポイントを取得できるほか、登録報酬、友人の紹介、イベントへの参加などを通じてもポイントを得ることができます。これにより、ユーザーがプラットフォームの利用に積極的に参加することを促します。
ポイントの消費：ユーザーがデータサービスを利用する際、1Mトークンの消費量に応じて相応のポイントが差し引かれます。例えば、1Mトークンの消費量が10,000ポイントである場合、ユーザーはデータを消費する際に実際の使用量に基づいて相応のポイントが差し引かれます。
ポイント管理：プラットフォームはユーザーがポイントを管理できるインターフェースを提供し、ユーザーはいつでもポイント残高、消費履歴、取得方法を確認できるようにし、ユーザー体験を向上させます。
収益を実現するために、AI Steam Labsとデータ提供者は収益分配モデルを採用します。具体的には以下の通りです：
分配比率：AI Steam Labsとデータ提供者の分配比率は3:7であり、AI Steam Labsは収益の30%を獲得し、データ提供者は70%を獲得します。この比率は、データ提供者がデータの提供と維持において重要な役割を果たしていることを反映しています。
収益源：収益は主にユーザーがプラットフォーム上でデータを消費することによって発生するポイント料金から得られます。ユーザー基盤の拡大とデータ消費の増加に伴い、双方の収益は顕著な成長を実現します。
透明な決済メカニズム：プラットフォームは透明な決済メカニズムを確立し、定期的にデータ提供者に収益を清算することで、双方の利益が保障されるようにします。
このビジネスパスは、AI Steam Labsとデータ提供者に新たな収益機会を創出するだけでなく、ユーザーに対しても顕著な価値を提供します：
便利なデータアクセス：ユーザーは一つのプラットフォーム上で多様なデータサービスに簡単にアクセスでき、異なるプラットフォーム間の切り替えの手間を減らします。
柔軟な消費方法：消費ポイントを通じて、ユーザーは自身のニーズに応じてデータを柔軟に消費でき、参加感と満足度が向上します。
市場の拡大：データ消費の普及に伴い、AI Steam Labsはより多くのユーザーとデータ提供者を引き付け、さらなる市場シェアの拡大を図ることができます。
技術の進歩と市場の需要の変化に伴い、AI Steam Labsとデータ提供者の協力モデルは進化し続けます。将来的に考えられる拡張方向は以下の通りです：
多様なデータサービス：より多くの種類のデータ提供者を導入し、プラットフォームのデータサービスの種類を豊富にし、異なるユーザーのニーズに応えます。
インテリジェントな推薦システム：AI技術を利用してユーザーの消費行動を分析し、個別化されたデータ推薦を提供することで、ユーザー体験を向上させます。
クロスプラットフォームの協力：他のプラットフォームやサービス提供者と協力し、データ消費のシナリオやアプリケーションを拡大し、より広範なエコシステムを形成します。
AI Steam Labsは、データ消費の便捷化と市場の拡大を実現する革新的なビジネスパスを構築できます。消費ポイントメカニズムと収益分配モデルは、双方に持続可能な収益機会を創出し、同時にユーザーに対してより高い価値と体験を提供します。このビジネスモデルは、現在の市場トレンドに合致しているだけでなく、将来の発展に向けて堅固な基盤を築いています。
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin.Attention is all you need.In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS’17, page 6000–6010, Red Hook, NY, USA, 2017. Curran Associates Inc.
[2] Jacob Devlin.Bert: Pre-training of deep bidirectional transformers for language understanding.arXiv preprint arXiv:1810.04805, 2018.
[3] Renrui Zhang, Ziyao Zeng, Ziyu Guo, and Yafeng Li.Can language understand depth?In Proceedings of the 30th ACM International Conference on Multimedia, pages 6868–6874, 2022.
[4] Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, and Gideon Mann.Bloomberggpt: A large language model for finance.arXiv preprint arXiv:2303.17564, 2023.
[5] Qixin Deng, Qikai Yang, Ruibin Yuan, Yipeng Huang, Yi Wang, Xubo Liu, Zeyue Tian, Jiahao Pan, Ge Zhang, Hanfeng Lin, et al.Composerx: Multi-agent symbolic music composition with llms.arXiv preprint arXiv:2404.18081, 2024.
[6] Yixiao Yuan, Yangchen Huang, Yu Ma, Xinjin Li, Zhenglin Li, Yiming Shi, and Huapeng Zhou.Rhyme-aware chinese lyric generator based on gpt.arXiv preprint arXiv:2408.10130, 2024.
[7] Yijie Weng and Jianhao Wu.Big data and machine learning in defence.International Journal of Computer Science and Information Technology, 16(2), 2024.
[8] Yiyi Tao, Yiling Jia, Nan Wang, and Hongning Wang.The fact: Taming latent factor models for explainability with factorization trees.In Proceedings of the 42nd international ACM SIGIR conference on research and development in information retrieval, pages 295–304, 2019.
[9] Yukun Song.Deep Learning Applications in the Medical Image Recognition.American Journal of Computer Science and Technology, 2(2):22–26, July 2019.
[10] Yuelyu Ji, Zhuochun Li, Rui Meng, Sonish Sivarajkumar, Yanshan Wang, Zeshui Yu, Hui Ji, Yushui Han, Hanyu Zeng, and Daqing He.Rag-rlrc-laysum at biolaysumm: Integrating retrieval-augmented generation and readability control for layman summarization of biomedical texts.arXiv preprint arXiv:2405.13179, 2024.
[11] Tommaso Calò and Luigi De Russis.Leveraging large language models for end-user website generation.In International Symposium on End User Development, pages 52–61. Springer, 2023.
[12] Roy Thomas Fielding.Architectural styles and the design of network-based software architectures.University of California, Irvine, 2000.
[13] Cesare Pautasso, Olaf Zimmermann, and Frank Leymann.Restful web services vs.” big”’web services: making the right architectural decision.In Proceedings of the 17th international conference on World Wide Web, pages 805–814, 2008.
[14] Yaobo Liang, Chenfei Wu, Ting Song, Wenshan Wu, Yan Xia, Yu Liu, Yang Ou, Shuai Lu, Lei Ji, Shaoguang Mao, et al.Taskmatrix. ai: Completing tasks by connecting foundation models with millions of apis.Intelligent Computing, 3:0063, 2024.
[15] Yifan Song, Weimin Xiong, Dawei Zhu, Wenhao Wu, Han Qian, Mingbo Song, Hailiang Huang, Cheng Li, Ke Wang, Rong Yao, et al.Restgpt: Connecting large language models with real-world restful apis.arXiv preprint arXiv:2306.06624, 2023.
[16] Yixin Jin, Wenjing Zhou, Meiqi Wang, Meng Li, Xintao Li, Tianyu Hu, and Xingyuan Bu.Online learning of multiple tasks and their relationships: Testing on spam email data and eeg signals recorded in construction fields.arXiv preprint arXiv:2406.18311, 2024.
[17] Yiyi Tao.Meta learning enabled adversarial defense.In 2023 IEEE International Conference on Sensors, Electronics and Computer Engineering (ICSECE), pages 1326–1330. IEEE, 2023.
[18] Yiru Gong, Qimin Zhang, Huili Zheng, Zheyan Liu, and Shaohan Chen.Graphical Structural Learning of rs-fMRI data in Heavy Smokers.arXiv preprint arXiv:2409.08395, 2024.
[19] Wanyu Bian, Albert Jang, Liping Zhang, Xiaonan Yang, Zachary Stewart, and Fang Liu.Diffusion modeling with domain-conditioned prior guidance for accelerated mri and qmri reconstruction.IEEE Transactions on Medical Imaging, 2024.
[20] Yumeng Yang, Ashley Gilliam, Ethan B Ludmir, and Kirk Roberts.Exploring the generalization of cancer clinical trial eligibility classifiers across diseases.arXiv preprint arXiv:2403.17135, 2024.
[21] Huili Zheng, Qimin Zhang, Yiru Gong, Zheyan Liu, and Shaohan Chen.Identification of prognostic biomarkers for stage iii non-small cell lung carcinoma in female nonsmokers using machine learning.arXiv preprint arXiv:2408.16068, 2024.
[22] Wanyu Bian, Yunmei Chen, and Xiaojing Ye.An optimal control framework for joint-channel parallel mri reconstruction without coil sensitivities.Magnetic Resonance Imaging, 89:1–11, 2022.
[23] Xintao Li and Sibei Liu.Predicting 30-day hospital readmission in medicare patients: Insights from an lstm deep learning model.medRxiv, 2024.doi:10.1101/2024.09.08.24313212.
[24] Siqiao Zhao, Zhikang Dong, Zeyu Cao, and Raphael Douady.Hedge fund portfolio construction using polymodel theory and itransformer.arXiv preprint arXiv:2408.03320, 2024.
[25] Han-Cheng Dan, Peng Yan, Jiawei Tan, Yinchao Zhou, and Bingjie Lu.Multiple distresses detection for asphalt pavement using improved you only look once algorithm based on convolutional neural network.International Journal of Pavement Engineering, 25(1):2308169, 2024.
[26] Yunyi Zhu, Cedric Honnet, Yixiao Kang, Junyi Zhu, Angelina J Zheng, Kyle Heinz, Grace Tang, Luca Musk, Michael Wessely, and Stefanie Mueller.Demonstration of chromocloth: Re-programmable multi-color textures through flexible and portable light source.In Adjunct Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, pages 1–3, 2023.
[27] Yukun Song, Parth Arora, Rajandeep Singh, Srikanth T. Varadharajan, Malcolm Haynes, and Thad Starner.Going Blank Comfortably: Positioning Monocular Head-Worn Displays When They are Inactive.In Proceedings of the 2023 International Symposium on Wearable Computers, pages 114–118, Cancun, Quintana Roo Mexico, October 2023. ACM.
[28] Yixiao Kang, Zhenglin Zhang, Meiqi Zhao, Xuanhui Yang, and Xubo Yang.Tie memories to e-souvenirs: Hybrid tangible ar souvenirs in the museum.In Adjunct Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology, pages 1–3, 2022.
[29] Xinhao Zhang, Zaitian Wang, Lu Jiang, Wanfu Gao, Pengfei Wang, and Kunpeng Liu.Tfwt: Tabular feature weighting with transformer.arXiv preprint arXiv:2405.08403, 2024.
[30] Yuelyu Ji, Yuhe Gao, Runxue Bao, Qi Li, Disheng Liu, Yiming Sun, and Ye Ye.Prediction of covid-19 patients’ emergency room revisit using multi-source transfer learning.In 2023 IEEE 11th International Conference on Healthcare Informatics (ICHI), pages 138–144. IEEE, 2023.
[31] Ziyao Zeng, Daniel Wang, Fengyu Yang, Hyoungseob Park, Stefano Soatto, Dong Lao, and Alex Wong.Wordepth: Variational language prior for monocular depth estimation.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9708–9719, 2024.
[32] Xiaojing Fan and Chunliang Tao.Towards resilient and efficient llms: A comparative study of efficiency, performance, and adversarial robustness.arXiv preprint arXiv:2408.04585, 2024.
[33] Jinghan Zhang, Xiting Wang, Yiqiao Jin, Changyu Chen, Xinhao Zhang, and Kunpeng Liu.Prototypical reward network for data-efficient rlhf.arXiv preprint arXiv:2406.06606, 2024.
[34] Muhammad Shahzaib Baig, Azhar Imran, Aman Ullah Yasin, Abdul Haleem Butt, and Muhammad Imran Khan.Natural language to sql queries: A review.International Journal of Innovations in Science Technology, 4:147–162, 2022.
[35] Deep Mehta, Kartik Rawool, Subodh Gujar, and Bowen Xu.Automated devops pipeline generation for code repositories using large language models.arXiv preprint arXiv:2312.13225, 2023.
[36] Gabriel Poesia, Oleksandr Polozov, Vu Le, Ashish Tiwari, Gustavo Soares, Christopher Meek, and Sumit Gulwani.Synchromesh: Reliable code generation from pre-trained language models.arXiv preprint arXiv:2201.11227, 2022.
