Splashtop で゚ンタヌプラむズゞェネレヌティブ AI ぞの安党なアクセスを実珟

Prev Next

Splashtop で゚ンタヌプラむズゞェネレヌティブ AI ぞの安党なアクセスを実珟

ChatGPTをはじめずするゞェネレヌティブAIの人気の高たりは、䌁業や瀟䌚の倉革期の始たりを瀺しおいたす。AIず機械孊習(ML)は、以前からビゞネス䟡倀を高めおきたしたが、倧芏暡蚀語モデル(LLM)を含む生成AIの突然の出珟により、すべおの業界に倉化の波が抌し寄せおいたす。

Open AIのChatGPTからAnthropicのClaude、GoogleのBard、Microsoft Bing AIたで、ゞェネレヌティブAI分野でのSaaSサヌビスの急増に䌎い、あらゆる芏暡の䌁業がこれらの新興サヌビスの利甚を管理するガむドラむンずポリシヌの確立を急いでいたす。同時に、この匷力でありながら新生のテクノロゞヌの圱響、぀たり、個人情報の挏掩リスクを軜枛し、知的財産を保護し、朜圚的な誀情報や有害なコンテンツに察凊し、意図しない著䜜暩䟵害を回避する方法にも取り組んでいたす。

この急速に進化する状況においお、組織にずっお特に差し迫った問題ずしお浮䞊しおいるのは、ゞェネレヌティブAIでプラむベヌトデヌタを安党、確実、効果的に䜿甚する方法です。たさにこの領域で、最近導入された Splashtop Secure Workspace プラットフォヌムがお手䌝いしたす。

䌁業向けのプラむベヌトAIモデル

確かに、商甚のゞェネレヌティブAI SaaSサヌビスの䞭には、公開モデルの改善に提出されたデヌタを䜿甚しないこずを誓玄しおいるものがありたす。しかし、すべおの䌁業が、自分たちがほずんど制埡できないクラりドサヌビスに個人デヌタを送信するこずに抵抗がないわけではありたせん。䞀郚の組織は、他の地域たたは囜でホストされおいるサヌビスの䜿甚を劚げる䞻暩ず芏制コンプラむアンスの察象ずなる堎合がありたす。

プラむベヌトAIモデルの恩恵を受ける他の䌁業は、独自のLLMモデルをれロからトレヌニングするビゞネスニヌズがある䌁業、たたはカスタマヌサポヌト、財務アドバむザリヌなどの特定のタスク甚に事前にトレヌニングされたデヌタ拡匵ず最適化されたLLMモデルを保護する必芁がある䌁業です。

独自のプラむベヌト生成AIおよびMLOpsむンフラストラクチャを構築する䌁業は、オンプレミスであろうずプラむベヌトクラりドであろうず、これらのツヌルのパワヌを独自のIT制埡䞋に眮くこずができ、ビゞネスニヌズ、コンプラむアンス、および䞻暩の芁件に合わせるこずができたす。この蚭定により、LLM ぞのク゚リのトレヌニング、埮調敎、たたは拡匵に䜿甚される機密デヌタが倖郚に公開されるのを防ぐこずができたす。

倧芏暡な蚀語モデルを含むプラむベヌトアプリケヌションぞのアクセスの保護

プラむベヌトなセットアップにも保護が必芁です。蚀語モデルからサポヌトするデヌタベヌス、プラむベヌトデヌタリポゞトリたで、機械孊習の運甚パむプラむンのすべおに、安党なプロビゞョニング、アクセス、管理が必芁です。

そこで、Splashtop Secure Workspace の出番です。私たちは、プラむベヌトLLMを含むあらゆるプラむベヌト゚ンタヌプラむズアプリケヌションぞのアクセスを制埡するためのシンプルでありながら安党な方法を提䟛したす。゚ンタヌプラむズアプリケヌションがWebベヌスのむンタヌフェヌスを提䟛する堎合でも、カスタムのデスクトップたたはモバむルアプリケヌションが必芁な堎合でも、圓瀟のプラットフォヌムは、ネットワヌクサヌビスポヌトを倖郚に公開したり、ファむアりォヌル、芁塞ホスト、VPNなどの耇雑なネットワヌク蚭定を必芁ずせずに、任意のクラむアントデバむスから、どこでも、すべおから安党なアクセスを可胜にしたす。

すべおのレベルでアクセスを保護

Splashtop Secure Workspace は、LLM を含むあらゆるプラむベヌト゚ンタヌプラむズアプリケヌションぞのアクセスを制埡するための豊富なオプションセットをサポヌトしおいたす。䞻な機胜は次のずおりです。

  • シングルサむンオン(SSO)統合 â€“ 䞀般的なIDプロバむダヌ(Google、Microsoft、Oktaなど)ず同期したす
  • 倚芁玠認蚌(MFA) â€” プラむベヌト゚ンタヌプラむズLLMのチャットむンタヌフェむスを含む、SSO察応のすべおの゚ンタヌプラむズアプリケヌションで、フロント゚ンドナヌザヌずバック゚ンドナヌザヌの䞡方に察しお匷力な認蚌制埡を可胜にしたす。
  • 条件付きアクセス制埡 â€” ゞオロケヌションや䌁業支絊のラップトップの䜿甚など、䞻芁なコンプラむアンスずセキュリティ基準を確認するこずで、アプリケヌションぞのアクセスを制限したす。たずえば、デヌタ䞻暩ルヌルを順守しおいる組織は、埓業員が海倖に旅行しおいるずきにプラむベヌトLLMぞのアクセスをブロックしたい堎合がありたす。
  • 委任された制埡 ã«ã‚ˆã‚‹ç‰¹æš©ã‚¢ã‚¯ã‚»ã‚¹ — Splashtop は、゚ンタヌプラむズアプリケヌションの重芁なサブシステムずデヌタを管理するために指定された特暩アカりントたたはサヌビスアカりントを安党に委任するこずで、アクセスを制埡できたす。LLM の堎合、これにより、機密性の高い認蚌情報に䞍必芁にさらされるこずなく、モデル自䜓、ベクトル デヌタベヌスたたはグラフ デヌタベヌス、非構造化デヌタ リポゞトリ、たたは ML パむプラむンぞのアクセスを制埡および远跡できたす。
  • 安党なサヌドパヌティアクセス â€” 圓瀟のプラットフォヌムは、゚ンタヌプラむズアプリケヌションぞの䞀時的なアクセスを必芁ずする可胜性のあるサヌドパヌティずの安党なアクセス共有を提䟛したす。これには、オンサむトのトラブルシュヌティングのために安党なアクセスを必芁ずするプラむベヌトLLM゜リュヌションプロバむダヌが含たれる可胜性がありたす。Secure Workspaceは、監査ずコンプラむアンスの目的でセッションを完党に蚘録しながら、䟿利なアクセスを可胜にしたす。
  • れロトラストネットワヌクアクセス(ZTNA) â€”ネットワヌクサブネット党䜓ぞの完党なアクセスを蚱可する埓来のVPNずは察照的に、Splashtop Secure WorkspaceのZTNAアプロヌチは、承認されたリ゜ヌスぞのピンポむントアクセスを蚱可し、攻撃察象領域を最小限に抑えたす。「default-deny」アプロヌチは、゚ンタヌプラむズLLMが機密性の高いデヌタを凊理する堎合に安心感を提䟛したす。
  • API䞻導の自動化 â€” 自動化ずDevOpsワヌクフロヌに取り組む䌁業は、Secure Workspaceプラットフォヌムを緊密に統合および自動化する胜力を高く評䟡するでしょう。ゞェネレヌティブ AI のコンテキスト内では、Splashtop Secure Workspace はあらゆる MLOps パむプラむンにシヌムレスに適合し、䞻芁なリ゜ヌスぞのアクセスの自動プロビゞョニングず Secure Workspace プラットフォヌム自䜓の自動蚭定を促進し、生産性を最倧化し、人為的゚ラヌを枛らしたす。

次に、Secure Workspaceを䜿甚しお゚ンタヌプラむズゞェネレヌティブAIぞの安党なアクセスを実珟する方法を瀺したす。そしお、それを進めるために、あなただけのプラむベヌトなLLMベヌスのチャットボット、぀たり自分だけのChatGPTを手に入れるこずになりたす。

プラむベヌトLLMチャットボットを䜜成するための実践ガむド

LLMチャットボットを構築するずいう抂念は、耇雑な䜜業のように聞こえるかもしれたせん。しかし、珟実には、それはあなたが思っおいるよりも簡単です。dstack ずいう ã‚ªãƒŒãƒ—ン゜ヌスの MLOps ツヌルを䜿甚しお、詳しく芋おいきたしょう。

この䟋では、1 ぀の dstack run コマンドで、クラりド環境で LLM-As-Chatbot をプロビゞョニングしお起動できたす。

この䟋では、Splashtop Secure Workspace コネクタを同時にプロビゞョニングしお、プラむベヌト LLM チャットボットを Secure Workspace に接続したす。その埌、他のアプリケヌションず同様に、匷力な認蚌、SSO、MFA、および豊富な条件付きアクセス ポリシヌのセットを利甚しお、安党なワヌクスペヌス内でアクセス制埡を蚭定できたす。

ここでは、プラむベヌト LLM ぞの安党なアクセスを蚭定するためのステップ バむ ステップ ガむドを瀺したす。

1. リポゞトリをクロヌンする


git clone https://github.com/yanlinw/LLM-As-Chatbot.git
cd LLM-As-Chatbot

2. dstack のむンストヌルずセットアップ


pip install "dstack[aws,gcp,azure,lambda]" -U
dstack start

dstackサヌバヌが起動したら、ログむンし、クラりドの資栌情報(AWS、GCP、たたはAzure)を䜿甚しおプロゞェクトを䜜成したす。

3. dstack プロファむルを䜜成する

 LLM-As-Chatbot フォルダのルヌトの䞋に .dstack/profiles.yml ãƒ•ァむルを䜜成したす。このファむルは、䜜成されたプロゞェクトを指し、リ゜ヌスを蚘述する必芁がありたす。

䟋


profiles:
  - name: aws-llm
    project: aws-llm
    resources:
      memory: 16GB
      gpu:
        count: 1
    spot_policy: auto
    default: True

4. 初期化

dstackサヌバヌに切り替え、dstack configコマンドをコピヌしおタヌミナルに貌り付けたす。これにより、dstack サヌバヌは AWS リ゜ヌスをリモヌトでプロビゞョニングできたす。これに続いお、dstack init コマンドを実行したす。


dstack config --url http://127.0.0.1:3000 --project ssw-llm --token $MY_TOKEN

dstack init

5. プラむベヌト LLM の Secure Workspace を蚭定する

Splashtop Secure Workspace Connectors は、プラむベヌトアプリケヌションずリ゜ヌスを Splashtop Secure Workspace に接続するための安党な゜リュヌションを提䟛したす。これにより、これらのプラむベヌトアプリケヌションを䞀元的に制埡できたす。次に、䜜業䞭のプラむベヌト LLM を Secure Workspace に接続しおみたしょう。

5.1 コネクタを䜜成し、コネクタ トヌクンをコピヌする

Splashtop Secure Workspace 管理者アカりントにログむンしたす。[Deployment ] ãƒ¡ãƒ‹ãƒ¥ãƒŒã«ç§»å‹•し、[Connector] を遞択しお ã€[Add Connector ] ãƒœã‚¿ãƒ³ã‚’クリックしたす。[ヘッドレス/CLI] を遞択し ã€ã‚³ãƒã‚¯ã‚¿åã‚’入力しお [次ぞ] をクリックしたす ã€‚「Linux ã€ã‚’遞択し ã€ã€Œå®Œäº†ã€ã‚’クリックしたす ã€‚

コネクタを䜜成したら、コネクタリストからコネクタ名をクリックしお詳现を衚瀺したす。 æ‰‹é † 6 で䜿甚するトヌクン ã‚’コピヌしたす。

5.2 LLMアプリケヌションの䜜成

プラむベヌト LLM チャットボット サヌビスをプラむベヌト アプリケヌションずしお Secure Workspace に远加しお、このサヌビスを埓業員にプロビゞョニングしたす。

「 ã‚¢ãƒ—リケヌション」/「アプリケヌション ã€ã‚»ã‚¯ã‚·ãƒ§ãƒ³ã«ç§»å‹•し、「 ã‚¢ãƒ—リケヌションの远加」/「プラむベヌトアプリケヌション ã®è¿œåŠ ã€ãƒœã‚¿ãƒ³ã‚’ã‚¯ãƒªãƒƒã‚¯ã—ãŸã™ã€‚ã‚¢ãƒ—ãƒªã‚±ãƒŒã‚·ãƒ§ãƒ³ãƒ•ã‚©ãƒŒãƒ ã«ã‚¢ãƒ—ãƒªã‚±ãƒŒã‚·ãƒ§ãƒ³åã‚’å…¥åŠ›ã—ã€ãƒ›ã‚¹ãƒˆãšã—ãŠ ã€Œlocalhost」、ポヌトずしお「6006」 ã‚’入力し、プロトコルずしお HTTP ã‚’遞択し ã€ä»¥å‰ã«äœœæˆã—たコネクタ名を遞択し、このアプリケヌションに適切なグルヌプを割り圓おお、[保存]をクリックしたす ã€‚

Secure Workspace は、プラむベヌト LLM アプリケヌションの完党修食ドメむン名を生成したす。

6.クラりドでアプリを実行したす

LLM-As-Chatbot フォルダで、 dstack run ã‚³ãƒžãƒ³ãƒ‰ã‚’䜿甚しお、クラりド内のプラむベヌト LLM ずセキュア ワヌクスペヌスをプロビゞョニングしたす ($token ã‚’ステップ 5.1 のコネクタ トヌクンに眮き換えたす )。


dstack run . -f ssw-private-llm.yml $token

このコマンドは、クラりドでLLM-As-Chatbotをプロビゞョニングしお実行したす。たた、Secure Workspace コネクタ むンスタンスずプラむベヌト LLM も開始されたす。

プラむベヌト LLM サヌビスが完党に開始されるず、䜜成したプラむベヌト LLM アプリケヌションの完党修食ドメむン名を䜿甚しお、プラむベヌト LLM にアクセスできたす。その間、このアプリケヌションの゚ンタむトルメント ポリシヌず条件付きアクセス ポリシヌを蚭定できたす。

結論

䌁業が民間のゞェネレヌティブAIやLLMを採甚するに぀れ、これらの革新的なシステムぞのアクセスを保護するこずが最重芁課題ずなっおいたす。

Splashtop Secure Workspace は、既存のむンフラストラクチャずシヌムレスに統合しながら、ビゞネスクリティカルなシステムぞのリモヌトアクセスを保護したす。

この蚘事で抂説した手順に埓うこずで、プラむベヌト LLM の安党なワヌクスペヌスを蚭定および管理し、運甚効率を維持しながら䌚瀟独自のデヌタを保護できたす。

ゞェネレヌティブAIずセキュアアクセスシステムの組み合わせは、ビゞネスオペレヌションの未来を圢䜜り続け、これらのシステムの採甚ず安党な管理に積極的に取り組むこずで、䌁業はこの倉革の最前線に立぀こずができたす。