DeepSeek-R 1 - 0 5 2 8超オープンソース!ローカルサーバゼロコードデプロイメントアーティファクト:Open Station
DeepSeek-R 1 - 0 5 2 8モデルの新しいバージョンは、最新のオープンソースであり、数学的推論、コード生成などの分野で画期的なパフォーマンス向上を達成し、錯覚を大幅に低減し、コアパフォーマンス指標は主要なクローズドソースモデルレベルに達しています。DeepSeekモデルをローカライズする必要があるユーザーにとって、オリジナルのR 1モデルをバージョン0 5 2 8に置き換えることで、ビジネス能力がさらに向上します。
本日は、Deepseek-R 1 - 0 5 2 8新バージョンモデルに適応したオープンソースツールOpen Stationをご紹介します。このツールは、コードなしでクラスタ内で新しいモデルのサービス展開と配布を迅速に完了できます。また、シンプルで効率的なサービス管理とリソース管理機能を提供し、エンタープライズレベルのユーザーがDeepSeek-R 1 - 0 5 2 8バージョンモデルをローカルサーバーに安全かつ便利に展開して使用できるようにします。
ツールのオープンソースのホームページはこちらです。ダウンロードして詳細を確認することができます。質問があれば、プロジェクトホームページの“ユーザーコミュニケーション”モジュールからグループチャットや技術専門家のコミュニケーション相談に参加することができます。
Open Stationオープンソースホームページ:アクセス
ソフトウェアの紹介
Open Stationは、エンタープライズや開発者向けに設計されたワンストップのビッグモデル展開管理プラットフォームで、ビッグモデルサービス機能を迅速かつ簡単に展開して体験することができます。このプラットフォームは、完全なモデル管理、サービス展開、ユーザーコラボレーション機能、標準Open AI APIインターフェイスとの互換性、効率的な推論エンジン、柔軟なリソーススケーリングと詳細な権限管理メカニズムを提供します。
OpenStationの主な機能は:
使いやすさ:ページベースの操作により、DeepSeekのような大規模なモデルをわずか数クリックで迅速に展開できます。
標準インターフェイス:展開されたサービスは、標準的なOpen AI API互換インターフェイスを提供し、さまざまなクライアントツールへの迅速なアクセスを容易にする。
高性能:Lang、vLLM及びCPU配置方式をサポートし、単机及び分散配置をサポートし、高効率で性のあるエンジン能力を提供する
便利な資源管理:ページ化の操作を通して、プラットフォームノード資源の迅速な追加と削除を実現する
ロードバランシング:統一推論サービス入口を提供し、サービスの迅速な拡張とスケーリングをサポートします。
ユーザー管理:ユーザー次元のAPI-key管理をサポートし、サービスのアクセス権限制御を実现する
使用方法の使用
1.デプロイメントモデル
DeepseekとQwenの3つの主要モデルはOpen Stationに簡単にデプロイでき、対応するバージョン名をクリックすると自動的にモデルをダウンロードでき、DeepSeek-R 1 - 0 5 2 8テンプレートの最新バージョンが適合しています。
OpenStationは、受信ユーザが指定した追加のローカルモデルのデプロイもサポートしている。デプロイメント中に選択されたコンピューティングリソースに応じて、Open StationはvLLM、SGLangなどの異なるフレームワークを使用して推論サービスにCPUとGPUのアクセラレーションを提供します。
サービスがデプロイされると、大きなモデルの推論サービスAPIが利用できます。インターフェイス内では、推論サービスのリソース使用量と健全性、サービスログ情報を表示できます。
2.サービスの配布
OpenStationはメールボックスサーバを構成し、投機的なサービスアクセス情報を指定ユーザに配布できるため、大規模なモデルサービスの一括管理が簡素化されます。
OpenStationのユーザには、設定情報に応じて、サービスのオンライン化後に新しいサービスの利用方法がメールで通知されます。
3.資源管理は
OpenStationは複数のサーバー上のコンピューティングリソースとサービススケジュールを統一的に管理でき、インターフェース内でリソース占有情報とメンテナンス情報を視覚的に見ることができ、サービス配置状況を総覧することができる。
Open Stationは便利なクラスタノードの拡張とスケーリング機能を提供し、インターフェイスに指定されたサーバーの基本情報を入力した後、Open Stationは対応するサーバーをサービス展開管理の範囲に含めることができます。
Open Stationのダウンロードパッケージやスクリプトを入手して、オープンソースコミュニティで詳細な使い方を確認することができます。同時に、“ユーザーコミュニケーション”モジュールでは、専門家のコミュニケーショングループチャットに参加し、リアルタイムで質問を相談し、製品提案を行うこともできます。
プロジェクトのアドレスhttps//gitee.com/fastaistack/OpenStation
延伸阅读:
暂无内容!