
極視角黃河:極市,一個平臺解決AI算法開發落地的全部難題
一個平臺解決AI算法開發落地的全部難題
黃河表示,在算法開發過程中,存在四個瓶頸常常導致算法“難產”:
1、缺少優質的一站式開發平臺,開發效率低;
2、算力成本高昂,算力資源的利用率低;
3、難以接觸大量真實有效的業務數據,且數據安全性和隱私性難以保障;
4、算法測試耗時繁瑣,且難以評估落地有效性。
基于此,極視角打造了極市平臺。極市平臺是面向算法開發者打造的一站式全流程AI算法開發平臺,可以覆蓋從數據生產到算法落地一站式編碼、訓練、測試、封裝、部署等全生命周期。極市平臺為算法開發者提供強大的基建設施支撐及豐富的工具引擎,將算法開發與工程化效率提升60%以上。
極市平臺打造了自動測試框架、數據安全沙箱、算力調度系統及異構硬件兼容適配等多項關鍵技術,相比傳統線下開發方式,大幅提升算法開發效率,一個平臺解決AI算法開發落地的全部難題。
開發效率躍升:一站式編碼和訓練流程
極市平臺提供開箱即用的開發環境,內置了Pytorch、TensorFlow等主流深度學習框架,開發者可以通過WEB界面直接使用流行的VSCode或Jupyter等IDE開發工具。開發環境內置GIT代碼管理工具,并擁有開發環境自動保存機制,開發者可以隨時隨地進行開發,而完全不必擔心數據或代碼丟失。極市平臺可以把AI算法開發的環境搭建過程從「天」級別縮短到「分鐘」級別,讓AI算法開發不受時間、地點的約束。
再也不用操心算力:算力調度系統保障資源合理調度
線下開發的過程中通常算力資源有限,一方面存在資源搶奪、排隊等候的情況;一方面可能存在資源空閑、資源浪費的情況。
極市平臺創立了基于積分制的算力資源管理系統,在開發者參與編碼、訓練、測試的過程中,通過其消耗的積分來作為算力使用的計量,并通過一套算力資源實時監控系統保證算力資源的合理調度。例如在本次珠港澳大賽和打榜的任務中,算力利用率高達96%。
數據安全沙箱:平衡「真實」與「安全」
為了給開發者提供高質量真實場景數據,助力開發者生產出商用級品質的算法,同時也保障數據提供者的數據隱私和合規要求,極市平臺開發了數據安全沙箱技術。其中,數據安全沙箱的網絡安全策略管理系統,能夠把訓練、測試環境完全隔離,實現了在不泄漏數據的同時又能讓算法工程師基于客戶真實數據訓練模型和評估算法質量。
為了幫助開發者實時監控訓練和測試,極市平臺的日志系統支持實時查看訓練和測試的日志;并可通過可視化工具查看模型訓練的指標,實現主動監控訓練狀態;同時也支持無人值守訓練,錯誤消息通知、訓練進展定制化提醒、訓練結束通知等。讓開發者無時無刻對自己的開發訓練工作狀態了如指掌。
自動測試助力快速評測:EV_SDK 保障快速自動測試
完成算法的自動測試需要解決3個難題:
1、如何兼容不同算法框架;
2、如何讓算法輸入輸出標準化;
3、如何正確評估算法性能及精度。
極市平臺提供標準化封裝框架EV_SDK,通過抽象出AI算法分析過程中涉及的初始化、輸入、推理、輸出等核心接口,形成一套兼容不同算法框架和算法任務的標準化工具。有了統一的封裝框架后,一方面,可以解決自動測試及評估的難題;另一方面,算法工程化也可以實現標準化,由極市平臺以安裝包的形式進行標準化的部署落地。開發者只需要專注于模型的開發及核心算法邏輯的實現,不必關注繁瑣的算法測試環節。
極市平臺作為面向算法開發者的高度集成開發訓練平臺,助力開發者提高算法開發效率,增強算法模型的實用性和范化性,幫助算法快速工程落地。
過去5年,以極市平臺為核心所建立起來的極市開發者生態,已經匯聚超20萬海內外專業算法開發者。極市開發者生態幫助開發者豐富前沿算法知識、提升算法工程化能力、實現算法產品化和技術變現。極市希望與開發者們共同打造計算機視覺行業的生態圈,攜手用算法改變世界。