派歐算力云推理加速引擎通過一系列自研推理加速算法，使大語言模型（LLM）推理性能提升10倍。同時(shí)，PPIO還積極在硬件層構(gòu)建分布式算力基礎(chǔ)設(shè)施，將綜合推理成本降低90%以上，不僅推理性能超越眾多硅谷AI Infra頭部企業(yè)，還具備顯著的成本優(yōu)勢(shì)，助力更多開發(fā)者使用大模型技術(shù)進(jìn)行應(yīng)用創(chuàng)新。

圖片來源：PPIO微信公眾號(hào)

為突破顯存、算力和帶寬對(duì)大模型推理性能的限制，PPIO通過算法、系統(tǒng)和硬件的協(xié)同創(chuàng)新實(shí)踐，推出三大核心技術(shù)，通過Pyramid Cache稀疏化壓縮算法、Hydra Sampling投機(jī)采樣技術(shù)以及端到端FP8推理，打造全球領(lǐng)先的下一代高性價(jià)比算力云推理加速引擎。這些技術(shù)顯著提升推理加速優(yōu)化的潛能，實(shí)現(xiàn)成本與性能之間的最佳平衡，為開發(fā)者提供卓越性價(jià)比的大模型推理服務(wù)。

在三項(xiàng)創(chuàng)新技術(shù)支持下，派歐算力云產(chǎn)品基于自研的推理加速引擎能夠迅速適配和優(yōu)化開源大模型，第一時(shí)間上架Llama3.1-405B、Mixtral 8x22B等20余個(gè)開源高性能大模型，API正常運(yùn)行時(shí)間達(dá)99.99% 。與GPT-4o相比，通過派歐算力云產(chǎn)品微調(diào)和優(yōu)化的Llama3.1-70b模型，其Input token價(jià)格降低90%，Output token價(jià)格降低95%。派歐算力云產(chǎn)品還通過第三方大模型API平臺(tái)為全球開發(fā)者提供高性能推理服務(wù)，相比于OctoAI、Lepton、Together、Fireworks等硅谷企業(yè)，派歐算力云產(chǎn)品在綜合性價(jià)比上具有顯著優(yōu)勢(shì)，確保開發(fā)者在享受高性能、穩(wěn)定的推理服務(wù)的同時(shí)，獲得前所未有的成本效益。

派歐算力云推理加速引擎可廣泛應(yīng)用于多個(gè)場(chǎng)景，提供靈活且高效的解決方案。在大模型服務(wù)方面，用戶只需幾行代碼即可享受高性價(jià)比的推理服務(wù)，并且只需為實(shí)際消耗的token數(shù)量付費(fèi)。這種方式極大地降低用戶使用門檻和成本，幫助企業(yè)專注于自身業(yè)務(wù)的增長(zhǎng)和發(fā)展。

不僅如此，派歐算力云產(chǎn)品還提供容器化的推理基礎(chǔ)設(shè)施，滿足模型定制和私有部署的需求。用戶無需擔(dān)心底層計(jì)算資源管理，只需專注于模型和上層業(yè)務(wù)，即可自動(dòng)獲得強(qiáng)大的推理性能輸出，并按使用時(shí)長(zhǎng)付費(fèi)。這種靈活的服務(wù)模式使得企業(yè)能夠快速部署和擴(kuò)展推理服務(wù)，適應(yīng)不斷變化的業(yè)務(wù)需求。

圖片來源：PPIO微信公眾號(hào)

此外，依托此次CCF分布式計(jì)算大會(huì)，PPIO聯(lián)合中國計(jì)算機(jī)學(xué)會(huì)分布式計(jì)算與系統(tǒng)專業(yè)委員會(huì)、中國科學(xué)院計(jì)算技術(shù)研究所分布式系統(tǒng)研究中心、鵬城實(shí)驗(yàn)室網(wǎng)絡(luò)智能研究部，舉辦第一屆CCF算力網(wǎng)系統(tǒng)與應(yīng)用大賽。

PPIO派歐云聯(lián)合創(chuàng)始人、董事長(zhǎng)兼CEO姚欣強(qiáng)調(diào)，隨著推理需求的不斷增長(zhǎng)，降低成本是大勢(shì)所趨。PPIO將繼續(xù)深耕分布式計(jì)算及推理加速技術(shù)的研究與應(yīng)用，不斷更新迭代推理加速引擎，力求在性能和成本上實(shí)現(xiàn)新的飛躍。PPIO的目標(biāo)是讓推理成本降低90%、99%、甚至99.9%，使更多AI創(chuàng)業(yè)企業(yè)和開發(fā)者能夠輕松承擔(dān)大模型推理的費(fèi)用，從而真正構(gòu)建出賦能AIGC應(yīng)用爆發(fā)的基礎(chǔ)設(shè)施。

云計(jì)算作為數(shù)字時(shí)代的新型基礎(chǔ)設(shè)施，是整合科技創(chuàng)新資源，加快形成新質(zhì)生產(chǎn)力的關(guān)鍵要素和構(gòu)建現(xiàn)代化產(chǎn)業(yè)體系的底座支撐。如今，PPIO在全國30余個(gè)省，超1000個(gè)縣市及區(qū)域，為客戶提供符合低時(shí)延、高帶寬、海量數(shù)據(jù)分布處理需求的邊緣云計(jì)算服務(wù)和解決方案。PPIO是云計(jì)算能力由中心云向邊緣側(cè)的下沉，同時(shí)架構(gòu)上基于邊緣云原生技術(shù)，可實(shí)現(xiàn)與傳統(tǒng)中心云的兼容協(xié)同，已成為多家互聯(lián)網(wǎng)巨頭、一線云計(jì)算服務(wù)商、獨(dú)角獸級(jí)創(chuàng)業(yè)企業(yè)，在邊緣云服務(wù)領(lǐng)域的主要合作伙伴。

自成立以來，PPIO始終致力于構(gòu)建高性價(jià)比、高效、穩(wěn)定、安全的分布式云算力網(wǎng)絡(luò)。近期，憑借卓越的分布式計(jì)算技術(shù)，PPIO接連獲得中國信通院（CAICT）、中國通信標(biāo)準(zhǔn)化協(xié)會(huì)（CCSA）五項(xiàng)重要殊榮，彰顯其在技術(shù)創(chuàng)新和行業(yè)引領(lǐng)方面的實(shí)力。未來，PPIO將繼續(xù)秉承技術(shù)創(chuàng)新與應(yīng)用實(shí)踐的理念，為用戶提供更加優(yōu)質(zhì)、便捷的服務(wù)，并推動(dòng)行業(yè)創(chuàng)新發(fā)展。

來源｜PPIO官網(wǎng)及微信公眾號(hào)、中國信通院微信公眾號(hào)

編輯｜鄒楊

審核｜姚遠(yuǎn)

校對(duì)｜辦公室