近日，Arm 宣布推出針對視覺應(yīng)用設(shè)備的 Arm? 智能視覺參考設(shè)計，首次將 Arm 現(xiàn)有子系統(tǒng) IP 與第三方 IP整合，其硬件參考設(shè)計包括 CPU、ISP、NPU、VPU 處理器選項，以及將這些元件粘合在一起的子系統(tǒng) IP。值得一提的是，其中的VPU、NPU由安謀科技提供。據(jù)安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超介紹：“Arm 智能視覺參考設(shè)計通過集成安謀科技‘玲瓏’VPU 和‘周易’ NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進(jìn)行集成和驗證，可進(jìn)一步滿足國內(nèi)客戶在不同場景下的差異化視頻處理需求，提高機(jī)器學(xué)習(xí)與視頻處理工作時的負(fù)載表現(xiàn)，從而加速視覺應(yīng)用產(chǎn)品的創(chuàng)新落地。”

【資料圖】

此外，Arm 還宣布了“Arm 智能視覺合作伙伴計劃”，聯(lián)合軟件、硬件、系統(tǒng)集成商伙伴，加速視覺應(yīng)用設(shè)備的開發(fā)。目前已有十余家來自智能物聯(lián)網(wǎng)的芯片設(shè)計、系統(tǒng)集成、AI 算法、開發(fā)平臺等國內(nèi)領(lǐng)先企業(yè)加入該項計劃。

智能未來“視”不可擋

人類的智慧體現(xiàn)在可以通過感知、思考和行動來改變世界。首先，人類通過感官接收外界的信息和刺激，識別模型并建立對世界的認(rèn)知，進(jìn)而形成信息系統(tǒng)。隨后，人類通過思考加工和處理感知到的信息，從而形成理解和見解，幫助人們解決問并做出決策，這就是模型系統(tǒng)。最終，行動使人類能夠?qū)⒏兄退伎嫁D(zhuǎn)化為實際的動作，逐步改變自然和社會環(huán)境，推動科學(xué)技術(shù)的進(jìn)步、文明的發(fā)展和社會的演變。

長久以來，隨著算力的飛速提升，加之模型的不斷演進(jìn)，使得原本專屬于人類的感知、思考和行動能力實現(xiàn)了向機(jī)器的轉(zhuǎn)移，而每一個能力轉(zhuǎn)移的拐點都將產(chǎn)生新范式。例如，在20 世紀(jì)末期，谷歌、百度等公司使信息的生產(chǎn)和獲取成本從邊際成本轉(zhuǎn)向固定成本，開啟了互聯(lián)網(wǎng)時代的新范式。如今，站在思考和模型構(gòu)建從人類轉(zhuǎn)向機(jī)器的拐點，以O(shè)penAI為代表的企業(yè)正在推動模型產(chǎn)生的成本從邊際成本轉(zhuǎn)化為固定成本，而這一拐點也勢必助推模型的極大豐富，并加速下一個拐點的到來，人機(jī)交互的模式將被重新定義。

而在模型和行動無處不在的新時代，智能視覺將變得必不可少。因為機(jī)器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動，例如，視覺信息為自動駕駛和機(jī)器人提供了關(guān)鍵的安全和避障能力，機(jī)器視覺可以通過捕捉人類的表情、手勢和動作，從中理解人類的意圖和情感，改善 AI 與人類的溝通和合作。

可以說，智能視覺技術(shù)對智慧家居、智慧城市、智慧零售和智能制造等領(lǐng)域的重塑與升級將日益加深——

在智能家居領(lǐng)域，除了安全監(jiān)控、智能門禁和個性化的家庭環(huán)境體驗外，在國內(nèi)人口老齡化的趨勢下，老人看護(hù)需求不斷提升，而智能視覺技術(shù)作為如今智能攝像頭的基礎(chǔ)功能支撐，可以幫助用戶實現(xiàn)老人室內(nèi)活動監(jiān)測、睡眠質(zhì)量監(jiān)測、異常情況報警等功能。

在智慧城市領(lǐng)域，我國已經(jīng)率先將視覺技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理方面，同時，智能視覺技術(shù)還可以應(yīng)用于智能化的垃圾處理和回收，達(dá)到綠色環(huán)保的目的。

在智慧零售領(lǐng)域，通過智能攝像頭和視覺分析技術(shù)，可以實現(xiàn)人流統(tǒng)計和行為分析，有助于優(yōu)化商店布局，推廣策略和服務(wù)響應(yīng)，提升顧客體驗和銷售效益。

在智能制造領(lǐng)域，智能視覺技術(shù)在監(jiān)測和質(zhì)量控制、自動化導(dǎo)航和定位、工藝控制和輔助操作等方面都具有廣泛的應(yīng)用，可以提高生產(chǎn)線的效率、質(zhì)量和安全性。

面向智能視覺技術(shù)的快速發(fā)展，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健分享了其觀察到的重要趨勢。

首先是云-邊-端的協(xié)同，由于視頻數(shù)據(jù)的規(guī)模龐大，再加上自動駕駛等應(yīng)用對實時性提出更高要求，因此智能視覺系統(tǒng)需要將計算和決策任務(wù)分布在云、邊和終端設(shè)備上，實現(xiàn)協(xié)同工作。

其次是 AI 加持，未來智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像和視頻數(shù)據(jù)的分析和識別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場景和任務(wù)。

第三是智能視覺系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理，以支持更高效的特征提取、目標(biāo)跟蹤和檢測、圖像分析和理解以及圖像的生成和合成。

第四是算力支持，復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理對實時性、高精度、高并發(fā)的要求，使得智能視覺系統(tǒng)需要越來越強(qiáng)大的計算資源和算力支持。

此外，智能視覺系統(tǒng)廣泛應(yīng)用引發(fā)了對隱私和安全的關(guān)注，馬健認(rèn)為，未來的趨勢是采用加密匿名化等技術(shù)手段保護(hù)用戶的隱私，同時加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。

與安謀科技強(qiáng)強(qiáng)聯(lián)合

在技術(shù)快速發(fā)展、應(yīng)用規(guī)模化落地的過程中，智能視覺芯片架構(gòu)經(jīng)歷了一系列的演進(jìn)，從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的CPU架構(gòu)，再到如今最先進(jìn)的綜合CPU、ISP圖像處理器、NPU AI加速器、VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實現(xiàn)了低功耗、高性能和高度集成，適用于資源受限的邊緣設(shè)備，例如智能手機(jī)、攝像頭、機(jī)器人和物聯(lián)網(wǎng)設(shè)備等。

而作為全球領(lǐng)先的半導(dǎo)體IP供應(yīng)商，Arm已經(jīng)在智能攝像頭市場以九成以上的市占率獨(dú)占鰲頭，如今又面向中國市場發(fā)布 Arm 智能視覺參考設(shè)計，選用 Arm 廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng) IP，構(gòu)建出了相對標(biāo)準(zhǔn)化的IP組合，并經(jīng)過預(yù)先驗證，輔以該子系統(tǒng)的 Arm虛擬硬件、參考軟件棧，形成了設(shè)計智能視覺系統(tǒng)的堅實的系統(tǒng)技術(shù)平臺，使創(chuàng)新者們不需要從零開始，可以專注于產(chǎn)品的差異化性能開發(fā)，并快速將自己的想法轉(zhuǎn)化為產(chǎn)品并推向市場，顯著降低芯片開發(fā)的成本和風(fēng)險，并大幅度縮短研發(fā)周期。同時，由于這種參考設(shè)計是半成品，Arm也可以根據(jù)應(yīng)用的需求集成第三方 IP，給予客戶足夠的靈活性和選擇，以支持差異化創(chuàng)新。

具體來看，Arm 智能視覺參考設(shè)計包括：

Arm Corstone?-1000：整合 Cortex-A、Cortex-M 處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。

Arm Corstone-300：為機(jī)器學(xué)習(xí)工作負(fù)載提供“永遠(yuǎn)在線”的低功耗子系統(tǒng)。

Arm Mali?-C55 圖像信號處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。

來自安謀科技的第三方 IP 在視頻和機(jī)器學(xué)習(xí)能力方面提供更多選項，其中，“玲瓏”V5 視頻處理器支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理;“周易” NPU為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá) 4TOPS 的性能表現(xiàn)，并且支持業(yè)界主流的 AI 規(guī)模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。

此外，生態(tài)伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺參考設(shè)計的虛擬模型，助力軟件開發(fā)者在芯片完備前先著手開發(fā)并優(yōu)化代碼。該參考設(shè)計具備可信任的底層 IP 技術(shù)，在增強(qiáng)安全、可移植性與兼容性方面，已取得 Arm SystemReady? IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。

如今，生成式AI、大語言模型的熱度高燒不退，拉動相關(guān)的技術(shù)與應(yīng)用快速發(fā)展。正如Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健所言，隨著 AI 和大模型一日千里的發(fā)展，智能視覺技術(shù)將繼續(xù)在所有垂直行業(yè)得到更廣泛的應(yīng)用，視覺將無處不在。在視覺成為一種普世能力的趨勢下，預(yù)先集成、預(yù)先驗證的標(biāo)準(zhǔn)化子系統(tǒng)會為加速視覺產(chǎn)品設(shè)計和創(chuàng)新提供堅實的基礎(chǔ)，這也是 Arm 和安謀科技攜手為中國市場打造智能視覺參考設(shè)計的初衷。

標(biāo)簽：