近日，Arm 宣布推出針對(duì)視覺(jué)應(yīng)用設(shè)備的 Arm? 智能視覺(jué)參考設(shè)計(jì)，首次將 Arm 現(xiàn)有子系統(tǒng) IP 與第三方 IP整合，其硬件參考設(shè)計(jì)包括 CPU、ISP、NPU、VPU 處理器選項(xiàng)，以及將這些元件粘合在一起的子系統(tǒng) IP。值得一提的是，其中的VPU、NPU由安謀科技提供。據(jù)安謀科技智能物聯(lián)及汽車(chē)業(yè)務(wù)線負(fù)責(zé)人趙永超介紹：“Arm 智能視覺(jué)參考設(shè)計(jì)通過(guò)集成安謀科技‘玲瓏’VPU 和‘周易’ NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進(jìn)行集成和驗(yàn)證，可進(jìn)一步滿足國(guó)內(nèi)客戶在不同場(chǎng)景下的差異化視頻處理需求，提高機(jī)器學(xué)習(xí)與視頻處理工作時(shí)的負(fù)載表現(xiàn)，從而加速視覺(jué)應(yīng)用產(chǎn)品的創(chuàng)新落地。”

(相關(guān)資料圖)

此外，Arm 還宣布了“Arm 智能視覺(jué)合作伙伴計(jì)劃”，聯(lián)合軟件、硬件、系統(tǒng)集成商伙伴，加速視覺(jué)應(yīng)用設(shè)備的開(kāi)發(fā)。目前已有十余家來(lái)自智能物聯(lián)網(wǎng)的芯片設(shè)計(jì)、系統(tǒng)集成、AI 算法、開(kāi)發(fā)平臺(tái)等國(guó)內(nèi)領(lǐng)先企業(yè)加入該項(xiàng)計(jì)劃。

智能未來(lái)“視”不可擋

人類(lèi)的智慧體現(xiàn)在可以通過(guò)感知、思考和行動(dòng)來(lái)改變世界。首先，人類(lèi)通過(guò)感官接收外界的信息和刺激，識(shí)別模型并建立對(duì)世界的認(rèn)知，進(jìn)而形成信息系統(tǒng)。隨后，人類(lèi)通過(guò)思考加工和處理感知到的信息，從而形成理解和見(jiàn)解，幫助人們解決問(wèn)并做出決策，這就是模型系統(tǒng)。最終，行動(dòng)使人類(lèi)能夠?qū)⒏兄退伎嫁D(zhuǎn)化為實(shí)際的動(dòng)作，逐步改變自然和社會(huì)環(huán)境，推動(dòng)科學(xué)技術(shù)的進(jìn)步、文明的發(fā)展和社會(huì)的演變。

長(zhǎng)久以來(lái)，隨著算力的飛速提升，加之模型的不斷演進(jìn)，使得原本專屬于人類(lèi)的感知、思考和行動(dòng)能力實(shí)現(xiàn)了向機(jī)器的轉(zhuǎn)移，而每一個(gè)能力轉(zhuǎn)移的拐點(diǎn)都將產(chǎn)生新范式。例如，在20 世紀(jì)末期，谷歌、百度等公司使信息的生產(chǎn)和獲取成本從邊際成本轉(zhuǎn)向固定成本，開(kāi)啟了互聯(lián)網(wǎng)時(shí)代的新范式。如今，站在思考和模型構(gòu)建從人類(lèi)轉(zhuǎn)向機(jī)器的拐點(diǎn)，以O(shè)penAI為代表的企業(yè)正在推動(dòng)模型產(chǎn)生的成本從邊際成本轉(zhuǎn)化為固定成本，而這一拐點(diǎn)也勢(shì)必助推模型的極大豐富，并加速下一個(gè)拐點(diǎn)的到來(lái)，人機(jī)交互的模式將被重新定義。

而在模型和行動(dòng)無(wú)處不在的新時(shí)代，智能視覺(jué)將變得必不可少。因?yàn)闄C(jī)器系統(tǒng)必須通過(guò)視覺(jué)等感官理解周?chē)h(huán)境，做出相應(yīng)的決策和行動(dòng)，例如，視覺(jué)信息為自動(dòng)駕駛和機(jī)器人提供了關(guān)鍵的安全和避障能力，機(jī)器視覺(jué)可以通過(guò)捕捉人類(lèi)的表情、手勢(shì)和動(dòng)作，從中理解人類(lèi)的意圖和情感，改善 AI 與人類(lèi)的溝通和合作。

可以說(shuō)，智能視覺(jué)技術(shù)對(duì)智慧家居、智慧城市、智慧零售和智能制造等領(lǐng)域的重塑與升級(jí)將日益加深——

在智能家居領(lǐng)域，除了安全監(jiān)控、智能門(mén)禁和個(gè)性化的家庭環(huán)境體驗(yàn)外，在國(guó)內(nèi)人口老齡化的趨勢(shì)下，老人看護(hù)需求不斷提升，而智能視覺(jué)技術(shù)作為如今智能攝像頭的基礎(chǔ)功能支撐，可以幫助用戶實(shí)現(xiàn)老人室內(nèi)活動(dòng)監(jiān)測(cè)、睡眠質(zhì)量監(jiān)測(cè)、異常情況報(bào)警等功能。

在智慧城市領(lǐng)域，我國(guó)已經(jīng)率先將視覺(jué)技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理方面，同時(shí)，智能視覺(jué)技術(shù)還可以應(yīng)用于智能化的垃圾處理和回收，達(dá)到綠色環(huán)保的目的。

在智慧零售領(lǐng)域，通過(guò)智能攝像頭和視覺(jué)分析技術(shù)，可以實(shí)現(xiàn)人流統(tǒng)計(jì)和行為分析，有助于優(yōu)化商店布局，推廣策略和服務(wù)響應(yīng)，提升顧客體驗(yàn)和銷(xiāo)售效益。

在智能制造領(lǐng)域，智能視覺(jué)技術(shù)在監(jiān)測(cè)和質(zhì)量控制、自動(dòng)化導(dǎo)航和定位、工藝控制和輔助操作等方面都具有廣泛的應(yīng)用，可以提高生產(chǎn)線的效率、質(zhì)量和安全性。

面向智能視覺(jué)技術(shù)的快速發(fā)展，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健分享了其觀察到的重要趨勢(shì)。

首先是云-邊-端的協(xié)同，由于視頻數(shù)據(jù)的規(guī)模龐大，再加上自動(dòng)駕駛等應(yīng)用對(duì)實(shí)時(shí)性提出更高要求，因此智能視覺(jué)系統(tǒng)需要將計(jì)算和決策任務(wù)分布在云、邊和終端設(shè)備上，實(shí)現(xiàn)協(xié)同工作。

其次是 AI 加持，未來(lái)智能視覺(jué)系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像和視頻數(shù)據(jù)的分析和識(shí)別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場(chǎng)景和任務(wù)。

第三是智能視覺(jué)系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理，以支持更高效的特征提取、目標(biāo)跟蹤和檢測(cè)、圖像分析和理解以及圖像的生成和合成。

第四是算力支持，復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理對(duì)實(shí)時(shí)性、高精度、高并發(fā)的要求，使得智能視覺(jué)系統(tǒng)需要越來(lái)越強(qiáng)大的計(jì)算資源和算力支持。

此外，智能視覺(jué)系統(tǒng)廣泛應(yīng)用引發(fā)了對(duì)隱私和安全的關(guān)注，馬健認(rèn)為，未來(lái)的趨勢(shì)是采用加密匿名化等技術(shù)手段保護(hù)用戶的隱私，同時(shí)加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。

與安謀科技強(qiáng)強(qiáng)聯(lián)合

在技術(shù)快速發(fā)展、應(yīng)用規(guī)模化落地的過(guò)程中，智能視覺(jué)芯片架構(gòu)經(jīng)歷了一系列的演進(jìn)，從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的CPU架構(gòu)，再到如今最先進(jìn)的綜合CPU、ISP圖像處理器、NPU AI加速器、VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實(shí)現(xiàn)了低功耗、高性能和高度集成，適用于資源受限的邊緣設(shè)備，例如智能手機(jī)、攝像頭、機(jī)器人和物聯(lián)網(wǎng)設(shè)備等。

而作為全球領(lǐng)先的半導(dǎo)體IP供應(yīng)商，Arm已經(jīng)在智能攝像頭市場(chǎng)以九成以上的市占率獨(dú)占鰲頭，如今又面向中國(guó)市場(chǎng)發(fā)布 Arm 智能視覺(jué)參考設(shè)計(jì)，選用 Arm 廣泛應(yīng)用于智能視覺(jué)領(lǐng)域的處理器和系統(tǒng) IP，構(gòu)建出了相對(duì)標(biāo)準(zhǔn)化的IP組合，并經(jīng)過(guò)預(yù)先驗(yàn)證，輔以該子系統(tǒng)的 Arm虛擬硬件、參考軟件棧，形成了設(shè)計(jì)智能視覺(jué)系統(tǒng)的堅(jiān)實(shí)的系統(tǒng)技術(shù)平臺(tái)，使創(chuàng)新者們不需要從零開(kāi)始，可以專注于產(chǎn)品的差異化性能開(kāi)發(fā)，并快速將自己的想法轉(zhuǎn)化為產(chǎn)品并推向市場(chǎng)，顯著降低芯片開(kāi)發(fā)的成本和風(fēng)險(xiǎn)，并大幅度縮短研發(fā)周期。同時(shí)，由于這種參考設(shè)計(jì)是半成品，Arm也可以根據(jù)應(yīng)用的需求集成第三方 IP，給予客戶足夠的靈活性和選擇，以支持差異化創(chuàng)新。

具體來(lái)看，Arm 智能視覺(jué)參考設(shè)計(jì)包括：

Arm Corstone?-1000：整合 Cortex-A、Cortex-M 處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。

Arm Corstone-300：為機(jī)器學(xué)習(xí)工作負(fù)載提供“永遠(yuǎn)在線”的低功耗子系統(tǒng)。

Arm Mali?-C55 圖像信號(hào)處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。

來(lái)自安謀科技的第三方 IP 在視頻和機(jī)器學(xué)習(xí)能力方面提供更多選項(xiàng)，其中，“玲瓏”V5 視頻處理器支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理;“周易” NPU為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá) 4TOPS 的性能表現(xiàn)，并且支持業(yè)界主流的 AI 規(guī)模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。

此外，生態(tài)伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺(jué)參考設(shè)計(jì)的虛擬模型，助力軟件開(kāi)發(fā)者在芯片完備前先著手開(kāi)發(fā)并優(yōu)化代碼。該參考設(shè)計(jì)具備可信任的底層 IP 技術(shù)，在增強(qiáng)安全、可移植性與兼容性方面，已取得 Arm SystemReady? IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。

如今，生成式AI、大語(yǔ)言模型的熱度高燒不退，拉動(dòng)相關(guān)的技術(shù)與應(yīng)用快速發(fā)展。正如Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健所言，隨著 AI 和大模型一日千里的發(fā)展，智能視覺(jué)技術(shù)將繼續(xù)在所有垂直行業(yè)得到更廣泛的應(yīng)用，視覺(jué)將無(wú)處不在。在視覺(jué)成為一種普世能力的趨勢(shì)下，預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng)會(huì)為加速視覺(jué)產(chǎn)品設(shè)計(jì)和創(chuàng)新提供堅(jiān)實(shí)的基礎(chǔ)，這也是 Arm 和安謀科技攜手為中國(guó)市場(chǎng)打造智能視覺(jué)參考設(shè)計(jì)的初衷。

標(biāo)簽：