在ModelArts使用AI推理框架ModelBox开【摘要】ModelBox简介ModelBox是华为云ModelArts集成的一款易用、高效、高扩展的 AI推理开发框架，通过模块拖拽连线的方式将推理应用流程可视化展示，并预置了丰富的 流单元供开发人员直接使用，降低了应用开发难度，支持C++、Python、Java等多种开发语 言，硬件支持GPU、NPU,可以帮助开发者快速完成AI推理应用的开发和上线工作用户可 在ModelAr ts开发环境中一键创建Mo...ModelBox 简介ModelBox是华为云ModelArts集成的一款易用、高效、高扩展的AI推理开发框架，通过模 块拖拽连线的方式将推理应用流程可视化展示，并预置了丰富的流单元供开发人员直接使 用，降低了应用开发难度，支持C++、Python、Java等多种开发语言，硬件支持GPU、 NPU，可以帮助开发者快速完成AI推理应用的开发和上线工作用户可在ModelArts开发环境中一键创建ModelBox实例并通过VsCode远程连接实例，方便 地利用云上的GPU/D310资源进行推理应用开发和调试，当前在上海一区域以白名单形式开 放。
创建ModelBox实例进入上海一区域的ModelArts新版开发环境，如果访问不了可以提工单申请白名单在新版开发环境中点击创建，选择ModelBox镜像：SIBpjrtc^hl 4-cudal di tucrnJ-ubunlul 9 D4-tenKrlkw21-€uda"fl.1-Djdnn7- 远程访问白名单配置为将要访问这个ModelBox实例的本地机器IP，可以在本地的浏览器搜索“本地IP查询”，查出来的就是本地对外的互联网IP点击确认后，等待实例创建完成连接并配置实例连接实例首先本地安装VSCode IDE，建议安装1.57版本或以下，最新版本的VSCode远程连接时有 一些问题参考帮助文档的准备、Step1、Step2这三个章节，进行实例连接开发首个AI应用开发环境预置了一个AI应用样例：车辆检测，是指通过模型检测行驶的视频流中的车辆,体验这个样例需要如下几个操作：1）创建样例工程2）推理流图开发运行3）查看推理结果创建AI应用打开terminal，执行命令:ma-admin createproject命令执行完后会在/home/ma-user/work/my_project目录下创建modelbox_demo工程, 使用VSCode的OpenFolder打开该工程目录：TcnmifwJ Htlp0 inrAfOfKA.KMnlREAJCUE-Bd - my_piD^El3 |S^Ht - VihuaJ SliKic- C-sd«F ^»hlckjrck)bcei-E _WcadiR_> buld> CMtdfce、PKtagemaWbcK 上的ci y ill 画》回 # Soliiiw1L# 5*]utierio ia説明salut ion秦杵标准工程I文件路径说刖> cdbpM_bbwc萌> drswjblHwjva11> siimg12> lp_fctK><_pw113> lpjn^ent*'w14> lp_jpk»bw15> 5fJft_ifwgL.Hroiclfe> jpwt> vrfpcfe.cwrftkwi17> vrticte.irTFBrenreid> vdude.yQbtKu14H CMtahdJsUbri:2。 > 牛 apti21H CMdSuEUstMl22M Ciw^kri_si5.wt23> OEit24> di ml party>吸H匚融Hu沁闵i5 pmuiMs母rrurrag已 附[mn-MW* IwHicy Icwkot11： REA口MEjndsol irtion/trafflc/flo^un it/ sol urtion/trafflc/eraph/ solift ion/other/tools/CHake/test/third part// —- II|功能单元.包含自定丈单元和推H!单元||| ||其他骑lution样啊 ||脚乎架 |I连工程嵌頼駅耐畑丈杵I测试魏期 |I第三力依趣包 I*港人刊该项II的目苯厉'可JffljLt咲下奇专琏订聲琲cd build && i: make . r make trafficWTRJF TTAWhW. TOT3 MBUGCCflSOlEf rcquiiEinEni3.5xttotal Sdi>«r-xr-M 7 nflr-yser na-eroup 備 Ml JI 16:54 MXdrxxr-kt-k 10 nap-oMr group 40^6 3ud 2C Id；36 i>od« 1 boh[ira userfiR^t-tbaeki-7^1x44^3.gfifS d2^S-bh nyjp«i3*rts]t []README文档是对工程目录结构的介绍。 工程带的样例在solution/traffic目录下，flowunit是功能单元，graph代表由功能单元 组成的图，图即为整个应用的处理流程，在ModelBox中，应用都是用图的形式来表达的编译构建运行使用 VSCode 快捷键 Ctrl + Shift + P:选择 cmake configure 执行耳 fiun Rrmrul Hdpv«MEbjnhnn：HjE 刃iifecn > trsiiE ? flcwunrl ? ■rehife.ri-lerTr1 [Imsb]2 name - ,Jwhl€le_linfeineflceH3 device = Hcud^*4 version = *1+142H5 description = #3 day veh1匚de 晶7 # IB513 V100C Ma he: Contour rBuild ItanjetCMflitK Bu^d dM*t£4Gan«l4dKJ£M^fcAL dunCMafecc Chun HirtHiidGorpir Active *CM?P：r Dnbuareowtly uwti @utt 4 r?FT □tii4r ooifirrarvssan + F5选择 cmake build target ・ i・ JU._i * , ijj ・ li_i・ i \\ rrry l-i iu i li—u w h. 1 _r jj」 ■ auuiLai_m luu~~■—uur- 匚 vehicle_;/oloboxt<>1iLm> flowunit > vehicfe-inifenerCMake: guild Target snift + f? rec-errtly ueed {3}\ inference"CMake; ConfigureForward a Pont(IntemaQ Build ai Target by Name2"Add Browser Breakpoint c-tfier commands下一步的选择框输入目录名traffical Help i*hicle_inlierente,tcHni - r*iy_prG*cl5 |SSH: ftolebcx)k-45cai]-城泅 閏曲o Code亠ehKlej■吋hbKE H vehBcie_yokibox.i：r illinMjdemci > scluilicfl > traffic > floMniit > v&hid&_infef&r- traffjE mtnv[base]nau» =，r vehi c 1 e_i nfer ence"device = "cuda"编译OK。 或者也可以直接使用命令行进行编译构建：cd build && cmake .. && make traffic构建完成后，执行如下命令运行应用python tools/run.py --graph solution/traffic/graph/vehicle_detection/vehicle_detection.toml执行后，日志会输出到terminal控制台上，通过查看日志可以看到流图已经运行起来了查看推理结果在浏览器地址栏输入推理视频结果的查询地址rtsp://localhost/test浏览器弹出如下框点击Open此时本地的播放器会自动启动并播放推理视频流如果无法播放，是因为本地的播放器不支 持 rtsp 流，需要安装支持 rtsp 流的播放器，例如 PotPlayer如果播放器 OK 但是仍旧播放不出来，有可能是视频较短已经播放结束了，可以停掉当前运 行的脚本后再重新运行一次播放效果如图：-全文完-。
远程访问白名单配置为将要访问这个ModelBox实例的本地机器IP，可以在本地的浏览器搜索“本地IP查询”，查出来的就是本地对外的互联网IP点击确认后，等待实例创建完成连接并配置实例连接实例首先本地安装VSCode IDE，建议安装1.57版本或以下，最新版本的VSCode远程连接时有 一些问题参考帮助文档的准备、Step1、Step2这三个章节，进行实例连接开发首个AI应用开发环境预置了一个AI应用样例：车辆检测，是指通过模型检测行驶的视频流中的车辆,体验这个样例需要如下几个操作：1）创建样例工程2）推理流图开发运行3）查看推理结果创建AI应用打开terminal，执行命令:ma-admin createproject命令执行完后会在/home/ma-user/work/my_project目录下创建modelbox_demo工程, 使用VSCode的OpenFolder打开该工程目录：TcnmifwJ Htlp0 inrAfOfKA.KMnlREAJCUE-Bd - my_piD^El3 |S^Ht - VihuaJ SliKic- C-sd«F ^»hlckjrck)bcei-E _WcadiR_> buld> CMtdfce、PKtagemaWbcK 上的ci y ill 画》回 # Soliiiw1L# 5*]utierio ia説明salut ion秦杵标准工程I文件路径说刖> cdbpM_bbwc萌> drswjblHwjva11> siimg12> lp_fctK><_pw113> lpjn^ent*'w14> lp_jpk»bw15> 5fJft_ifwgL.Hroiclfe> jpwt> vrfpcfe.cwrftkwi17> vrticte.irTFBrenreid> vdude.yQbtKu14H CMtahdJsUbri:2。
> 牛 apti21H CMdSuEUstMl22M Ciw^kri_si5.wt23> OEit24> di ml party>吸H匚融Hu沁闵i5 pmuiMs母rrurrag已 附[mn-MW* IwHicy Icwkot11： REA口MEjndsol irtion/trafflc/flo^un it/ sol urtion/trafflc/eraph/ solift ion/other/tools/CHake/test/third part// —- II|功能单元.包含自定丈单元和推H!单元||| ||其他骑lution样啊 ||脚乎架 |I连工程嵌頼駅耐畑丈杵I测试魏期 |I第三力依趣包 I*港人刊该项II的目苯厉'可JffljLt咲下奇专琏订聲琲cd build && i: make . r make trafficWTRJF TTAWhW. TOT3 MBUGCCflSOlEf rcquiiEinEni3.5xttotal Sdi>«r-xr-M 7 nflr-yser na-eroup 備 Ml JI 16:54 MXdrxxr-kt-k 10 nap-oMr group 40^6 3ud 2C Id；36 i>od« 1 boh[ira userfiR^t-tbaeki-7^1x44^3.gfifS d2^S-bh nyjp«i3*rts]t []README文档是对工程目录结构的介绍。
工程带的样例在solution/traffic目录下，flowunit是功能单元，graph代表由功能单元 组成的图，图即为整个应用的处理流程，在ModelBox中，应用都是用图的形式来表达的编译构建运行使用 VSCode 快捷键 Ctrl + Shift + P:选择 cmake configure 执行耳 fiun Rrmrul Hdpv«MEbjnhnn：HjE 刃iifecn > trsiiE ? flcwunrl ? ■rehife.ri-lerTr1 [Imsb]2 name - ,Jwhl€le_linfeineflceH3 device = Hcud^*4 version = *1+142H5 description = #3 day veh1匚de 晶7 # IB513 V100C Ma he: Contour rBuild ItanjetCMflitK Bu^d dM*t£4Gan«l4dKJ£M^fcAL dunCMafecc Chun HirtHiidGorpir Active *CM?P：r Dnbuareowtly uwti @utt 4 r?FT □tii4r ooifirrarvssan + F5选择 cmake build target ・ i・ JU._i * , ijj ・ li_i・ i \\ rrry l-i iu i li—u w h. 1 _r jj」 ■ auuiLai_m luu~~■—uur- 匚 vehicle_;/oloboxt<>1iLm> flowunit > vehicfe-inifenerCMake: guild Target snift + f? rec-errtly ueed {3}\ inference"CMake; ConfigureForward a Pont(IntemaQ Build ai Target by Name2"Add Browser Breakpoint c-tfier commands下一步的选择框输入目录名traffical Help i*hicle_inlierente,tcHni - r*iy_prG*cl5 |SSH: ftolebcx)k-45cai]-城泅 閏曲o Code亠ehKlej■吋hbKE H vehBcie_yokibox.i：r illinMjdemci > scluilicfl > traffic > floMniit > v&hid&_infef&r- traffjE mtnv[base]nau» =，r vehi c 1 e_i nfer ence"device = "cuda"编译OK。
或者也可以直接使用命令行进行编译构建：cd build && cmake .. && make traffic构建完成后，执行如下命令运行应用python tools/run.py --graph solution/traffic/graph/vehicle_detection/vehicle_detection.toml执行后，日志会输出到terminal控制台上，通过查看日志可以看到流图已经运行起来了查看推理结果在浏览器地址栏输入推理视频结果的查询地址rtsp://localhost/test浏览器弹出如下框点击Open此时本地的播放器会自动启动并播放推理视频流如果无法播放，是因为本地的播放器不支 持 rtsp 流，需要安装支持 rtsp 流的播放器，例如 PotPlayer如果播放器 OK 但是仍旧播放不出来，有可能是视频较短已经播放结束了，可以停掉当前运 行的脚本后再重新运行一次播放效果如图：-全文完-。
