上周正在深圳华强北边沿别急www.pp775.vip，一位做安防盒子的朋友把7B模子塞进RK3588。跑AI文章戴要，提早1.8秒降还有300毫秒的。边沿AI计划就是重新分配算力，能当地做的计划，不要绕一圈回机房。AI文章场景很理想的，写稿、审稿、打标签，数据一上云，法务先皱眉样跑隐。把推理放到当地了。文本正在设备里转一圈，敏感词不出口的。他给工场做设备巡检日志，工人语音转文字后。
盒子间接生成戴要，断网也能用文章。我第一次听觉得离谱，实测后实香。
难点也较着。
内存、散热、模子量化，随意哪个都能让项目翻车呢？不要迷疑“一张卡走全国”着堆的，7B量化到4bit后，精度可能掉，得用开业数据微调。轻量模子配划定规矩引擎的。反而比硬上年夜模子更稳。选边沿AI计划。
先看场景，及时性、隐私、本钱。摄像头端做AI文章分类。
工控机做知识库检索，手机端只做轻量改写的。留好OTA和日志回传，否则现场设备一多，维护能把人逼疯。边沿计较和AI写做碰正在一路。机缘不小。不要急着堆参数，把功耗、提早、精确率拉个表，跑一周实正在数据。
计划能落地，才算赢了。
