在课堂中找到真问题深大00后学生开发鹅脸识别


前有找工作处处碰壁的应届毕业生,后有考研焦虑的准毕业生。学生们经常陷入自我怀疑:大学四年究竟学了什么?有的人把考研当高考,大二就开始备考;也有人“抢先一步”,把在校学到的理论知识用到了真实的产业项目中——

今年4月,深圳大学腾讯AI班(下称腾班)的大二学生,开启了一次独特的实践作业,用AI帮助农户养鹅。蹲守鹅场半年,他们踩着3cm深的鹅屎工作、对30万只鹅进行“鹅口普查”,在标注中练出手速;在40度高温和台风来袭中,打响摄像头保卫战;和农户交流鹅病,翻遍论文变成半个养鹅专家。

项目结束后,有学生开始思考算法代码的价值,有学生静下心学画流程图和写报告,还有学生思考,除了做算法工程师,未来职业道路的N种可能性。但这绝不是一群天才AI少年的故事,而是在探讨大学理论如何扎根实践,成为实干人才。

养鹅300年 第一次和AI擦出火花

19岁的廖雪丽第一次来到鹅场,绝望的不是遍地的鹅屎、硝酸氨的味道、凶狠的大狼狗,而是4000只一模一样的鹅同时在叫。她形容为“前所未有的震惊”,“根本不知道是哪只是哪只。肉眼没法分清,更别说了算法。”


学生们第一次去鹅场

廖雪丽是2020级腾班学生。在这次实践项目中,她和15名同学需要将所学的AI知识,识别病鹅,帮助鹅农提产。接到项目那一刻,廖雪丽的脑海里蹦出了“鹅脸识别”,将课堂上学到的“人脸识别”落地金融、安防行业的案例,复制到鹅身上——摄像头扫鹅的面部,一秒钟分析鹅的眨眼频率、面部变化、视线偏移等,后台算法判定是否为病鹅。

来到鹅场后,她立马判定这一方案实现几率为零。500平米的鹅场,自己都分不清4000只鹅的区别,让算法分析某一只鹅的微表情,比登天还难。廖雪丽随即想到,从小目标做起——先做鹅的“身份证”,区分每一只鹅。具体做法是,给每只鹅挂上带序号的木牌,或者MFC磁卡。摄像头捕捉图像后,算法用ID精准定位,再分辨是否得病。

但她很快发现,鹅是水禽动物,不同于在室外圈养的猪,每天必须下水游泳,木牌容易被冲走。即使MFC磁卡能防水,但只有鹅离感应器10厘米之内才能被识别。

更让廖雪丽发愁的是,鹅场怎么看都和AI技术毫无关联。鹅场所在的汕头澄海区,是全国“狮头鹅”保种育种最大基地,也是广东省狮头鹅的最大产区,2021年肉鹅出栏量750多万只,全产业链年创值高达35亿元。

可即使如此,大部份村民的鹅场都只通了基础水电,没有覆盖网络,更没有任何自动化养殖设备。在田间和池塘边,一间间鹅舍由木桩搭建而成,农户面朝泥土、背朝天撒上饲料,鹅群一拥而上吃食,随处可见粪便和苍蝇。


汕头后溪村鹅场环境

在这里,养鹅保留着祖辈的习惯。廖雪丽了解到,“狮头鹅”是广东潮汕地区的特色品种,有300余年的历史,因头部肉瘤发达形似狮子头得名。由于体型和体重均高出其它地区同类物种的两倍,是中国唯一大型鹅,有“世界鹅王”之称。尽管如此,“发病率高、存活率低”的问题一直没解决。

比如,常见狮头鹅感染的疾病,有鹅瘟、禽霍乱、大肠杆菌,鹅副黏膜等8种。一旦遭遇大型传染病,没有第一时间识别并处理病鹅,1000多只鹅苗可能在一夜之间死亡。过去,农户要想判断狮头鹅的健康状况,只能靠双手、双眼,一只只去找、去看。


汕头农户给2000多只小鹅挨个打预防针

48岁的金举文,在汕头澄海区后溪村养了20年狮头鹅。他习惯从早到晚,蹲守在鹅场,盯着鹅的进食、叫声、睡觉、拉稀,每天都在为捕捉病鹅而烦恼。

廖雪丽刚到的时候,金举文正盯着一只角落里的狮头鹅,“翅膀低垂、没有食欲、流口水,应该是病了。”正说着,他走上前,一把抓起鹅的翅膀,摸它的脚掌温度,随后把它放入了另一个木桩搭建的鹅舍,这里是所有病鹅的“隔离区”。

但即使经验20年的老农,也会有走眼的时候。这一天,金举文盯着一只缩脖子的狮头鹅许久。“声音嘶哑、咳嗽,但食欲正常,看起来又好像没病”。疑似病鹅是放入“隔离区”直接被感染,还是放任不管,这是当地农户每天都会遇到的难题。

金举文的担心不是没有原因。2018年冬天,他曾遭遇过大规模的禽流感。最开始,仅是几只小鹅拉稀,第二天清晨200只鹅陆续死去,等到第十天,3000只狮头鹅全军覆没。他直接损失了20多万,而这几乎是他一年的家庭收入。

20年如一日在鹅舍巡视、走动,金举文的腿患了痛风,行动不便。面对外来的学生,以及他从没听说的“人工智能”,金举文只有一个诉求——能不能找到病鹅。学生们一时没了谱,狮头鹅饲养环境和难度远超预料,连老农都不能发现病鹅,算法能做到吗?

30万次点击 首创“鹅脸数据库”

同样心里没谱的,还有深圳大学计算机视觉研究所所长沈琳琳。研究“视觉识别”二十多年来,沈琳琳曾指导学生,用AI帮助法医辨别尸体死亡时间,追踪保护云南元江的野生大象,却对AI养鹅无从下手。

要养鹅,先懂鹅。沈琳琳决定,抛开所有酷炫的技术,让学生们从鹅的基础习性学起——起居、饮食、活动……不同行为都有不同的含义。整个暑期,学生们往返鹅场,白天反复观察病鹅和正常鹅的区别,做对照实验,晚上用电脑记录总结。


学生帮金举文一家赶出生10天的小鹅进食

金举文也和学生们传授养鹅的技巧,鹅和人一样,身型、体重不能作为健康标准。瘦小的鹅不等同于不健康,比孩童还重的30多斤鹅王也可能是“虚胖”,理解狮头鹅的动作才是关键。就拿扑翅膀来说,吃饱后扑翅膀是心情愉悦,遇到生人扑翅膀是宣誓领地;生病后则是翅膀垂下,扑棱不起来。

渐渐地,学生们摸索出细微的规律,得了禽流感的鹅,眼睛半闭、肿胀,精神萎顿,原地不动、体温升高;患上鹅副黏膜的鹅,比得禽流感的走得更慢,呆在原地的时间更久;得了伤寒、感冒的鹅,初期会出现呆立、张嘴呼吸、发烧,加重后会出现颤抖、抽搐。大量样本显示,“发呆、发烧”是病鹅的共性。

但养殖经验如何转化为技术中的特征表达?连开了好几天的会,养鹅项目小组终于达成一致,制作一款识别病鹅的小程序,让腿脚动过手术的金举文,不用再来回走动。

按照设想,小程序功能定为三块:查看鹅群、疾病预警、数据分析。农户随时打开微信小程序,通过全景摄像头,在线监测鹅群动态,一旦算法监测呆滞超过10分钟,或者红外测温仪发现体温异常,小程序立刻向农户推送预警消息。

考虑到识别病鹅的准确率,项目小组又增加了监测环境温湿度、PM值空气指数等功能。一旦空气污染严重,小程序就能立刻报警。


学生们绘制的初版小程序系统草图

16名学生兵分四路,组成前端、后端、算法、硬件四个组。由硬件组装摄像头,采集鹅的图片;算法组对接收的图片打标注,做数据分析,传输后端;最后,由前端设计界面按钮,呈现功能。

挑战接踵而至。鹅场通讯信号弱、更没有网络。在40度高温下,硬件组长王翊沣不得不自己搭梯子拉网线、架网桥、固定摄像头。更糟糕的是,公开渠道搜不到狮头鹅的图片,没有足够的样本让AI识别。于是沈琳琳决定用“最笨”的办法,让学生们通过摄像头采集的照片,一张张人工打标注。

“人脸技术运用广,就是因为能找到别人标注好的照片,来训练算法模型。癌症诊断难,就是没有足够的病人样本数据。”沈琳琳解释。同样,要让AI消除对鹅的“脸盲”,必须要采集足够多的图片,让AI知道什么是“狮头鹅”,再做识别。

但比人脸识别技术更难的是,人类会配合镜头,动物不会。学生们只好把摄像头拍摄的影像,进行秒级抽帧,再对抽取出的6000张照片打标注,一张照片平均抓取50只鹅。“我敢说,有密恐的人坚持不到3秒就会关掉这个界面。密密麻麻,每个都需要圈,最多一张图有70只鹅。”算法组组长廖雪丽说。

“越是智能,就越是人工。”沈琳琳说。


学生给图片打标注

经历长达半个月、30万次的点击标注后,行业首个“鹅脸数据库”诞生。

提升30%存活率 消除呆头鹅、发烧鹅

标注完之后,下一步是训练模型算法,这也是小程序用起来的关键。尽管有心理预期,但看到满屏的Bug报错,廖雪丽还是觉得“整个头快炸了”。

按照腾班的课程安排,大二系统学习《机器学习》《人工智能导论》等理论。但这和自己上手写代码相差甚远。几乎整个暑期,廖雪丽都在和算法做斗争,一边上网查、自学,一边调试环境、报错、推倒后再调整。“看一眼觉得好简单,结果就是报错。试了网上查的十几种方法,还是不行,经常3、4小时都找不到bug在哪儿。”

前端组长李文同样遇到了棘手事。这是他第一次做产品,从没有接触过UI设计。小组进度会上,李文提交了三版设计草图,均被大家否决了。

学生们不得不开始搬救兵。这时,腾讯的算法工程师紧急“救火”,加入了养鹅团队。在线上会议上,工程师们手把手分析代码、解bug、并给出解决方案。同期加入还有腾讯的产品经理,她告诉李文,“产品要界面简洁,不代表罗列照抄功能点,而是要保证按钮符合使用逻辑,这样农户才会用、才能用。”


学生设计草图和成品对比

半年下来,养鹅小组投入了巨大的精力,开了近百次线上+线下会议,群聊消息几万条。今年9月新学期到来,第一版小程序上线。截至11月中旬,小程序更新到第六版,一共提醒了金举文50多次,最新一批狮头鹅存活率从5成提升至8成。300年以来,后洋堤养鹅村第一次和AI擦出火花。


学生和深大老师、腾讯工程师开会

AI养鹅的故事并未止步。硬件组长王翊沣看来,这款小程序依旧有不足。眼下只针对一家农户做开发,只用做到直播不卡顿,要让更多的农户“轻松地养鹅”,高并发、不崩溃都是绕不开的难点。

更重要的是,目前小程序仅限于识别“呆头鹅”“发烧鹅”,无法精准知道每一只鹅的状态。王翊沣想到,是否给鹅安装计步器,用算法“追踪鹅步”,甚至将鹅场单独开辟一个通道,能近距离监测声音、体温等,实现“鹅语翻译”。

听上去有些天方夜谭,沈琳琳却很认同。“其实我们已经迈出了AI养鹅的一大步,有了数据库沉淀,就可以往下做很多事。比如,将数据开源给学术界,更多人一起研究科学养鹅。甚至到后边,鹅的代码,鸭也可以用。”

缩短课堂和产业的距离

养鹅项目是腾班学生第一次参与平台的从0到1的搭建,经历了一位真正的程序员在工作的全过程。理论和实践的融合,让学生重新理解代码和算法的价值。

“在学校里真的很迷茫。除了课本,没有机会亲历接触到这些东西,理解实际的项目落地应该是什么。”在廖雪丽之前设想中,算法工程师是在办公室查文献、写代码,攻坚高大上的前沿行业。但这次汕头之行,她发现“关着门”写的代码更多是“伪需求”,还是要去现场,脚踏实地去了解、请教。


廖雪丽用手机拍下了鹅场傍晚的景色

参与了所有的环节的王翊沣,第一次有了做项目的意识。秋季学期,他主动了选修“软件工程”这门课,从头学习画流程图和写项目文档。之前,他和班上只敲代码的同学一样,认为“写文档”这玩意是文科才学的。

深圳大学人工智能系副主任冯禹洪深有感触,校企合作的实践机会,让学生前置性理解学科的作用。她记得,前几年有学生拿到腾讯的实习offer,进去之后才发现,流程图对项目进度把控很重要。“当时他觉得这有什么用,还不如好好写代码。”当意识到重要性的时候,已经到大四没有课了。

腾班要培养什么样的人才?这是2019年成立之初,深圳大学和腾讯就在探索的问题。学校和在产业本质要解决的问题并不相同。学校的核心产出是论文,是学术成果,对现实相关相对少。而在产业实践中,没有放之四海而皆准的算法,任何一个场景都需要修改、因地制宜,这要求学生既要有理论基础,又要实践操作、团队协作等能力。

腾讯教育校企合作南区负责人王才荣深有感触。腾讯云生态企业接近一万家规模,原厂、子公司、投后公司都有“缺才”困扰。应届生从事关键技术岗位,不了解产业也不懂怎么做项目,全部要从头学起,至少需要一年,才能逐渐步入正轨。

目前,教育部支持了1100多所本科高校,与近800家企业合作立项了3.7万个产学协同育人项目。但长期以来,高校和企业合作常流于表面,多停留在合作签约、互访,缺乏深度实践。腾班作为全国少见的人工智能校企合办本科班,决定打破这种弊病。

为了更好地缩短“产业”与“课堂”间的距离,深大和腾讯分工明确。深大负责校内机器学习等课程讲授,腾讯则把产业互联网的上百个行业经验变成案例,让学生更了解AI技术在产业变革的广泛应用,并提供云环境的实验资源、讲座、实践机会。

这次AI养鹅校外实践,让双方更意识到,培养人工智能人才,要“仰望星空”学好理论,也要“双手沾泥”应用实践。“校企合作不是给学生上‘水课’,开实践证明,而是要让学生在真实应用场景有启发、有触动。”王才荣说。




|声明:本站内容来源于网络或农兜会员发布,农兜只作为信息发布平台,版权归原作者所有,本站不承担任何图片、内容、观点等内容版权问题,如对内容有歧义,可第一时间联系本站管理员发送邮件service@ainongdou.com,经核实后我们会第一时间删除。

评论 0