首页 文章详情

工业界和学术界最大区别是什么?

人工智能与算法学习 | 179 2022-07-28 10:44 0 0 0
UniSMS (合一短信)

提问鄙人能源类工科博士在读,正在面临工业界和学术界的抉择,想知道两者的区别,以便提前做好准备。科研状态自我感觉挺舒适,习惯了自由自在,没有太大约束的生活,但是感觉自己做的东西浮在空中,落地会摔粉碎。学术圈目前应该是越来越难了吧,人才多,评职称艰难。隔壁实验室的讲师每天走得比我还晚(一般12点走),所以很想知道工业界又是怎么样一种状态?


蛤蟆仙人(搬砖的小码农)回答:


我的背景更偏学术界,我对两边都有了解,我谈一点自己粗浅的看法。我的讨论范围限定在(1)机器学习领域,(2)能力在前10%~50%的正常人,不讨论改变世界的大神。


简单粗暴的结论:

(1)高校的研究能力在工业界很有用,但是高校的成果几乎(99.9%)在工业界都没有用。或许高校的education的作用更大,期望高校做出改变工业界的学术成果不太现实。


(2)工业界的研究院其实属于学术界,本质跟高校区别不大。他们比高校做的东西更有用,但是研究院做的不是核心技术,只是外围、边缘的技术而已。


先说说高校的科研。高校绝大多数的研究都是各种问题的corner case,在公开的数据集上跑几个实验,claim自己是SOTA,发篇论文。但这些东西在工业界用途非常非常小。我举几个例子。


  • 近年来学术界搜索、推荐的论文不少,但在工业界能用的几乎没几个。学术界的做法是“改进模型,在MovieLens等数据集上做个实验,提升几个点,发表论文”。但学术界的成果在工业界几乎都不work。在工业界真正能改进模型效果的方法大多是标注数据、处理数据、调特征、修bug。少数能用的学术成果都是Google等公司发表的。


  • 最近几年联邦学习很热门,每个会议都有上百篇联邦学习的投稿。这些文章中90%以上都是在解决corner case,比如XXX设定下的收敛、XXX设定下的XXX差分隐私方法、用XXX方法防御XXX假设下的拜占庭错误。有脚指头想想也知道,这些corner case在工业界是没有用的。工业界用的是简单、好调、scalability能上得去的方法,而且要考虑自身系统平台的支持。


  • 最近一两年,有N篇基于vision transformer的论文,都是对vision transformer做一点改进,在公开数据集上top-1 accuracy提升一点点。在绝大多数工业应用里面,没人在乎一点点准确率的提升。好好处理数据、标注数据、再加点小trick,带来的提升比模型大得多。说实话,ResNet之后所有的模型带来的提升全加起来,还没JFT一个数据集带来的提升多。


工业界里重要的问题非常多,但是没有足够的人力去解决,只能挑收益最大的做。而高校乌央乌央的人扎堆挤到一些很小的问题上,研究各种各样的corner case,比如上面讨论的几个问题。这就是为什么我打算离开高校。


再说说工业界的研究院。

  • 工业界研究院有一部分人做纯科研,做出了非常牛逼的工作。Google、Deepmind、MSR、NVIDIA等公司的研究院都有非常厉害的成果。Transformer、AlphaGo这些成果确实改变了世界。其余影响力小一些的论文也起到了PR的作用。

  • 工业界研究院有相当多的人在为业务、技术部门服务。可惜的是研究院做的通常不是核心技术,而是可有可无的边缘技术。研究院的人看不到完整的核心技术。举几个例子:

    • 推荐算法团队跟研究院合作,希望“试一试”强化学习、图神经网络这些技术。重点在“试一试”,也就是说可有可无,不是核心技术。能带来零点几个点的增长最好,没有也无所谓。

    • 技术部门发现强化学习在网约车派单上好用,收益挺大。上线之后,让研究院做进一步的探索,目标是用更fancy的技术取得marginal improvement。

为什么工业界研究院接触不到完整的、核心的技术?核心技术肯定在业务部门手里,重要性次一级的工具在技术中台手里。由于利益原因,没人愿意把自己重要的东西交给别人做,除非是自己不愿做、没精力做、没能力做。


说一下工业界的技术团队。工业界的工作并不美好,有很多脏活累活要干,没有学术界看起来高大上,而且KPI压力很大。有一部分人在推着技术走,这种工作的成就感会比较高。另一部分人被业务推着走,比如这个地方掉点了,那个地方有个bad case,要修一下。。。很明显,前者的技术含量高,成长更快,在就业市场上很抢手;后者的技术含量低,是高档人肉电池,容易被换掉。


最后说说人。学术界的人才密度远远大于工业界。拿到985学校的讲师(所谓助理教授)职位,比公司SP offer还难。工业界研究院里各个都是有不错成果的博士。而工业界的技术部门里,人才密度低得多。哪里更容易出头是显而易见的。在跳槽的时候,研究院出身的不那么受欢迎,跟核心技术团队的人差距巨大。


我打算去中国某互联网公司。在核心业务部门的核心技术团队,负责机器学习。我们的上海、北京office正在招ML算法工程师,校招、社招都要,薪资很有竞争力。



金海峰(谷歌keras团队工程师)回答:


工业界在建设当下,学术界在描述未来。

二者的主要区别都是是基于这个不同的定位。


未来充满了不确定性,所以学术界想要有比较显著的成果,要依仗更多运气,课题和方法都刚刚好才行。工业界则主要是在做道路已经相对比较清晰工程,比谁完成得又快又好。所以,有合适的环境和足够的资源投入就好。


学术界由于描述的是遥远的未来,不是当下,所以通常也不涉及到巨大的经济利益主要是争夺学术影响力和话语权,所以经常会产生谁是第一发明人的纠纷。而工业界则主要为了经济利益而产生合作和竞争。竞争的是实实在在的资源,比如用户、人力、算力、投资等等。


学术界由于描述的是遥远的未来,不是当下,所以很多说法很难在当下完全验证对错,主要就靠争论来决定谁对谁错。所以,反正也不损失钱,不如放开了争论,比如各个学派之间争论谁的研究方法更对路等等。而工业界的大部分内容很快能通过实践验证,争论的余地就小了很多。


当然,现在学术界和工业界也出现了一定的结合地带,比如高校的应用研究,以及公司里的研究部门。这些组织机构则同时具有建设当下和描述未来的属性。


推荐阅读


发论文的机会来了,最新计算机一对一科研项目招生!


迈向目标跟踪大统一:一个模型解决所有主流跟踪任务,8项基准出色


清华姚班教授: 「读博,你真的想好了吗?」与 UIUC 王鸿伟「读博,我想好了!」


解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer


——The  End——


分享

收藏

点赞

在看


good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter