【丁宁-清华大学-阿里达摩院自然语言技术实习体验】
作者简介：丁宁，清华大学计算机科学与技术系2年级博士生，研究方向为自然语言处理、信息抽取、语言表示学习等，在ACL、EMNLP、AAAI、IJCAI等发表多篇文章，作为研究型实习生在阿里达摩院实习半年+。
实习体会
很幸运能来到阿里巴巴进行实习！组里的氛围特别好，同事和师兄师姐都非常专业、友善、亲切。无论是科研上还是工作生活上的任 何问题，都能得到慷慨的帮助。在这里，我认识了一批学术和生活上的榜样（我的主管每天都吃健康餐，而我牛肉汤泡饼），结交了志同道合的朋友（排队喝牛肉汤回来写论文的日子），见识到了IT同学的认真负责（远程帮我调试打印机，周末修电脑），见过了马云老师，也亲身经历了一次双十一奋战。阿里的科研积淀和文化氛围都让我感到收获颇丰，感谢阿里巴巴提供研究型实习生这一高水平项目，也期待更多的同学可以加入研究型实习生的大家庭。
科研心得& 工作宣传
今年在阿里巴巴所做的跨领域分词工作被ACL 2020高分接收，其中meta review说“well-written, well-motivated with strong results, sure accept”。其实这句话可以很好地总结评判科研论文好坏的标准，实际上或许现阶段的科研也并没有什么秘密，动机明确、方法得当、实验充分，就可以形成一篇不错的科研论文。当然了，如果想做出让领域内眼前一亮的工作，可能就需要一些灵光一闪了。
具体到我们的工作上来，跨领域任务往往面临目标领域精标注数据缺失的问题，具体到分词任务上来说，这种数据缺失往往会导致OOV和词的分布差异问题。本文通过弱监督启发式算法来进行远程标注，并引入对抗学习来进行降噪。本文的实验中以newswire (新闻语料)作为源领域，在5个不同的目标领域数据上都取得了较好的效果。 这个工作或许有助于我们真正的往跨领域的两个通用问题上去设计了相关的解决办法。论文名字:《Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation》，具体可以查看达摩院的官方宣传~：ACL 2020有哪些值得关注的论文？ - 阿里巴巴达摩院的回答 - 知乎https://www.zhihu.com/question/385259014/answer/1190808208
另外，也宣传一下作为co-author的另一篇ACL 2020论文，是实习生同事周洁（上海交大研究生）的工作，瞄准多层级文本分类任务，设计层级敏感编码器将多层结构作为有向图建模，并且实现了一个串行和并行的版本，论文名字：Hierarchy-Aware Global Model for Hierarchical Text Classification。
还有另一个实习生同事张浩宇（国防科大博士生）在IJCAI 2020的工作，使用noisy learning的方法去进行远程监督entity typing降噪，方法非常优雅，论文名字：Learning with Noise: Improving Distantly-Supervised Fine-grained Entity Typing via Automatic Relabeling。
【杜志浩-哈尔滨工业大学-我在达摩院作实习研究僧的那些事儿】
经韩老师介绍，2019年7月，有幸进入阿里巴巴达摩院成为一名实习研究僧。如今也已半年有余，期间发生的事情仍然历历在目。从初出茅庐的不安，到积极融入的快乐，再到宠辱不惊的泰然，一路走来收获良多!
初出茅庐
其实，刚到达摩院语音算法组时，我的内心充满了不安。这种不安来自于初出茅庐的不自信，不知自己能否胜任这份工作，为公司带来效益。同时，也来自于环境转变的不适应，换了一个全新的环境，对公司内的工作方式、待人接物都不甚了解。
但是，在算法组师兄师姐的帮助下，我的这些不安很快就烟消云散了。为了能够使我尽快熟悉工作内容、了解工作方式，雷鸣师兄坚持每周四晚上为实习生开组会，拉着仕良哥、智颖等很多小伙伴一起讨论算法思路和实验中遇到的问题。我想他们应该都挺忙的吧，但还是牺牲自己休息的时间来参加组会。
刚来的那段时间，除了“雷老师，xxx麻烦审批通过一下”以外，我说的最多的恐怕就是“xx姐/哥，xxx在哪”。由于对很多事情都不了解，比如服务器怎么申请啊，oss怎么弄啊，我总是要麻烦逍北姐、遥仙哥等目之所及的小伙伴。他们一边在忙自己的工作一边还不厌其烦的告诉我，为我提供了莫大的帮助。
积极融入
在算法组这段时间，让我印象最为深刻的一句话就是“我们做事情都很直接，有什么问题，就带着方案提出来”。以前，总是被教育和鼓励发现问题，在阿里，找到问题只是完成了第一步，还需要再提出一个切实可行的解决方案。期间发生的一段小插曲让我现在依然记忆犹新。
为了准备910，语音测试组的小伙伴每天都在紧张的进行测试。其中一项是对语音实时转录及翻译软件的稳定性测试。由于已经进入应用阶段，不能在直接将数据送入到模型中，需要将语音播放出来，再由软件录音进行测试。播放的内容是马老师的演讲，对于坐在旁边的小伙伴来说既是一件好事，也是一件坏事。由于马老师的演讲实在太引人入胜了，每次他们进行测试时，我们都无法专心工作，最终只能……。
咳咳，我心想，这么下去也不是事儿啊，梦想要有，生活也得继续啊，得想想办法解决一下这个问题。我尝试了各种办法，但似乎都无法绕过功放这个问题。最终功夫不负有心人，找到了一款虚拟声卡的软件，能够将一个应用程序的音频输出直接作为另一个应用程序的输入。在熟悉过这个软件的使用方式后，我找到测试组的组长，向他提出了我现在的处境和解决方案。他告诉我，他也知道这样会打扰到周边的人，但是之前也没有太好的办法，感谢我提出的解决方案。
虽然这只是实习期间的一段小插曲，但是我依然印象深刻。通过这件事，我践行了带着方案提问题，这一阿里人所特有的工作方式，让我感觉自己正在逐渐融入到这个集体当中。
宠辱不惊
经过几个月“死去”又“活来”的做实验、写论文，我跟雷鸣师兄合作的语音增强相关工作投稿到了ICASSP 2020。这是语音信号处理领域的顶级会议，在来阿里之前，我也投稿过一次，但不幸被拒。为了准备这篇文章，雷鸣师兄跟我保持着很高互动，了解实验进度，适时的进行指导。此外，还有仕良哥帮助我进行语音畸变的评估。
2020年1月25日这一天，是我国的传统节日，春节，同时也是ICASSP出结果的日子。在得知结果前，我的内心非常忐忑。但当得知接收的喜讯时，我反而没有想象中那么兴奋，没有想象中那么高兴。我的第一反应是看看审稿人的意见，看看我专家们对我文章的看法，还有哪些不足和需要改进的地方。
我想宠辱不惊的心态应该是我在阿里的一个重要收获吧，不以物喜不以己悲。尽力做好自己该做的事儿，结果自然水到渠成。
再说两句
在阿里的这段实习使我受益匪浅。这里有乐于助人、善解人意的师兄师姐，也有认真负责、要求严格的主管Leader；有弹性自由的工作时间，也有肝到深夜的满腔热情；有最新最热的研究成果，也有成熟稳定的应用软件。这里不像实验室的象牙塔，关注技术的同时，也更关注技术如何落地、如何应用到生活中去，最终如何造福亿万用户。
韩鹏-KAUST-青春没有我之阿里巴巴天猫精灵争夺赛被迫写的研究心得
竞选宣言：
在阿里实习摸了几个月的鱼，最开心的就是又吃到了祖国的美食，虽然杭州的食物实在是太清淡了，但总比我在沙特每天吃水煮青菜不放盐要好很多。在阿里的这几个月，让我看淡了很多，发现生命里比较重要的就是长在自己脑袋上的头发，不能太年轻就失去他们。女网红我是感觉自己这辈子没机会了，毕竟流量明星也不是靠推荐算法能捧红的，也就希望能够得到这次500块钱的天猫精灵，请大家pick我。
研究心得：
多抱大腿
为了凑足300字的内心情感白描：
这个世界实在是太无聊了，尤其疫情导致的只能居家办公，我已经憋得快精神失常了，虽然平时也不是那么正常。希望这个世界早日恢复原来的美好，我还打算去越南胡志明市的日式KTV感受一下女仆装呢，希望疫情不会让这些服务业倒闭呢吧。
居然还不够300字，感觉生命浪费在写文字上要比大保健上还是好一些的，希望这些文字能够启发你，虽然我感觉也并没有什么意义，而人活着的意义又是什么呢？
【韩镕罄-南加州大学- 阿里研究型实习生体验】
简介： 经过两年研究时间，找到了学校的教职，也找到了老婆，感谢阿里～ 2018年八月来阿里做研究型实习生，本人在南加州大学商学院读Operations Management 的Ph.D.
块两年时间做了几篇 field experiment paper， 感觉阿里有太多好玩有趣的商业问题可以讨论直接研究。 通过和阿里的合作顺利找到UIUC 伊利诺伊大学香槟分校的常任轨教职。
更神奇的是，在实习期间，随便刷个阿里妹儿的相亲帖， 加个微信 聊一聊 发现和自己一天生日。 就是你了！现在已经结婚快半年！ 三十而立，一切静好，感谢阿里！
【马腾-清华大学- 阿里巴巴RI项目心得】
我与阿里之缘
在2019年的夏天，后来成为我主管的文侑来到清华进行交流，当时的我刚刚完成了一个学术项目的研究，正在寻求于之后的研究方向。恰好在交流会上碰见了文侑，经过一番交流之后吗，了解到操作系统团队是阿里 RDMA 技术的先行者和推广者，这正是我计划之后想要研究的方向，于是便一拍即合。由于我之前所研究的领域刚好符合是阿里目前正在做的一些项目，所以文侑提供了一个可以在阿里实习的机会。
在通过了多轮面试之后，我终于成功的入职了操作系统内核组作为学术型实习生。从2018年九月初入职至今，将近两年的时间，我也逐渐地适应了在阿里的生活，松弛有度而又充满欢乐。在这里我也结识了许多要好的朋友，并且，通过公司组织的各种聚会和团建的活动，让我解释了许多有着共同语言爱好的伙伴，大家给与了我这个新人很多的帮助和照顾，使我也渐渐地融入了这个有爱的团队。
在阿里的学术成果
在阿里实习期间，在同事们的帮助下，我顺利地完成了两个与我所在实验室合作的学术项目，并且这两个项目也幸运的产出了两篇高质量的论文，分别发表在了不同领域的高水平会议当中。 其中，第一篇论文发表在第21届Cluster会议，与2019年在美国阿尔伯克基召开。Cluster 是高性能计算方向计算机系统领域的主要会议，这个工作提出并实现了统一高效的 RDMA 消息中间件，解决了 RDMA 在实际生产过程中的一些关键可靠性和可用性问题，例如：极简的接口抽象，必要的上层消息确认机制，中间件辅助流控配合 DCQCN，结合生产系统的诊断机制等等，目前该技术已经被广泛应用在阿里巴巴基础云产品中（包括：数据库，分布式存储等）。另外一个工作则发表在了第25届 ASPLOS会议。ASPLOS 是操作系统，体系结构和编程语言三个方向综合的计算机系统领域顶级会议。这篇论文是和我所在的清华高性能所合作完成的，文章中第一次提出了利用RDMA将数据中心的NVM做disaggregation, 实现了高效的框架，同时证明了这种新架构的可行性。
在阿里的感想
阿里巴巴操作系统团队是一直致力于建立和完善系统领域工业界和学术界的纽带，并且在持续实践工业界和学术界之间的问题分享和工作互动，他们希望通过这些分析和互动能够更好地促进中国在世界计算机系统领域的整体发展和创新。作为操作系统团队中的一员，我深切了解到了先进技术对于企业发展的重要性，在实习的过程中，同我所在的实验室进行合作，我更是深深感受到只有通过学术与工业相辅相成，才能够真正让企业发展先进技术。另外一方面，经过一段时间的实习，我对所在的操作系统团队和阿里技术部门的工作有了更深入的了解，我对自己也有了进一步的规划，计划在毕业之后能够入职阿里，通过我的努力，继续在追逐技术之路上奋斗着。
【亓家鑫-新加坡南洋理工大学- 阿里云实习心得】
非常荣幸我们的研究工作*《Two causal principles for improving visual dialog》*获得了同行的认可，并收录在CVPR 2020会议中。在此要特别感谢我的教授，MReaL实验室成员以及阿里城市大脑实验室师兄师姐一直以来的支持和帮助。比起论文本身的内容，我更希望跟大家分享一年来做研究的心得和感悟，虽然目前我仍然是一个萌新，不过我希望通过萌新的角度能带给大家一些研究上的启发。
开始一个研究之前，选择方向很重要。当然，每一个方向都有自己的优缺点，比如新的方向“容易”发文章，可能将其他领域原有的方法引入加一些调整就可以达到比较高的结果。不过如果没有坚实的创新，在同行评议时，可能会受到质疑。一旦没有通过，再转投时可能发现已经落后于其他人。“老“的方向可能会感觉灌水困难，不过因为我没有真正做过经典的方向，所以不太好发表评论。根据观察，在一堆全面而又坚实的研究中找到创新点，对萌新来说确实困难，不过一旦有所突破，肯定会对这个社区产生广泛的影响。作为一个萌新，可能不会自己选择方向或者领域，所以接受导师或者主管的安排成了唯一的选择，不过要相信自己的导师和主管，因为大家都是在帮助你，而且他们经验丰富。只有当自己走完一套研究的流程，并且真正找到自己感兴趣或者觉得可以有所突破的方向，那可能才是真正属于自己的研究的开始。
当选定了方向，开始做研究的时候，清楚的了解所有有关的方法是非常重要的，因为这样可以防止你的idea被存在的方法“抄袭“。其实对一个比较成熟的研究方向来说，简单思考得到的idea一般都会被提出过。不过研究完所有存在方法后，要跳出这些方法，因为阅读他们的方法可能不是来借鉴，更多的是防止撞车，想要真正有创新，在别人的方法上改动往往是不够的，这就要求我们重新审视这个任务甚至数据集的每一个样本。当然目前即使是学术界toy的数据集也有动辄几十万的数据量，看完是不可能的，不过根据自己的思路统计一些数据特征，有时候对研究会产生很大的帮助。当觉得自己已经掌握了这个数据集或者这个任务的时候，应该是跑一些baseline来练习了。
我作为萌新，没有从零开始写，而是找了一个现成的模型开始修改，这样难度会减少很多，不过毕竟是别人的代码，还是有很多不舒服的地方，所以等自己成熟了的时候，有空的时候，一定要从头写一遍。当然我也不知道什么时候有空。当我开始修改baseline的时候，此次的研究旅行就算是上路了，在接受导师的指引的同时也可以自己不断的尝试自己的想法，因为不知道什么是有用的。我作为萌新刚开始的感受是我觉得可能我想的都有用，那一定要去试一下，所以我也建议大家多试一下，说不定真的有用呢，反正电费不花自己的。当一个东西有用的时候，就可以来思考他为什么有用了，当你想好它为什么有用并且通过了广泛的测试，就到了跟大家分享成果的时候。
当然，一个有用的idea背后可能有无数个没用的idea，至于他们为什么没用，我觉得如果实在是有兴趣，可以研究一下，但是有时候会花大量的时间。举一个实际的例子，我在去年做visual dialog比赛，大概四月份就发现了一个有用的方法，之后也顺利的拿到了第一并且在此基础上进行探究和扩展发表了自己的成果。不过同时，当时有一个效果降低的操作一直困扰着我，直到六个月以后，当然这六个月中还做了其他的事情，我才发现了它真正的原因，并且最终变成了我文章中的一句话。举这个例子的目的是，研究没有效果的idea会对研究有所帮助，不过可能会收益较低。
研究成果的发表是一个很重要的过程，它可以给领域内的同行以启发，甚至可以影响本领域之外的人，所以有时候高度总结自己的思想是一件有用的事情。比如我所做的工作我认为进行高度总结之后可以得到一个启发是：对多模态任务来说不一定所有模态都是平等的，对模型来说所存在模态也不一定是影响结果的全部。除了对自己motivation的总结，应用细节以及结果展示也是非常重要的，因为我是萌新，怎样写出一篇文章的经验肯定是不足的，所以在此不再赘述。在发表完文章之后，“售后服务“也是非常重要的一点，这也是我的教授教我的很重要的理念。因为发表的内容不是刊登出来就结束了，而是你对社区贡献的开始，之后做研究可能会发现更好的实现，或者当时的理论没有讲清楚完善，这些都可以补充到自己的代码中，让大家更好的了解你的思路和工作，或许以后还能收获好评。
此外，实验室的成员就是自己研究道路上的引导者和伙伴，会对自己的研究产生各种各样至关重要的影响，大多时候大家都不会吝惜跟你讨论分享自己的观点，有时还会亲自帮助你解决问题，所以要记得经常参加团建和小集体聚会。不过也不能太依赖别人，每当遇到问题的时候，特别是技术性的问题，还是依靠自己解决的好，毕竟未来总会离开实验室，离开乐于帮助你的人。最后，保护好自己的头发，还是要早睡早起，调不出来的bug熬夜也调不出来，不work的idea可能真的不work，没有人保证炼出来的一定是金子，不要过分影响正常的作息，毕竟这不是百米赛跑，也不能算是马拉松，而是长久的起码好几年以上要坚持的事业。不过我作为萌新才刚刚起步，依然没有体会到最艰难的时刻，不过做好心理准备还是应该的，该来的总是会来的。最后的最后希望这些浅显的经验总结能够给大家带来一点儿帮助，谢谢大家的阅读。
【田冰川-南京大学- 在阿里网络团队实习两年是一种怎样的体验？】
简介： 大家好！我是田冰川，南京大学2016级直博生，导师为田臣老师，研究方向为计算机网络。2018年6月，我以研究型实习生的身份入职阿里巴巴基础设施事业部网络研究团队，实习期间主要从事网络验证相关的研究工作，即通过形式化方法与灰度测试，来降低网络变更中的潜在风险。
2018年既是网络研究团队刚刚组建的一年，也是研究型实习生在阿里刚刚起步的一年。这年春天，经我导师田臣老师介绍，我参加了研究型实习生面试，加入了网络研究团队。
来到团队后，我参加的第一个研究项目是“金睛”，用以保障复杂ACL变更的正确性。ACL即访问控制列表，网络中的ACL决定着流量的连通性。网络架构演化有时会伴随着对ACL的迁移，如何保证迁移前后网络连通性是等价的，是困扰架构与运营部门的一大难题，而金睛项目则是为该问题而生。项目落地以来，金睛系统多次在骨干网ACL迁移中对变更方案进行了验证，并逐渐扩展至对边缘网络的验证。相关论文发表于SIGCOMM 2019主会，我在会场进行了20余分钟的演讲，与我们团队的另一篇文章HPCC共同成为阿里集团在网络领域top1学术会议主会中的首次亮相。
时间总是过的很快。转眼间，我来阿里已经两年了，自金睛之后，又陆续参与了多个研究课题。在阿里的时间越久，就越能切身体会到学术界研究与工业界研究的不同。在阿里实习以来，我接触到的所有研究课题，都不是凭空“想”出来的空中楼阁，更不是靠别人论文“启发”出来的二手课题，而是源自于真实业务的现阶段瓶颈与下一阶段发展趋势——这一点是高校科研很难做到的。
这两年间，我对科研这件事的心态也发生了进一步的变化。2017年，来到阿里之前，我的论文达到了学校博士毕业的最低要求，相当于没有了毕业之忧，对科研的心态从“先拿到博士学位再说”，变成了“想要做出点什么，不想让自己的博士5年就这么水过去”；在来到阿里，接触到工业界的前沿课题之后，我对科研的心态再一次发生了转变，变成“因为认可一件事的价值，所以想要去做好”——这已经成为一种内在的驱动力，让我在认真工作的同时，享受研究带来的乐趣。
如果一切顺利的话，我将于2021年6月博士毕业。能在阿里巴巴度过专属实习生的“三年醇”，想必也是人生中的一大成就了！
【吴秉哲-北京大学- 吴师傅的博士研究课题：大数据时代的数据隐私研究方向初探】
加上本科的时间，不知不觉已经在燕园里面呆了八年了，明年不出意外应该就会离开学校去业界工作。准备最近以文章的形式梳理一下博士几年的研究以及生活的心路历程。由于内容比较分散，所以决定分为几个不同的部分。这次推送封面图片是16年骑行到加乌拉山口遥看喜马拉雅山脉的图片，而我在阿里的花名是风远，意为远处的风。希望多年之后，还有一颗少年的心，投入每天永不变。这次借着阿里内部一个活动的机会，写了今天的这篇稿子，为大家介绍一下我的thesis topic。
已经在蚂蚁实习了一年了，一年时光匆匆而过，而在蚂蚁金服度过的这段时光带给了我很多研究以及生活中的体验，这一年里学到的经验也将伴随着我之后的研究之路。
我本科四年是在数院度过，在研究生阶段决定转换方向到计算机系。博士的前两年一直在跌跌撞撞地寻找自己的研究方向，尝试过很多方向均以失败告终。终于在第三年的时候，误打误撞开始研究起机器学习的隐私保护问题并找到了很多灵感，开始沉淀了一些基本的研究工作。有一天我从一个朋友那里听到了她关于金服这边隐私保护机器学习的团队介绍，当时我就决定要到业界的前沿去看一看隐私保护的真实业界需求。在此之前，我已经在谷歌，IBM等公司有过多段实习的经历，但是在蚂蚁这一次实习经历，是与我自己研究方向最接近，也是时间最长的一次。借着这次约稿的机会，以此文简单总结一下自己过去两年在这一方向的研究。
隐私保护与共享学习
目前随着各种机器学习算法在集团的业务落地，许多隐私泄露与数据滥用的风险相继而来。
尤其是在蚂蚁金服这样一个拥有很多支付数据的企业，数据安全以及隐私保护的重要性更是不言而喻。站在商业合作的角度，如何实现不同公司或者部门之间的数据共享学习也是我所在的团队现在攻坚的一个问题。在这样一个研究背景下，我来到了蚂蚁金服的共享智能团队，开始和师兄师姐们从不同的维度对上述问题展开了深入的研究。
共享学习这样一个概念听起来很美好，但是实际落地起来却困难重重，需要考虑到上层软件算法的设计以及底层系统和硬件的优化，才有可能真正在实际的业务中兼顾效率和隐私保护强度。共享智能团队在这一方向上有着得天独厚的优势。一是领先的业务场景，在国际同行好多还停留在学术研究阶段时，我们团队已经和国内多家银行有了合作。另一个则是技术沉淀的领先。因为金服自身业务的特殊性，我们团队很早就开始了隐私保护机器学习和共享学习的布局，包括很多原始的技术沉淀，强大的工程团队以及学术预研团队。这些积累也使得我们能够很快地摸清最新的一些研究成果并能将其吸入到我们自己的系统当中。
我自己关于隐私保护机器学习的研究主要是围绕着三个层面展开，分别是理论，算法设计，以及系统和硬件优化。在理论层面，我主要针对现有的各种机器学习算法，建立相应的隐私泄露分析框架，比如我们在之前的工作中，针对一种常用的贝叶斯学习的算法根据雷尼差分隐私建立了隐私泄露的定量分析框架，我们进一步使用我们的框架和已有的一些泛化误差上界做了联系，从而能从多个角度去解释该算法的隐私泄露原因。在算法设计层面，我们针对各种已有的新兴算法以及场景，比如图神经网络，推荐系统建立了相应的共享学习算法，并利用我们的理论框架，对这些算法的隐私保护强度做了定量的评估。除开上层的理论和算法设计，底层的系统和硬件的优化同样是非常重要的一环。
在我们团队，我们主打基于硬件可信执行环境 (TEE)的机器学习serving系统，我针对我们当前这套服务系统，结合神经网络计算的一些特点，定制了该系统的一系列优化措施大大提升了整个系统的吞吐量。我也将其中一些措施注册了专利，并在前几天得到了内部的专利授权。除开上述介绍的学术研究方面的成果，我也参与了IEEE共享学习标准的制定会议，这也使得我从标准制定者的角度去更深地思考如何使用技术在未来社会中实现隐私与效率的兼顾。
总之，我自己很感谢能成为共享智能团队的一员，我在这里学到的最宝贵的经验就是详细地从上到下了解了这样一个大团队的合作与分工，学习他们是如何一步步从最初的需求分析，算法设计，到最后真正的业务落地。也很高兴和各位共享智能的同事度过自己博士生涯中很重要的一年。也非常感谢我的博士导师对我研究的无条件支持。回看博士这一路的艰辛，也是感慨万千。有点像自己之前高原骑行的经历，经历了爬到坡顶的缺氧与无力，终在转角处遇见了骑行途中最美的雪山风光。
我要提问