线上算法如何安装

1.产品2.UI3.CSS4.JS5.后端（Java/php/python）6.DBA(mysql/oracle)7.运维（OP） 8.测试（QA）9.算法（分类/聚类/关系抽取/实体识别）10.搜索（Lucene/Solr/elasticSearch）11.大数据工程师（Hadoop）12.Android13.IOS14.运营 一.产品1 工作内容：了解用户需求，做竞品调研，画产品原型，写产品文档，讲解产品需求，测试产品Bug，收集用户反馈，苦练金刚罩以防止程序员拿刀砍。2 需要技能：PPT，Word, Axure,XP,MVP，行业知识，沟通。 二. UI1 工作内容：收到产品原型，给原型上色，偶尔会自作主张调整下原型的位置，出不同的风格给老板和客户选，然后听他们的意见给出一个自己极不喜欢的风格，最好给Android，IOS或者是CSS做好标注，还有的需要直接帮他们切好图，最后要练出来象素眼，看看这些不靠谱的程序员们有没有上错色或者是有偏差。2 需要技能：PS，Illustrator，Sketch，耐性，找素材。 三. CSS1 工作内容：产品设计好原型，UI做出来了效果图，剩下的就是CSS工程师用代码把静态文件写出来的。 2 需要技能：环境【IDE（WEBStorm，Sublime，EditPlus），源码管理（SVN/Git） ，WEB服务器(nginx)】基础【PS，域名，Html，Html5，CSS，CSS3】扩展【自适应，响应式，Bootstrap，Less，Flex】 四 .JS 1 工作内容：JS工程师其实分成两类，在之前讲CSS的时候已经提到过，一个是套页面的，一个是前后端分离的。对这两个概念还是分不太清的，可以回过头去看CSS的部分。 2 需要技能：环境【IDE（WEBStorm，Sublime，EditPlus），源码管理（SVN/Git） ，WEB服务器(nginx)】基础【Http，REST，跨域，语法，组件，F12，Json，Websocket】框架【JQuery，AngularJS，Bower，RequireJS，GruntJS，ReactJS，PhoneGap】业务【金融，教育，医疗，汽车，房产等等等等各种行业】 五 .后端（Java/python/go） 1 工作内容：大部分的后端工程师都停留在功能实现的层面上。这是现在国内二流或者是三流的公司的现状，甚至是在某些一流的公司。很多时候都是架构师出了架构设计，更多的外包公司根本就是有DBA来做设计，然后后端程序员从JS到CSS到Java全写，完全就是一个通道，所有的复杂逻辑全部交给DB来做，这也是几年前DBA很受重视的原因。 2 需要技能：环境【IDE（Idea/Eclipse，Maven，jenkins,Nexus,Jetty,Shell，Host），源码管理（SVN/Git） ，WEB服务器(nginx,tomcat,Resin)】基础【Http，REST，跨域，语法，Websocket,数据库，计算机网络，操作系统，算法，数据结构】框架【Spring，AOP，Quartz，Json TagLib,tiles,activeMQ,memcache,redis,mybatis,log4j,junit等等等等等】业务【金融，教育，医疗，汽车，房产等等等等各种行业】。 六 .DBA  1 工作内容：如果你做了一个DBA，基本上会遇到两种情况。一种是你的后端工程师懂架构，知道怎么合便使用DB，知道如何防止穿透DB，那么恭喜你，你只是需要当一个DB技术兜底的顾问就好，基本上没什么活可以做，做个监控，写个统计就好了。你可以花时间在MongoDB了，Hadoop了这些，随便玩玩儿。再按照我之前说的，做好数据备份。如果需求变动比较大，往往会牵涉到一些线上数据的更改，那么就在发布的时候安静的等着，等着他们出问题。。。。如果不出问题就可以回家睡觉了。 2 需要技能：环境【Linux，Mysql，Oracle，MongoDB，Hadoop】工具【各种DB的版本，工具，备份，日志等】。 七. 运维  1 工作内容：运维的工作大概分成几个部分，我对于修真院学习运维的少年们都这么说，大概是：A。基础环境的搭建和常用软件的安装和配置（兼网管的还有各种程控机）,常用软件指的是SVN，Git，邮箱这种，更细节的内容请参考修真院对于运维职业的介绍。B。日常的发布和维护，如刚刚讲到的一样，测试环境和线上环境的发布和记录，原则上，对线上所有的变更都应该有记录。C。数据的备份和服务的监控&安全配置。各种数据，都要做好备份和回滚的手段，提前准备好各种紧急预案，服务的监制要做好。安全始终都是不怎么被重点考虑的问题，因为这个东西无底洞，你永远不知道做到什么程度算是比较安全了，所以大多数都是看着情况来。D。运维工具的编写。这一点在大的云服务器商里格外常见，大公司也是一样的。E。Hadoop相关的大数据体系架构的运维，确实有公司在用几百台机器做Hadoop，所以虽然不常见，我还是列出来吧。 2 需要技能：环境【Linux，Mysql，Oracle，MongoDB，Hadoop，nginx,apache,F5,lvs,vpn,iptable，svn,git,memcache,redis】工具【linux 常用工具，Mysql常用工具，Jenkins，zabbix,nagios】自动化运维【openstack,docker,ansible】语言【shell,python】 八 .QA  1 工作内容：QA需要了解需求，很多公司会要求QA写测试用例，我觉得是扯淡。完全是在浪费时间。通常开发三周，QA测试的时间只有一周到一周半。还有关于提前写测试用例的，都不靠谱。 2 需要技能：流程【Bug修复流程，版本发布流程】工具【禅道，BugZilla，Jira,Excel表格来统计Bug数，自动化测试】性格【严谨，耐心】 九. 算法工程师  1 工作内容：算法工程师的工作内容，大部分时间都是在调优。就是调各种参数和语料，寻找特征，验证结果，排除噪音。也会和Hadoop神马的打一些交道，mahout神马的，我那个时候还在用JavaML。现在并不知道有没有什么更好用的工具了。有的时候还要自己去标注语料---当然大部分人都不爱做这个事儿，会找漂亮的小编辑去做。2 需要技能：基础【机器学习，数据挖掘】工具【Mahout，JavaML等其他的算法工具集】 十. 搜索工程师  1 工作内容： 所以搜索现在其实分成两种。一种是传统的搜索。包括：A。抓取 B。解析C。去重D。处理E。索引F。查询另一种是做为架构的搜索。并不包括之前的抓取解析去重，只有索引和查询。A。索引B。查询 2 需要技能：环境【Linux】框架【Luence,Slor,ElasticSearch,Cassandra,MongoDB】算法【倒排索引，权重计算公式，去重算法，Facet搜索的原理，高亮算法，实时索引】 十一. 大数据工程师  1 工作内容：工作内容在前期会比较多一些，基础搭建还是一个挺讲究的事儿。系统搭建好之后呢，大概是两种，一种是向大数据部门提交任务，跑一圈给你。一种是持续的文本信息处理中增加新的处理模块，像我之前说的增加个分类啦，实体识别神马的。好吧第一种其实我也不记得是从哪得来的印象了，我是没有见到过的。架构稳定了之后，大数据部门的工作并不太多，常常会和算法工程师混到一起来。其他的应该就是大数据周边产品的开发工作了。再去解决一些Bug什么的。2 需要技能：环境【Linux】框架【Hadoo,spark,storm,pig,hive,mahout,zookeeper 】算法【mapreduce,hdfs,zookeeper】。 十二. Android工程师  1 工作内容：Android工程师的日常就是听产品经理讲需求，跟后端定接口，听QA反馈哪款机器不兼容，闹着申请各种测试机，以及悲催的用Android做IOS的控件。 2 需要技能：环境【Android Studio，Maven,Gradle】基础【数据结构，Java，计算机网络】组件【IM，地图，支付，拍照，视频，音频，统计，分享，手势密码】 十三. IOS工程师  1 工作内容：IOS工程师的工作内容真的挺简单的，听需求，定接口。做个适配，抛弃一下iphone4。还有啥。。马丹，以我为数不多的IOS知识来讲，真的不知道还有啥了。我知道的比较复杂的系统也是各种背景高斯模糊，各种渐变，各种图片滤镜处理，其他并没有什么。支付，地图，统计这些东西。 嗯。2 需要技能：环境【Xcode】基础【数据结构，Object，计算机网络】组件【IM，地图，支付，拍照，视频，音频，统计，分享，手势密码】

作者：九章算法 链接：https://www.zhihu.com/question/22744854/answer/763206431 来源：知乎 首先，这个神仙项目请你pick： https://github.com/sindresorhus/awesome 各领域各语言资源大合集 另外，可以关注GitHub的每日榜单，看看大家都在关注些什么（虽然有国外小哥吐槽榜单上都是中文哈哈 https://github.com/trending/python?since=daily 推荐不同语言的几个项目： Python ： youtube-dl这个程序是一个开源的python项目。支持MacOS、Linux和Windows平台，可以在官网直接下载编译好的程序。可以用来下载YouTube视频，国内的一些视频站也可以进行下载。 interview_internal_reference： 总结了2019年最新的阿里，腾讯，百度，美团，头条等技术面试题目以及答案，分析汇总。 sherlock： 高级机器视觉软件，可以用于广泛的自动化检测应用。它提供了最大的设计灵活性，丰富的已验证的工具和功能。 DeepFaceLab： 这是一个github上的开源项目，所有人都可以查看源代码也能免费使用。个人认为这个项目的最大优点就是安装超级简单，几乎是无需安装，使用过程也不复杂 Manim： 解释数学视频的动画引擎。可以用来创建精确的2D动画。 XSStrike：XSStrike是一个Cross Site Scripting检测套件，配备四个手写解析器，一个智能有效载荷生成器，一个强大的模糊引擎和一个非常快速的爬虫。 XSStrike不是像其他工具一样注入有效载荷并检查它的工作原理，而是通过多个解析器分析响应，然后通过与模糊引擎集成的上下文分析来保证有效载荷。 f="https://github.com/wangshub">Douyin -Bot：抖音机器人。是用于机器人算法的Python代码。教你如何在抖音上找到漂亮小姐姐~~ Photon：快速抓取工具，可以提取网址，电子邮件，文件，网站帐户等等。 google-images-download：可以实现搜索和下载数百个Google图像的Python脚本到本地。 faceswap是个基于dlib的换脸程序。模型训练速度较快，同样配置下更快的到达低loss值，而且有gui界面版本。 you-getyou-get 是py上一个方便的下载工具。这个爬虫神器能爬取视频网站和图片网站，你不用写任何代码就能很容易的把你喜欢的视频或者图片甚至音频文件给扒下来。而且支持腾讯、搜狐、新浪、B站、央视网、芒果TV，乐视网、优酷、熊猫斗鱼等等大多数的国内主流视频网站。 Java： advanced-java： Java工程师进阶知识扫盲，适合系统学习。 vhr：一个前后端分离的人力资源管理系统，采用SpringBoot+Vue开发。这个项目的权限管理模块已经开发完成，其他模块还在开发当中。可以管理角色和资源的关系，管理用户和角色的关系。 cat：作为服务端项目基础组件，cat提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。 jeecg-boot：一款基于代码生成器的JAVA快速开发平台！全新架构前后端分离：SpringBoot 2.x，Ant Design&Vue，Mybatis，Shiro，JWT。强大的代码生成器让前后端代码一键生成，无需写任何代码，绝对是全栈开发的福音！！ interviews：软件工程技术面试个人指南。可以这里找到针对很多面试问题的视频解决方案以及详细说明。 p3c：是阿里巴巴p3c项目组进行研发。根据《阿里巴巴Java开发规范》转化而成的自动化插件，并且实现了部分自动编程。 SpringAll：包括了Spring Boot，Spring Boot＆Shiro，Spring Cloud，Spring Boot＆Spring Security＆Spring Security OAuth2等系列教程。toBeTopJavaer：Java工程师成神之路。总结的很好，直接理解学习就完了。 JavaScript： quasar：Quasar Framework是MIT许可的开源项目。能在记录时间内构建高性能VueJS用户界面 Daily-Interview-Question：前端大厂面试题汇总 next.js：一个基于React的一个服务端渲染简约框架。它使用React语法，可以很好的实现代码的模块化，有利于代码的开发和维护。 javascript-algorithms：这个存储库包含许多流行算法和数据结构的基于JavaScript的示例。每个算法和数据结构都有自己独立的自述文件，包含相关说明和链接，供进一步阅读 baidu-netdisk-downloaderx：一款图形界面的百度网盘不限速下载器，支持Windows，Linux和Mac。重点在不限速！ 其他好玩的项目~ ChineseBQB：国内表情包大集合~~ komeiji-satori/Dress：女装大佬项目，一张图你就懂了 chinese-poetry最全的中文诗歌古典文集数据库.包含5.5万首唐诗、26万首宋诗和2.1万首宋词。唐宋两朝近1.4万古诗人, 和两宋时期1千多位词人 thefuck该项目的主要作用是，在terminal 里输错命令之后无需修改，fuck 一下，自动帮你更正命令，既解气又实用。 加入阿里云钉钉群享福利：每周技术直播，定期群内有奖活动、大咖问答 阿里云开发者社区

没有简易算法，只有坐着慢慢算，算不死你。。。。。。哈哈哈1.除锈工程定额适用于什么工程。定额适用于金属表面的手工、动力工具、干喷射除锈及化学除锈工程。 手工除锈指操作人员利用钢丝刷、铁砂布、破布等对锈蚀的构件进行除锈处理。动力工具除锈指操作人员利用电动工具、钢丝刷、砂轮片、破布进行除锈处理。喷射除锈指操作人员利用鼓风机、除锈喷砂机、空气压缩机、轴流风机对锈蚀器具进行除锈处理。化学除锈指操作人员利用化学反应原理对锈蚀构件进行除锈处理。 2.哪些除锈已综合考虑在定额内?各种管件、阀件及设备上人孔、管口凸凹部分的除锈已综合考虑在定额内。 3.喷射除锈按Sa2.5级标准确定，当变更级别标准时，其人工、材料和机械应如何计算?喷射除锈按Sa2.5级标准确定。若变更级别标准，如按Sa3级则人工、材料、机械乘以系数1.1，按Sa2级或Sal级则人工、材料、机械乘以系数0.9。 4.手工、动力工具除锈可分为哪几种?区分标准是什么?手工、动力工具除锈分轻、中、重三种，区分标准为： 轻锈：部分氧化皮开始破裂脱落，红锈开始发生。 中锈：部分氧化皮破裂脱落，呈堆粉状，除锈后用肉眼能见到腐蚀小凹点。 重锈：大部分氧化皮脱落，呈片状锈层或凸起的锈斑，除锈后出现麻点或麻坑。 5.喷射除锈标准有哪几级?喷射除锈标准： Sa3级：除净金属表面上油脂、氧化皮、锈蚀产物等一切杂物，呈现均一的金属本色，并有一定的粗糙度。 Sa2.5级：完全除去金属表面的油脂、氧化皮、锈蚀产物等一切杂物，可见阴影条纹、斑痕等残留物不得超过单位面积的5％。 Sa2级：除去金属表面上的油脂、锈皮、松疏氧化皮、浮锈等杂物，允许有紧附的氧化皮。 6.什么是微锈?发生微锈时执行什么定额?定额不包括除微锈(标准：氧化皮完全紧附，仅有少量锈点)，发生时执行轻锈定额乘以系数0.2。 7.因施工需要发生的二次除锈，应如何处理?因施工需要发生的二次除锈，应另行计算。 8.各种除锈有何优缺点?各种除锈的优缺点分别为： (1)手工除锈施工方法简单，可以在小构件和复杂外形构件上处理，比较经济，但工作效率低，大面积施工困难，除锈不彻底，氧化皮不易去除。 (2)风动工具除锈工作效率和质量均高于手工除锈，而且施工费用不太高，但劳动条件差，不适用于大面积除锈。 (3)干法喷砂除锈工作效率高，除锈效果好，比较彻底，但劳动条件差，粉尘量大，施工费用较高。 (4)湿法喷涂除锈粉尘少，工作条件比干法喷砂好，但工作效率比干喷砂低，处理后表面容易出现红锈，施工费用较高。 9.如何计算设备、管道除锈、刷油工程量?(1)设备简体、管道表面积计算公式：。 S=πDL (1—1) 式中 π——圆周率； D——设备或管道直径； L——设备筒体高或管道延长米。 (2)计算设备筒体、管道表面积时已包括各种管件、阀门、人孔、管口凹凸部分，不再另外计算。 10.如何计算设备、管道防腐蚀工程量?(I)设备筒体、管道表面积计算公式为： S=πDL (1—2) 式中 π——圆周率，取3.14； D——设备简体、管道直径(m)； L——设备筒体、管道高或延长米(m)。 (2)设备上的人孔、管口所占面积不另计算，同时在计算设备表面积时也不扣除。其工程量计算方法见下例。 11.什么是阀们、弯头和法兰。如何计算其防腐蚀工程量。 阀们指在工艺管道上，能够灵活控制管内介质流量的装置，统称阀们或阀件。 弯头是用来改变管道的走向。常用弯头的弯曲角度为90°、45°和180°， 180°弯头也称为U形弯管，也有用特殊角度的，但为数极少。 法兰是工艺管道上起连接作用的一种部件。这种连接形式的应用范围非常广泛，如管道与工艺设备连接，管道上法兰阀门及附件的连接。采用法兰连接既有安装拆卸的灵活性，又有可靠的密封性。 阀门、弯头、法兰表面积计算式如下。 (1)阀门表面积： S=πD×2.5DKN （1-3） 式中 D——直径； K一一系数，取1.05； N——阀门个数。 (2)弯头表面积： S=πD×1.5DK×2π/B×N (1-4) 式中 D——直径； K——系数，取1.05 N——弯头个数； B值取定为：90°弯头．B=4；45°弯头B=8 (3)法兰表面积： S=πD×1.5DKN （1-5） 式中 D——直径； K——系数，取1.05； N——法兰个数。 (4)设备和管道法兰翻边防腐蚀工程量计算式。 S=π（D+A）A （1-6） 式中D——直径； A——法兰翻边宽。 12.如何计算绝热工程的工程量?(1)设备简体或管道绝热、防潮和保护层计算公式： V=π(D+1.033δ)X1.033δL （1-7） S=π(D+2.18δ+0.0082)L （1-8） 式中 V——绝热层体积； S——绝热层面积； D——直径； 1.033、2.1——调整系数； d——绝热层厚度； L——设备筒体或管道长； 0.0082——捆扎线直径或钢带厚。 （2）伴热管道绝热工程量计算式： 1）单管伴热或双管伴热(管径相同，夹角小于900时)： D`=D1+D2+（10～20mm） 式中 D`——伴热管道综合值； D1——主管道直径； D2——伴热管道直径； (10～20mm)——主管道与伴热管道之间的间隙。 2） 双管伴热(管径相同，夹角大于90°时)： D`=D1+1.5D2+(10～20mm) (1-10) 3) 双管伴热(管径不同，夹角小于90°时)： D`=D1+1.5D2+(10～20mm) (1—1) 式中 D`——伴热管道综合值； D1——主管道直径。 将上述D`计算结果分别代人公式(1—7)、(1—8)计算出伴热管道的绝热层、防潮层和保护层工程量。 (3)设备封头绝热、防潮和保护层工程量计算式： V=[(D+1.033δ)/2]2π×1.033δ×1.6N （1-12） S=[（D+2.1δ）/2] 2π×1.6N （1-13） 13.什么是绝热工程?绝热工程是将绝热材料用人工或机械方法捆绑、缠绕或浇注、喷镀在设备、管道、金属结构或其他物体表面上以达到绝热效果的施工全过程。 14.刷油工程和防腐蚀工程中设备、管道，一般金属结构、管廊钢和H型钢分别以什么为计量单位?刷油工程和防腐蚀工程中设备、管道以“m2”为计量单位。一般金属结构和管廊钢结构以“kg”为计量单位；H型钢制结构(包括大于400mm以上的型钢)以“10 m2”为计量单位。 15.如何计算设备、管道内壁防腐蚀工程量?计算设备、管道内壁防腐蚀工程量时，当壁厚大于等于10mm时，按其内径计算；当壁厚小于10mm时，按其外径计算。 16.为什么喷射除锈在变更级别标准时，其人工、材料和机械应乘以相关系数?一般除锈的下一步就是涂层，涂层的基层处理要求与涂料的品种、建筑构件的材料和重要性有关。例如，富锌类涂料对金属基层除锈的要求比较高，带锈底漆可以在不彻底除锈的基层上涂装，湿固化型涂料对基层或环境要求一定的湿度，重要的、高耸的钢结构或处于严重腐蚀条件下的钢结构的基层除锈要求较高等。在确定涂料方案时，应包括对基层处理的要求。实际问题实际分析，尽量减少不必要的浪费，当除锈级别较高时，人工、材料、机械费用为了定量处理乘以一个系数1.1，反之，当除锈级别不够高时，可乘以系数0.9。 17.如何计算人工除锈工程量? 人工除锈时，管道和金属结构应区分锈蚀不同等级；设备区分锈蚀不同等级和直径大小；管道和设备均以“10 m2”为单位计算；金属结构以质量“100kg”为单位计算。 18.如何计算砂轮机除锈工程量?砂轮机除锈，即半机械化除锈。金属面区分锈蚀等级以“10 m2”计算。 19.如何计算喷砂除锈工程量?工程量计算： (1)设备区分直径大小，按内壁，外壁划分子项目，以“10 m2”为单位计算。 (2)管道按内、外壁划分子项目，以“10 m2”为单位计算。 (3)金属结构按其质量，以“100kg”为单位计算。 (4)气柜有分喷石英砂和喷河砂之分，分别按水槽壁板、水槽底板、中罩板、金属结构划分子目，除金属结构按质量以“100kg”为单位计算外，其余均按面积以“10m2”为单位计算。 20.如何计算化学除锈工程量?化学除锈，又称酸洗除锈。金属表面分为一般和特殊两种，分别以10m2为单位计算。 21.钢筋除锈有哪些方法?什么情况下应降级使用或剔除不用?钢筋的表面应洁净。油渍、漆污和用锤敲击时能剥落的浮皮、铁锈等应在使用前清除干净。在焊接前，焊点处的水锈应清除干净。 钢筋的除锈，一般可通过以下两种方法：一是在钢筋冷拉或钢丝调直过程中除锈，对大量钢筋的除锈较为经济省力；二是用机械方法除锈，如采用电动除锈机除锈，对钢筋的局部除锈较为方便。此外，还可采用手工除锈(用钢丝刷、砂盘)、喷砂和酸洗除锈等。 电动除锈机，如图1—3所示。该机的圆盘钢丝刷有成品供应，也可用废钢丝蝇头拆开编成，其直径为20～30cm、厚度为5～ 15cm、转速为1000r／min左右，电动机功率为1.0～1.5kw。为了减少除锈时灰尘飞扬，应装设排尘罩和排尘管道。

【徐寅-南京大学- 阿里实习心得】 现在的心情非常复杂，因为小姐姐说看中了我的研究成果才让我参加这个实习心得分享的，但是我环顾四周只有我一个人的成果还没有发表出来！有一种青铜误入王者局的错乱感，不过在小姐姐大大的“不准退出”四个字面前，还得强撑着分享一点我的搬砖经历。 技术落地 来到菜鸟实习给了我在学校科研完全不一样的体验。这点感觉大家应该都深有体会。在学校是设计一个漂亮的齿轮，而在公司需要把这个齿轮安装到巨大的机器上，还要保证能够正常运行。结果就是来了菜鸟以后我花了很多时间在算法无关的事情上，比如说上线代码的编写和调试，比如说符合rtp接口的模型的训练和装载，比如和仓库运维人员的沟（扯）通（皮），争取更多的流量给我们的算法测试等等。在仓库这种大规模的现实复杂环境进行落地，为了数据的准确，只有到仓库实地考察测算以后你才能安下心来。 快乐工作 在我来阿里之前，关于阿里只听过马老师的“福报论”，因此以为可能会是一个从黑夜干到黑夜的血汗工厂。不过没想到实际上是10-6-5的八小时工作制，马老师的“福报论”只是鼓励大家要多奋斗而已。虽然大家都习惯了自愿加班到9点，不过有学长借的工牌，能够每天吃20块的夜宵。不过要是夜宵的种类能更丰富一点就好了，那种精致的小蛋糕总是可遇不可求。 回想一下，在杭州已经去过不少次西湖了，不过都是团建的活动。菜鸟ai部的团建应该是我最喜欢的团建类型了。在西湖的茶园美景边上，享受着清风和茶香，大家悠闲地玩着桌游或者聊天，让我这个ktv残疾人终于享受到了团建的快乐。 希望成果没事 半年多的实习一共攒出来两个工作，一个是偏理论的强化学习多目标环境自动分解技术，另一个是强化学习应用在仓库进行拣选单全局优化的工作，目前即将投稿Neurips20和NMI，希望能有一个好结果吧！ 【杨亚涛-中山大学- 我的RI实习经历和感受】 现在回想还能非常清晰的记得当初实习第一天的那个场景，经过一系列入职流程之后，在杭州那高温的鬼天气下，我和师兄搬着台式机从四号楼走到了七号楼。由于我属于那种营养过剩的体型，机器搬到七号楼时，我的整个上衣都感觉被汗打湿了。进入大厅中，好不容易从被高温天气折磨的懵逼的状态下解脱出来。我又进入到了一个新的懵逼阶段。师兄带着我掠过了无数个工位之后转身进入了最角落的一个小房间。嗯，没错，我在实习的第一天就被拉进阿里特色的双十一项目室了。环顾着周围的大佬，心中还是有些胆怯。懵逼的在各位大佬面前做完自我介绍。 之后，在师兄的帮助下装完各种实验环境。师兄带着我到了走廊并在玻璃上描绘着大家做的事情以及我要做的事情。呃。。。懵逼过后的我开始接触了一个全新的令我再次懵逼的研究内容-Query改写。简单来说就是淘宝的用户常常输入的Query和商品标题描述之间会存在GAP。如何消除这个GAP是需要Query改写来做的。举个例子，用户搜索“大容量冰箱”，很多相关的商品标题不会用“大容量”来描述。会用多少升来写。单用用户输入的Query进行商品召回，会有很多相关产品会被忽略，并且还有可能面临不相关产品被召回展示。为了增加相关商品召回以及准确度，就需要对用户输入的原始Query进行改写。呃。。。听完师兄的介绍之后，师兄说希望能在双十一检验下效果。那个时候的感觉就是，哪有时间懵逼啊，抓紧做吧。 接下来，每天就在师兄发资料、阅读资料、实验、分析数据中度过。实验结果逐渐从坏变成了好。不过最后还是很遗憾没有在双十一时候检测模型效果。不过，在双十一之后师兄上线测试效果。还是有明显的改进的。在看到师兄周报中线上指标的提升之后，我的内心不由的升起了些许成就感。之后就开始了写论文投论文。经过一轮SIGIR的Reject之后，该工作被CIKM接收。总体谈下实习的感受。在来到阿里做RI实习之前，在实验室都是做一些偏向于研究性质的工作。呃。。。简单来说就是做了很多脱离应用场景的的工作。就是为了发论文而发论文。在阿里做的都是实用的、能够迅速看到实际效果的工作。既能够发论文，自己每次打开淘宝搜索时又能获得满满的成就感。 【张心怡-北京大学- 在阿里数据库科研团队实习是种怎样的体验？】 作者简介： 张心怡，北京大学前沿交叉研究院研究生，中国人民大学信息学院本科生。从18年底开始在POLARDB-X团队智能数据库组的实习，现已在阿里度过了一年多的时光。 心怡说，对于有志于数据库领域研究的小伙伴，这里是最好的学习和工作平台。 优秀的同行人，助我成长 我所在组的研究方向是智能数据库，目标是利用机器学习和统计优化等技术，实现数据库系统各个组件的自动优化，如存储引擎，并发控制，SQL优化器等，以减少系统成本，提升系统性能，以实现一个self-driving的数据库系统。 这是一个很有前景的方向。大四上学期，初来实习的我内心其实颇为忐忑，面对组里的同事前辈，“跟不上进度”成了我最担心的事情。然而，进入到工作状态之后，我心里的石头落了地：mentor给实习生安排的任务是循序渐进的，一次次讨论与指导，使我能够快速上手。经过和mentor的讨论，我选择把“智能查询优化”作为第一个研究项目，并且与大四学期的毕设结合，基于阿里线上平台的实际问题，展开研究。查询优化属于数据库比较底层的部分，之前我没有很深的了解。在开展研究的过程中，除了自己阅读文献，同事成为了我的“知识宝库”。遇到场景落地问题时，我会请教PolarDB-X优化器开发的同事，他们往往能够一针见血地指出实际问题。 我的成长离不开组里各位老师的帮助与分享，组内还会定期或不定期组织reading group，讲解工作成果与学界进展。在这里，你会发现身边的同事大多对深耕于某一领域，实力扎实，与他们交流会收获很多！ 快乐工作，认真生活 “快乐工作，认真生活”，记得我刚刚入职时HR提到了这个观点，入职之后我发现这是阿里人身体力行的一句话。 在工作上，身边的人都很努力。在这种氛围的感召下，遇到难题，我也会情不自禁地在工位上多坐一会。暑期实习的时候，时常9点之后结束工作，打车回宿舍。生活上，团队里组织了丰富多彩的活动。聚餐已经成为了常规项目。工作间隙还可以去健身房锻炼一波，园区的按摩椅也成为了养生女孩的午休项目。印象最深的是团队组织的运动会，女子项目是平板支撑。听到这个消息之后，我基本每天都进行练习。运动会那天，杭州base、北京base、硅谷base进行了三地PK，在同事的加油下，我坚持了平板支持7分25秒，最后拿到了女子组冠军。 大家的工作与生活模式都很健康充实。在阿里，我见识到了工作发展的可持续性与优秀的团队交互模式。 阿里实习，带我打开科研大门 来到阿里之前，我是一个对科研比较懵懂的门外汉。特别幸运的是，在这里我遇到了很棒的mentor们指导我进行研究工作。不论是基础的代码风格还是研究思路、遇到的问题，mentor都会事无巨细地进行引导。以前我写代码，能跑起来、自己看得懂就行。 我在阿里提交的第一次merge request，有不少随意的空行和一些tricky且难以维护的逻辑。印象很深的是，当时mentor逐行写了comment指出问题。我认识到了代码的规范性和可维护性，以及别人是否能够理解自己的代码都是要考虑的问题。 2019年我从中国人民大学毕业，来到北京大学攻读数据科学研究生，感谢我的研究生导师崔斌老师对我在阿里实习的支持。当时，我在阿里研究的第一个课题，也画上了圆满的句号：我在NDBC（CCF National Database Conference）进行了课题报告，投稿论文并被评为best student paper。 我在阿里参与研究的第二个课题是数据库的智能调参。传统的数据库调参中DBA基于经验与尝试推荐参数值，而我们要做的是基于机器学习算法自动高效给出推荐。这个课题在进行过程中遇到了不少困难，算法的适用性与有效性是我们重点考虑的。在进行了很久的实验之后，会发现一些坑和问题，挫败感是有的，但是会马上被新的尝试与期待替代。 我发现，在这里的研究并不是为了学术灌水而做，有意义研究是问题导向的。mentor时常强调要找到可复现的场景和实际问题，这样才有实际意义。我的mentor base在硅谷，因为时差我时不时在早上收到消息和反馈，这成为了我起床开启新的一天的最大动力。mentor是我科研路上的引路人，也是并肩作战的战友，大家一起为了攻克问题而努力！ 阿里的实习经历，帮我找到了打开科研大门的钥匙，让我从对科研的懵懵懂懂，到爱上了这一发现问题、攻克问题的过程。我希望将来能继续数据库领域的研究工作，在玉洁冰清的逻辑世界继续追寻。 【张亚斌-华南理工大学- 搬砖有感之研究吐槽】 首先声明这是一份任务性报告，大家如果赶去吃饭就可以先撤了。大家如果正在排队，可以一起吐槽一下。 作为一名即将硕士毕业&博士入学的研究生，我的研究经验有限，所以以下感悟吐槽仅供大家茶余饭后一笑，偶有雷同，纯属巧合~ 选题 提到学术研究，首当其冲的就是选题啦。选题并不仅仅是选择自己喜欢的热点题目，要综合考虑很多其他因素： - Supervisor or coauthor的研究背景。该项涉及到可预期的帮助 - 可使用的硬件资源。对于cv和ml来说，有的课题需要占用很大的计算资源，如 - -ImageNet based NAS。硬件资源基本决定了试错的时间成本。 - 研究课题的研究价值。当时火的课题，有些做1-2年之后可能就过时了，有些1-2年之后可能更加火。决定性因素很大程度是其潜在应用空间。 该研究课题在工业界的价值。在阿里工作实习的我们的研究课题当然和公司项目有千丝万缕的联系。 自己的兴趣。 除了上述的热点课题或潜在热点课题，还有如下的选择： 自创新的课题，俗称挖坑。该方面需要对整个研究领域比较全面和比较深入的理解，然后对整个研究领域的研究方向进行建设性的预测。一般都是大佬在挖坑。 方法 选好课题之后，得到对应的解决问题的方法一般经由如下步骤： 1. 发现问题的能力：一般来说，对于新问题会有一个或几个直接的处理方法，此时就是比手速的时候了；不过很多时候这里真正较量的是发现问题的能力。 2.发现问题的能力again：后续像我这样的大多数研究人员都是在该框架上修修改改，当然也会有大牛直接开辟新的basic pipelines。如果我们聚焦在对现有框架的修改，首先第一步要做的是分析现有框架有什么遗留问题，然后针对该问题设计改进方法。 3.Naïve idea：我们一般会发现其实做出少量改进并发表论文是相对容易的，因为simple idea是比较容易获得的：如 https://mp.weixin.qq.com/s/vnyra_xcg9D6NUNVpKtP0Q所调侃，单纯的做方法A+方法B，或者A方法用于B领域就可以实现（或许这就是多看论文的巨大优势？调侃脸）。不过对于非入门同学来说，该method combine的方式形同饮鸩止渴。 4.Mature idea：相对于直接将其他论文中的方法“借”为己用，借鉴其他论文方法提出过程中的研究思路是一个更加合理的选择。也就是要分析出：该作者发现了哪些问题？对该问题提出了怎样的思考？如何从思考过渡到实际算法改进？甚至对于算法改进过程中碰到的问题的处理方法。这个分析过程是重要的也是必要的，我觉得这个过程是研究人员提升的过程，即发现问题，解决问题能力的全面提升。 5.Advanced idea: 特指原创性很强的，从无到有的idea。和上面说的大牛的basic pipelines应该基本重叠吧。 写作 基本方法验证之后，接下来论文写作了。 英文写作约等于逻辑+英文本身，其中逻辑占绝大比重。逻辑就是讲故事，如何条理分明将自己的工作讲给别人听，并让听者觉得该工作在整个研究的领域是重要的，有意义的。写作能力很重要，例如即使naive的idea 如果写作很好也是很有机会发表的。那么如何练习呢？我导师给的朴素建议是：多练习，每天把自己的工作进展和想法用英文formal 的写出来。 最后，也是最重要的，祝各位同学抱紧大腿，大腿紧抱。

Java Java核心技术·卷 I（原书第10版）| Core Java Volume 讲的很全面，书中的代码示例都很好，很适合Java入门。 但是作者不太厚道的是把现在没人用的GUI编程放在了第一卷，基本上10~13章是可以不用读的。 Java性能权威指南|Java Performance: The Definitive Guide 市面上介绍Java的书有很多，但专注于Java性能的并不多，能游刃有余地展示Java性能优化难点的更是凤毛麟角，本书即是其中之一。 通过使用JVM和Java平台，以及Java语言和应用程序接口，本书详尽讲解了Java性能调优的相关知识，帮助读者深入理解Java平台性能的各个方面，最终使程序如虎添翼。 实战Java高并发程序设计|葛一鸣 由部分段落的行文来看，搬了官方文档。 也有一些第一人称的叙述和思考，也能看出作者也是花了一点心思的。胜在比较基础，涉及到的知识点也还很全面（讲到了流水线计算和并发模型这些边边角角的），但是由于是编著，全书整体上不够统一和深入，适合作为学习高并发的第一本工具书。 Java 8实战 对Java8的新特性讲解的十分到位，尤其是lamdba表达式和流的操作。 再者对于Java8并发处理很有独到见解。对于并行数据处理和组合式异步编程还需要更深的思考才能更加掌握。 推荐给再用java8但没有去真正了解的人看，有很多你不知道的细节、原理和类库设计者的用心良苦在里面、内容没有很难，抽出几个小时就能看完，花费的时间和收获相比，性价比很高。 Java并发编程实战 先不谈本书的内容如何，光书名就足够吸引不少目光。“并发”这个词在Java世界里往往和“高级、核心”等字眼相联系起来，就冲着这两个字，都将勾起软件工程师们埋藏在心底那种对技术的探索欲和对高级API的驾驭感。 程序员嘛，多少都有点职业病。其实Java对“并发”优化从未停止过，从5.0到7.0，几乎每个版本的新特性里，都会针对前一版本在“并发”上有所改进。这种改进包括提供更丰富的API接口、JVM底层性能优化等诸多方面。 Thinking in Java 很美味的一本书，不仅有icecreamm，sundae，sandwich，还有burrito！真是越看越饿啊~ Effective Java中文版（第3版）|Effective Java Third Edition Java 高阶书籍，小白劝退。介绍了关于Java 编程的90个经验技巧。 作者功力非常强悍，导致这本书有时知识面迁移很广。总之，非常适合有一定Java开发经验的人阅读提升。 深入理解Java虚拟机（第3版）| 周志明 浅显易懂。最重要的是开启一扇理解虚拟机的大门。 内存管理机制与Java内存模型、高效并发这三章是特别实用的。 Java虚拟机规范（Java SE 8版）|爱飞翔、周志明 整本书就觉得第二章的方法字节码执行流程，第四章的前8节和第五章能看懂一些。其他的过于细致和琐碎了。 把Java字节码讲的很清楚了，本质上Java虚拟机就是通过字节码来构建的一套体系罢了。所以字节码说的非常细致深入。 数据&大数据 数据结构与算法分析|Data Structures and Algorithm Analysis in Java 数据结构是计算机的核心，这部书以java语言为基础，详细的介绍了基本数据结构、图、以及相关的排序、最短路径、最小生成树等问题。 但是有一些高级的数据结构并没有介绍，可以通过《数据结构与算法分析——C语言描述》来增加对这方面的了解。 MySQL必知必会 《MySQL必知必会》MySQL是世界上最受欢迎的数据库管理系统之一。 书中从介绍简单的数据检索开始，逐步深入一些复杂的内容，包括联结的使用、子查询、正则表达式和基于全文本的搜索、存储过程、游标、触发器、表约束，等等。通过重点突出的章节，条理清晰、系统而扼要地讲述了读者应该掌握的知识，使他们不经意间立刻功力大增。 数据库系统概念|Datebase System Concepts(Fifth Edition) 从大学读到现在，每次拿起都有新的收获。而且这本书还是对各个数据相关领域的概览，不仅仅是数据库本身。 高性能MySQL 对于想要了解MySQL性能提升的人来说，这是一本不可多得的书。 书中没有各种提升性能的秘籍，而是深入问题的核心，详细的解释了每种提升性能的原理，从而可以使你四两拨千斤。授之于鱼不如授之于渔，这本书做到了。 高可用MySQL 很实用的书籍，只可惜公司现有的业务和数据量还没有达到需要实践书中知识的地步。 利用Python进行数据分析|唐学韬 内容还是跟不上库的发展速度，建议结合里面讲的库的文档来看。 内容安排上我觉得还不错，作者是pandas的作者，所以对pandas的讲解和设计思路都讲得很清楚。除此以外，作者也是干过金融数据分析的，所以后面专门讲了时间序列和金融数据的分析。 HBase 看完影印版第一遍，开始以为会是大量讲API，实际上除了没有将HBase源代码，该讲的都讲了，CH8，9章留到最后看的，确实有点顿悟的感觉，接下来需要系统的看一遍Client API，然后深入代码，Come ON！ Programming Hive Hive工具书，Hive高级特性。 Hadoop in Practice| Alex Holmes 感觉比action那本要强 像是cookbook类型的 整个过完以后hadoop生态圈的各种都接触到了 这本书适合当参考手册用。 Hadoop技术内幕|董西成 其实国人能写这样的书，感觉还是不错的，不过感觉很多东西不太深入，感觉在深入之前，和先有整体，带着整体做深入会更好一点， jobclient,jobtracer,tasktracer之间的关系最好能系统化 Learning Spark 很不错，core的原理部分和api用途解释得很清楚，以前看文档和代码理解不了的地方豁然开朗。 不足的地方是后几章比较弱，mllib方面没有深入讲实现原理。graphx也没有涉及 ODPS权威指南 基本上还算一本不错的入门，虽然细节方面谈的不多，底层也不够深入，但毕竟是少有的ODPS书籍，且覆盖面很全，例子也还行。 数据之巅|徐子沛 从一个新的视角（数据）切入，写美国历史，统计学的发展贯穿其中，草蛇灰线，伏脉千里，读起来波澜壮阔。 消息队列&Redis RabbitMQ实战 很多年前的书了，书中的例子现在已经不适用了，推荐官方教程。 一些基础还是适用，网上也没有太多讲rab的书籍，将就看下也行，我没用过所以…. Apache Kafka源码剖析|徐郡明 虽然还没看，但知道应该不差。我是看了作者的mybatis源码分析，再来看这本的，相信作者。 作者怎么有这么多时间，把框架研究的这么透彻，佩服，佩服。 深入理解Kafka：核心设计与实践原理|朱忠华 通俗易懂，图文并茂，用了很多图和示例讲解kafka的架构，从宏观入手，再讲到细节，比较好，值得推荐。 深入理解Kafka是市面上讲解Kafka核心原理最透彻的，全书都是挑了kafka最核心的细节在讲比如分区副本选举、分区从分配、kafka数据存储结构、时间轮、我认为是目前kafka相关书籍里最好的一本。 Kafka 认真刷了 kafka internal 那章，看了个talk，算是入了个门。 系统设计真是门艺术。 RocketMQ实战与原理解析|杨开元 对RocketMQ的脉络做了一个大概的说明吧，深入细节的东西还是需要自己看代码 Redis设计与实现|黄健宏 部分内容写得比较啰嗦，当然往好了说是对新手友好，不厌其烦地分析细节，但也让整本书变厚了，个人以为精炼语言可以减少20%的内容。 对于有心一窥redis实现原理的读者来说，本书展露了足够丰富的内容和细节，却不至于让冗长的实现代码吓跑读者——伪代码的意义在此。下一步是真正读源码了。 Redis 深度历险：核心原理与应用实践|钱文品 真心不错，数据结构原理+实际应用+单线程模型+集群（sentinel, codis, redis cluster）, 分布式锁等等讲的都十分透彻。 一本书的作用不就是系统性梳理，为读者打开一扇窗，读者想了解更多，可以自己通过这扇窗去Google。这本书的一个瑕疵是最后一章吧，写的仓促了。不过瑕不掩瑜。 技术综合 TCP/IP详解 卷1：协议 读专业性书籍是一件很枯燥的事，我的建议就是把它作为一本手册，先浏览一遍，遇到问题再去详细查，高效。 Netty in Action 涉及到很多专业名词新概念看英文原版顺畅得多，第十五章 Choosing the right thread model 真是写得太好了。另外结合Ron Hitchens 写的《JAVA NIO》一起看对理解JAVA NIO和Netty还是很有帮助的 ZooKeeper 值得使用zookeeper的人员阅读, 对于zookeeper的内部机制及api进行了很详细的讲解, 后半部分深入地讲解了zookeeper中ensemble互相协作的流程, 及group等高级配置, 对zookeeper的高级应用及其它类似系统的设计都很有借鉴意义. 从Paxos到Zookeeper|倪超 分布式入门鼻祖，开始部分深入阐述cap和base理论，所有的分布式框架都是围绕这个理论的做平衡和取舍，中间 zk的原理、特性、实战也讲的非常清晰，同时讲cap理论在zk中是如何体现，更加深你对cap的理解. 深入理解Nginx（第2版）|陶辉 云里雾里的快速读了一遍，主要是读不懂，读完后的感受是设计的真好。 原本是抱着了解原理进而优化性能的想法来读的，却发现书中的内容都是讲源码，作者对源码的注释超级详细，非常适合开发者，但不适合使用者，给个五星好评是因为不想因为我这种菜鸡而埋没了高质量内容。 另外别人的代码写的真好看，即便是过程式语言程序也吊打我写的面向对象语言程序。 作者是zookeeper的活跃贡献者，而且是很资深的研究员，内容比较严谨而且较好的把握住了zk的精髓。书很薄，但是没有废话，选题是经过深思熟虑的。 深入剖析Tomcat 本书深入剖析Tomcat 4和Tomcat 5中的每个组件，并揭示其内部工作原理。通过学习本书，你将可以自行开发Tomcat组件，或者扩展已有的组件。 Tomcat是目前比较流行的Web服务器之一。作为一个开源和小型的轻量级应用服务器，Tomcat 易于使用，便于部署，但Tomcat本身是一个非常复杂的系统，包含了很多功能模块。这些功能模块构成了Tomcat的核心结构。本书从最基本的HTTP请求开始，直至使用JMX技术管理Tomcat中的应用程序，逐一剖析Tomcat的基本功能模块，并配以示例代码，使读者可以逐步实现自己的Web服务器。 深入理解计算机系统 | 布莱恩特 无论是内容还是纸张印刷，都是满分。计算机学科的集大成之作。引导你如何练内功的，算是高配版本的计算机导论，目的是釜底抽薪引出来操作系统、组成原理这些专业核心的课程。帮助我们按图索骥，点亮一个一个技能树。 架构探险分布式服务框架 | 李业兵 刚看前几章的时候，心里满脑子想得都是这特么贴一整页pom文件代码上来干鸡毛，又是骗稿费的，买亏了买亏了，后来到序列化那章开始，诶？还有那么点意思啊。 到服务注册中心和服务通讯，60块钱的书钱已经赚回来了。 知识是无价的，如果能花几十块钱帮你扫了几个盲区，那就是赚了。 深入分析JavaWeb技术内幕 | 许令波 与这本书相识大概是四年前是在老家的北方图书城里，当时看到目录的感觉是真的惊艳，对当时刚入行的自己来说，这简直就是为我量身定做的扫盲科普集啊。 但是可惜的是，这本书在后来却一直没机会读上。然后经过四年的打怪升级之后，这次的阅读体验依旧很好。 其中，java编译原理、 Servlet工作原理、 Tomcat、spring和iBatis这几章的收获很大。 前端 jQuery 技术内幕| 高云 非常棒的一本书，大大降低了阅读jquery源码的难度（虽然还是非常难）。 Head First HTML与CSS（第2版） 翻了非常久的时间 断断续续 其实从头翻到尾 才发现一点都不难。 可我被自己的懒惰和畏难情绪给拖累了 简单说 我成了自己往前探索的负担。网页基础的语法基本都涵盖了 限于文本形态 知识点都没法像做题一样被反复地运用和复习到。通俗易懂 这不知算是多高的评价？ 作为入门真心算不错了 如果更有耐心 在翻完 HTML 后 对 CSS 部分最好是可以迅速过一遍 找案例练习估计更好 纸上得来终觉浅 总是这样。 JavaScript高级程序设计（第3版） JavaScript最基础的书籍，要看认真，慢慢地看，累计接近1000小时吧。而且对象与继承，性能优化，HTML5 api由于没有实践或缺乏代码阅读量导致看的很糊涂，不过以后可以遇到时再翻翻，或者看更专业的书。 深入理解ES6 Zakas的又一部杰作，他的作品最优秀的地方在于只是阐述，很少评价，这在帮助我们夯实基础时十分有意义，我也喜欢这种风格。 我是中英文参照阅读的，译本后半部分有一些文字上的纰漏，但是总体来说忠实原文，水平还是相当不错，希望再版时可以修复这些文字问题。 高性能JavaScript 还是挺不错的。尤其是对初学者。总结了好多程序方面的好习惯。 不过对于老手来说，这些常识已经深入骨髓了。 深入浅出Node.js|朴灵 本书是我看到现在对Node.JS技术原理和应用实践阐述的最深入，也最全面的一本书。鉴于作者也是淘宝的一位工程师，在技术总是国外好的大环境下，没有理由不给本书五颗星。 作者秉着授人于鱼不如授人于渔的精神，细致入微的从V8虚拟机，内存管理，字符串与Buffer的应用，异步编程的思路和原理这些基础的角度来解释Node.JS是如何工作的，比起市面上众多教你如何安装node，用几个包编写一些示例来比，本书绝对让人受益匪浅。 认真看完本书，几乎可以让你从一个Node的外行进阶到专家的水平。赞！ 总结 其实我觉得在我们现在这个浮躁的社会，大家闲暇时间都是刷抖音，逛淘宝，微博……他们都在一点点吞噬你的碎片时间，如果你尝试着去用碎片的时间看看书，我想时间久了你自然能体会这样的好处。 美团技术团队甚至会奖励读完一些书本的人，很多公司都有自己的小图书馆，我觉得挺好的。 文章来自：敖丙

线网络优化是通过对现已运行的网络进行话务数据分析、现场测试数据采集、参数分析、硬件检查等手段，找出影响网络质量的原因，并且通过参数的修改、网络结构的调整、设备配置的调整和采取某些技术手段（采用MRP的规划办法等），确保系统高质量的运行，使现有网络资源获得最佳效益，以最经济的投入获得最大的收益。 二 GSM无线网络优化的常规方法 网络优化的方法很多，在网络优化的初期，常通过对OMC-R数据的分析和路测的结果，制定网络调整的方案。在采用图1的流程经过几个循环后，网络质量有了大幅度的提高。但仅采用上述方法较难发现和解决问题，这时通常会结合用户投诉和CQT测试办法来发现问题，结合信令跟踪分析法、话务统计分析法及路测分析法，分析查找问题的根源。在实际优化中，尤其以分析OMC-R话务统计报告，并辅以七号信令仪表进行A接口或Abis接口跟踪分析，作为网络优化最常用的手段。网络优化最重要的一步是如何发现问题，下面就是几种常用的方法： 1．话务统计分析法：OMC话务统计是了解网络性能指标的一个重要途径，它反映了无线网络的实际运行状态。它是我们大多数网络优化基础数据的主要根据。通过对采集到的参数分类处理，形成便于分析网络质量的报告。通过话务统计报告中的各项指标(呼叫成功率、掉话率、切换成功率、每时隙话务量、无线信道可用率、话音信道阻塞率和信令信道的可用率、掉话率及阻塞率等)，可以了解到无线基站的话务分布及变化情况，从而发现异常，并结合其它手段，可分析出网络逻辑或物理参数设置的不合理、网络结构的不合理、话务量不均、频率干扰及硬件故障等问题。同时还可以针对不同地区，制定统一的参数模板，以便更快地发现问题，并且通过调整特定小区或整个网络的参数等措施，使系统各小区的各项指标得到提高，从而提高全网的系统指标。 2．DT （驱车测试）：在汽车以一定速度行驶的过程中,借助测试仪表、测试手机，对车内信号强度是否满足正常通话要求，是否存在拥塞、干扰、掉话等现象进行测试。通常在DT中根据需要设定每次呼叫的时长，分为长呼（时长不限,直到掉话为止）和短呼（一般取60秒左右,根据平均用户呼叫时长定）两种（可视情况调节时长），为保证测试的真实性，一般车速不应超过40公里/小时。路测分析法主要是分析空中接口的数据及测量覆盖，通过DT测试，可以了解：基站分布、覆盖情况，是否存在盲区；切换关系、切换次数、切换电平是否正常；下行链路是否有同频、邻频干扰；是否有小岛效应；扇区是否错位；天线下倾角、方位角及天线高度是否合理；分析呼叫接通情况，找出呼叫不通及掉话的原因，为制定网络优化方案和实施网络优化提供依据。 3．CQT （呼叫质量测试或定点网络质量测试）：在服务区中选取多个测试点，进行一定数量的拨打呼叫，以用户的角度反映网络质量。测试点一般选择在通信比较集中的场合，如酒店、机场、车站、重要部门、写字楼、集会场所等。它是DT测试的重要补充手段。通常还可完成DT所无法测试的深度室内覆盖及高楼等无线信号较复杂地区的测试，是场强测试方法的一种简单形式。 4．用户投诉：通过用户投诉了解网络质量。尤其在网络优化进行到一定阶段时，通过路测或数据分析已较难发现网络中的个别问题，此时通过可能无处不在的用户通话所发现的问题，使我们进一步了解网络服务状况。结合场强测试或简单的CQT测试，我们就可以发现问题的根源。该方法具有发现问题及时，针对性强等特点。 5．信令分析法：信令分析主要是对有疑问的站点的A接口、Abis接口的数据进行跟踪分析。通过对A接口采集数据分析，可以发现切换局数据不全(遗漏切换关系)、信令负荷、硬件故障(找出有问题的中继或时隙)及话务量不均(部分数据定义错误、链路不畅等原因)等问题。通过对Abis接口数据进行收集分析，主要是对测量仪表记录的LAY3信令进行分析，同时根据信号质量分布图、频率干扰检测图、接收电平分布图，结合对信令信道或话音信道占用时长等的分析，可以找出上、下行链路路径损耗过大的问题，还可以发现小区覆盖情况、一些无线干扰及隐性硬件故障等问题。 6．自动路测系统分析：采用安装于移动车辆上的自动路测终端，可以全程监测道路覆盖及通信质量。由于该终端能够将大量的信令消息和测量报告自动传回监控中心，可以及时发现问题，并对出现问题的地点进行分析，具有很强的时效性。所采用的方法同5。 在实际工作中，这几种方法都是相辅相成、互为印证的关系。GSM无线网络优化就是利用上述几种方法，围绕接通率、掉话率、拥塞率、话音质量和切换成功率及超闲小区、最坏小区等指标，通过性能统计测试→数据分析→制定实施优化方案→系统调整→重新制定优化目标→性能统计测试的螺旋式循环上升，达到网络质量明显改善的目的。 三 现阶段GSM无线网络优化方法 随着网络优化的深入进行，现阶段GSM无线网络优化的目标已越来越关注于用户对网络的满意程度，力争使网络更加稳定和通畅，使网络的系统指标进一步提高，网络质量进一步完善。 网络优化的工作流程具体包括五个方面：系统性能收集、数据分析及处理、制定网络优化方案、系统调整、重新制定网络优化目标。在网络优化时首先要通过OMC-R采集系统信息，还可通过用户申告、日常CQT测试和DT测试等信息完善问题的采集，了解用户对网络的意见及当前网络存在的缺陷，并对网络进行测试，收集网络运行的数据；然后对收集的数据进行分析及处理，找出问题发生的根源；根据数据分析处理的结果制定网络优化方案，并对网络进行系统调整。调整后再对系统进行信息收集，确定新的优化目标，周而复始直到问题解决，使网络进一步完善。 通过前述的几种系统性收集的方法，一般均能发现问题的表象及大部分问题产生的原因。 数据分析与处理是指对系统收集的信息进行全面的分析与处理，主要对电测结果结合小区设计数据库资料，包括基站设计资料、天线资料、频率规划表等。通过对数据的分析，可以发现网络中存在的影响运行质量的问题。如频率干扰、软硬件故障、天线方向角和俯仰角存在问题、小区参数设置不合理、无线覆盖不好、环境干扰、系统忙等。数据分析与处理的结果直接影响到网络运行的质量和下一步将采取的措施，因此是非常重要的一步。当然可以看出，它与第一步相辅相成，难以严格区分界限。 制定网络优化方案是根据分析结果提出改善网络运行质量的具体实施方案。 系统调整即实施网络优化，其基本内容包括设备的硬件调整（如天线的方位、俯仰调整，旁路合路器等）、小区参数调整、相邻小区切换参数调整、频率规划调整、话务量调整、天馈线参数调整、覆盖调整等或采用某些技术手段(更先进的功率控制算法、跳频技术、天线分集、更换电调或特型天线、新增微蜂窝、采用双层网结构、增加塔放等)。 测试网络调整后的结果。主要包括场强覆盖测试、干扰测试、呼叫测试和话务统计。 根据测试结果，重新制定网络优化目标。在网络运行质量已处于稳定、良好的阶段，需进一步提高指标，改善网络质量的深层次优化中出现的问题(用户投诉的处理，解决局部地区话音质量差的问题，具体事件的优化等等)或因新一轮建设所引发的问题。 四 网络优化常见问题及优化方案 建立在用户感知度上的网络优化面对的必然是对用户投诉问题的处理，一般有如下几种情况： 1．电话不通的现象 信令建立过程 在手机收到经PCH(寻呼信道)发出的pagingrequest(寻呼请求)消息后，因SDCCH拥塞无法将pagingresponse(寻呼响应)消息发回而导致的呼损。 对策：可通过调整SDCCH与TCH的比例，增加载频，调整BCC(基站色码)等措施减少SDCCH的拥塞。 因手机退出服务造成不能分配占用SDCCH而导致的呼损。 对策：对于盲区造成的脱网现象，可通过增加基站功率，增加天线高度来增加基站覆盖；对于BCCH频点受干扰造成的脱网现象，可通过改频、调整网络参数、天线下倾角等参数来排除干扰。 鉴权过程 因MSC与HLR、BSC间的信令问题，或MSC、HLR、BSC、手机在处理时失败等原因造成鉴权失败而导致的呼损。 对策：由于在呼叫过程中鉴权并非必须的环节，且从安全角度考虑也不需要每次呼叫都鉴权，因此可以将经过多少次呼叫后鉴权一次的参数调大。 加密过程 因MSC、BSC或手机在加密处理时失败导致呼损。 对策：目前对呼叫一般不做加密处理。 从手机占上SDCCH后进而分配TCH前 因无线原因(如RadioLinkFailure、硬件故障)使SDCCH掉话而导致的呼损。 对策：通过路测场强分析和实际拨打分析，对于无线原因造成的如信号差、存在干扰等问题，采取相应的措施解决；对于硬件故障，采用更换相应的单元模块来解决。 话音信道分配过程 因无线分配TCH失败(如TCH拥塞，或手机已被MSC分配至某一TCH上，因某种原因占不上TCH而导致链路中断等原因)而导致的呼损。 对策：对于TCH拥塞问题，可采用均衡话务量，调整相关小区服务范围的参数，启用定向重试功能等措施减少TCH的拥塞；对于占不上TCH的情况，一般是硬件故障，可通过拨打测试或分析话务统计中的CALLHOLDINGTIME参数进行故障定位，如某载频CALLHOLDINGTIME值小于10秒，则可断定此载频有故障。另外严重的同频干扰（如其它基站的BCCH与TCH同频）也会造成占不上TCH信道，可通过改频等措施解决。 2．电话难打现象 一般现象是较难占线、占线后很容易掉线等。这种情况首先应排除是否是TCH溢出的原因，如果TCH信道不足，则应增加信道板或通过增加微蜂窝或小区裂变的形式来解决。 排除以上原因后，一般可以考虑是否是有较强的干扰存在。可以是相邻小区的同邻频干扰或其它无线信号干扰源，或是基站本身的时钟同步不稳。这种问题较为隐蔽，需通过仔细分析层三信令和周围基站信息才能得出结论。 3. 掉话现象 掉话的原因几乎涉及网络优化的所有方面内容，尤其是在路测时发生的掉话，需要仔细分析。在路测时，需要对发生掉话的地段做电平和切换参数等诸多方面的分析。如果电平足够，多半是因为切换参数有问题或切入的小区无空闲信道。对话务较忙小区，可以让周围小区分担部分话务量。采用在保证不存在盲区的情况下，调整相关小区服务范围的参数，包括基站发射功率、天线参数（天线高度、方位角、俯仰角）、小区重选参数、切换参数及小区优先级设置的调整，以达到缩小拥塞小区的范围，并扩大周围一些相对较为空闲小区的服务范围。通过启用DirectedRetry（定向重试）功能，缓解小区的拥塞状况。上述措施仍不能满足要求的话，可通过实施紧急扩容载频的方法来解决。 对大多采用空分天线远郊或近郊的基站，如果主、分集天线俯仰角不一致，也极易造成掉话。如果参数设置无误，则可能是有些点信号质量较差。对这些信号质量较差而引起的掉话，应通过硬件调整的方式增加主用频点来解决。 4. 局部区域话音质量较差 在日常DT测试中，经常发现有很多微小的区域内，话音质量相当差、干扰大，信号弱或不稳定以及频繁切换和不断接入。这些地方往往是很多小区的交叠区、高山或湖面附近、许多高楼之间等。同样这种情况对全网的指标影响不明显，小区的话务统计报告也反映不出。这种现象一方面是由于频带资源有限，基站分布相对集中，频点复用度高，覆盖要求严格，必然不可避免的会产生局部的频率干扰。另一方面是由于在高层建筑林立的市区，手机接收的信号往往是基站发射信号经由不同的反射路径、散射路径、绕射路径的叠加，叠加的结果必然造成无线信号传播中的各种衰落及阴影效应，称之为多径干扰。此外，无线网络参数设置不合理也会造成上述现象。 在测试中RXQUAL的值反映了话音质量的好坏，信号质量实际是指信号误码率， RXQUAL=3（误码率：0.8％至1.6％），RXQUAL=4（误码率：1.6％至3.2％），当网络采用跳频技术时，由于跳频增益的原因,RXQUAL=3时，通话质量尚可，当RXQUAL≥6时，基本无法通话。 根据上述情况，通过对这些小区进行细致的场强覆盖测试和干扰测试，对场强覆盖测试数据进行分析，统计出RXLEV／RXQUAL之间对照表，如果某个小区域RXQUAL为6和7的采样统计数高而RXLEV大于－85dBm的采样数较高，一般可以认为该区域存在干扰。并在Neighbor－List中可分析出同频、邻频干扰频点。 5．多径干扰 如果直达路径信号（主信号）的接收电平与反射、散射等信号的接收电平差小于15dB，而且反射、散射等信号比主信号的时延超过4～5个GSM比特周期（1个比特周期=3.69μs），则可判断此区域存在较强的多径干扰。 多径干扰造成的衰落与频点及所在位置有关。多径衰落可通过均衡器采用的纠错算法得以改善，但这种算法只在信号衰落时间小于纠错码字在交织中分布占用的时间时有效。 采用跳频技术可以抑制多径干扰，因为跳频技术具有频率分集和干扰分集的特性。频率分集可以避免慢速移动的接收设备长时间处于阴影效应区，改善接收质量；而且可以充分利用均衡器的优点。干扰分集使所有的移动及基站接收设备所受干扰等级平均化。使产生干扰的几率大为减小，从而降低干扰程度。 采用天线分集和智能天线阵，对信号的选择性增强，也能降低多径干扰。 适当调整天线方位角，也可减小多径干扰。 若无线网络参数设置不合理，也会影响通话质量。如在DT测试中常常发现切换前话音质量较差，即RXQUAL较大（如5、6、7），而切换后，话音质量变得很好，RXQUAL很小（如0、1），而反方向行驶通过此区域时话音质量可能很好（RXQUAL为0、1），因为占用的服务小区不同。对于这种情况，是由于基于话音质量切换的门限值设置不合理。减小RXQUAL的切换门限值，如原先从RXQUAL≥4时才切换，改为RXQUAL≥3时就切换，可以提高许多区域的通话质量。因此，根据测试情况，找出最佳的切换地点，设置最佳切换参数，通过调整切换门限参数控制切换次数,通过修改相邻小区的切换关系提高通话质量。总之，根据场强测试可以优化系统参数。 值得一提的是，由于竞争的激烈及各运营商的越来越深化的要求，某些地方的运营商为完成任务，达到所谓的优化指标，随意调整放大一些对网络统计指标有贡献的参数，使网络看起来“质量很高”。然而，用户感觉到的仍是网络质量不好，从而招致更多用户的不满，这是不符合网络优化的宗旨的。 总之，网络优化是一项长期、艰巨的任务，进行网络优化的方法很多，有待于进一步探讨和完善。好在现在国内两大运营商都已充分认识到了这一点，网络质量也得到了迅速的提高，同时网络的经济效益也得到了充分发挥，既符合用户的利益又满足了运营商的要求，毫无疑问将是持续的双赢局面。 答案来源于网络

在云栖社区的问答区，有一位网友提到有一个问题： 表里相似数据太多，想删除相似度高的数据，有什么办法能实现吗？ 例如： 银屑病怎么治？ 银屑病怎么治疗？ 银屑病怎么治疗好？ 银屑病怎么能治疗好？ 等等 解这个问题的思路 .1. 首先如何判断内容的相似度，PostgreSQL中提供了中文分词，pg_trgm(将字符串切成多个不重复的token,计算两个字符串的相似度) . 对于本题，我建议采取中文分词的方式，首先将内容拆分成词组。 .2. 在拆分成词组后，首先分组聚合，去除完全重复的数据。 .3. 然后自关联生成笛卡尔(矩阵)，计算出每条记录和其他记录的相似度。相似度的算法很简单，重叠的token数量除以集合的token去重后的数量。 .4. 根据相似度，去除不需要的数据。 这里如果数据量非常庞大，使用专业的分析编程语言会更好例如 PL/R。 实操的例子： 首先要安装PostgreSQL 中文分词插件 (阿里云AliCloudDB PostgreSQL已包含这个插件，用法参考官方手册) git clone https://github.com/jaiminpan/pg_jieba.git mv pg_jieba $PGSRC/contrib/ export PATH=/home/digoal/pgsql9.5/bin:$PATH cd $PGSRC/contrib/pg_jieba make clean;make;make install git clone https://github.com/jaiminpan/pg_scws.git mv pg_jieba $PGSRC/contrib/ export PATH=/home/digoal/pgsql9.5/bin:$PATH cd $PGSRC/contrib/pg_scws make clean;make;make install 创建插件 psql # create extension pg_jieba; # create extension pg_scws; 创建测试CASE create table tdup1 (id int primary key, info text); create extension pg_trgm; insert into tdup1 values (1, '银屑病怎么治？'); insert into tdup1 values (2, '银屑病怎么治疗？'); insert into tdup1 values (3, '银屑病怎么治疗好？'); insert into tdup1 values (4, '银屑病怎么能治疗好？'); 这两种分词插件，可以任选一种。 postgres=# select to_tsvector('jiebacfg', info),* from tdup1 ; to_tsvector | id | info ---------------------+----+---------------------- '治':3 '银屑病':1 | 1 | 银屑病怎么治？ '治疗':3 '银屑病':1 | 2 | 银屑病怎么治疗？ '治疗':3 '银屑病':1 | 3 | 银屑病怎么治疗好？ '治疗':4 '银屑病':1 | 4 | 银屑病怎么能治疗好？ (4 rows) postgres=# select to_tsvector('scwscfg', info),* from tdup1 ; to_tsvector | id | info -----------------------------------+----+---------------------- '治':2 '银屑病':1 | 1 | 银屑病怎么治？ '治疗':2 '银屑病':1 | 2 | 银屑病怎么治疗？ '好':3 '治疗':2 '银屑病':1 | 3 | 银屑病怎么治疗好？ '好':4 '治疗':3 '能':2 '银屑病':1 | 4 | 银屑病怎么能治疗好？ (4 rows) 创建三个函数， 计算2个数组的集合（去重后的集合） postgres=# create or replace function array_union(text[], text[]) returns text[] as $$ select array_agg(c1) from (select c1 from unnest($1||$2) t(c1) group by c1) t; $$ language sql strict; CREATE FUNCTION 数组去重 postgres=# create or replace function array_dist(text[]) returns text[] as $$ select array_agg(c1) from (select c1 from unnest($1) t(c1) group by c1) t; $$ language sql strict; CREATE FUNCTION 计算两个数组的重叠部分（去重后的重叠部分） postgres=# create or replace function array_share(text[], text[]) returns text[] as $$ select array_agg(unnest) from (select unnest($1) intersect select unnest($2) group by 1) t; $$ language sql strict; CREATE FUNCTION 笛卡尔结果是这样的： regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:d+)', '', 'g')),' ') 用于将info转换成数组。 postgres=# with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select * from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2) t; t1c1 | t2c1 | t1c2 | t2c2 | t1c3 | t2c3 | simulate ------+------+----------------------+----------------------+-------------------+-------------------+---------- 1 | 1 | 银屑病怎么治？ | 银屑病怎么治？ | {'银屑病','治'} | {'银屑病','治'} | 1.00 1 | 2 | 银屑病怎么治？ | 银屑病怎么治疗？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 1 | 3 | 银屑病怎么治？ | 银屑病怎么治疗好？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 1 | 4 | 银屑病怎么治？ | 银屑病怎么能治疗好？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 2 | 1 | 银屑病怎么治疗？ | 银屑病怎么治？ | {'银屑病','治疗'} | {'银屑病','治'} | 0.33 2 | 2 | 银屑病怎么治疗？ | 银屑病怎么治疗？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 2 | 3 | 银屑病怎么治疗？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 2 | 4 | 银屑病怎么治疗？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 1 | 银屑病怎么治疗好？ | 银屑病怎么治？ | {'银屑病','治疗'} | {'银屑病','治'} | 0.33 3 | 2 | 银屑病怎么治疗好？ | 银屑病怎么治疗？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 3 | 银屑病怎么治疗好？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 4 | 银屑病怎么治疗好？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 4 | 1 | 银屑病怎么能治疗好？ | 银屑病怎么治？ | {'银屑病','治疗'} | {'银屑病','治'} | 0.33 4 | 2 | 银屑病怎么能治疗好？ | 银屑病怎么治疗？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 4 | 3 | 银屑病怎么能治疗好？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 4 | 4 | 银屑病怎么能治疗好？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 (16 rows) 以上生成的实际上是一个矩阵,simulate就是矩阵中我们需要计算的相似度： 我们在去重计算时不需要所有的笛卡尔积，只需要这个矩阵对角线的上部分或下部分数据即可。 所以加个条件就能完成。 postgres=# with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select * from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t; t1c1 | t2c1 | t1c2 | t2c2 | t1c3 | t2c3 | simulate ------+------+--------------------+----------------------+-------------------+-------------------+---------- 1 | 2 | 银屑病怎么治？ | 银屑病怎么治疗？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 1 | 3 | 银屑病怎么治？ | 银屑病怎么治疗好？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 1 | 4 | 银屑病怎么治？ | 银屑病怎么能治疗好？ | {'银屑病','治'} | {'银屑病','治疗'} | 0.33 2 | 3 | 银屑病怎么治疗？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 2 | 4 | 银屑病怎么治疗？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 4 | 银屑病怎么治疗好？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 (6 rows) 开始对这些数据去重，去重的第一步，明确simulate, 例如相似度大于0.5的，需要去重。 postgres=# with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select * from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t where simulate>0.5; t1c1 | t2c1 | t1c2 | t2c2 | t1c3 | t2c3 | simulate ------+------+--------------------+----------------------+-------------------+-------------------+---------- 2 | 3 | 银屑病怎么治疗？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 2 | 4 | 银屑病怎么治疗？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 4 | 银屑病怎么治疗好？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 (3 rows) 去重第二步，将t2c1列的ID对应的记录删掉即可。 delete from tdup1 where id in (with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select t2c1 from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t where simulate>0.5); 例如 : postgres=# insert into tdup1 values (11, '白血病怎么治？'); INSERT 0 1 postgres=# insert into tdup1 values (22, '白血病怎么治疗？'); INSERT 0 1 postgres=# insert into tdup1 values (13, '白血病怎么治疗好？'); INSERT 0 1 postgres=# insert into tdup1 values (24, '白血病怎么能治疗好？'); INSERT 0 1 postgres=# postgres=# with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select * from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t where simulate>0.5; t1c1 | t2c1 | t1c2 | t2c2 | t1c3 | t2c3 | simulate ------+------+--------------------+----------------------+-------------------+-------------------+---------- 2 | 3 | 银屑病怎么治疗？ | 银屑病怎么治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 2 | 4 | 银屑病怎么治疗？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 3 | 4 | 银屑病怎么治疗好？ | 银屑病怎么能治疗好？ | {'银屑病','治疗'} | {'银屑病','治疗'} | 1.00 22 | 24 | 白血病怎么治疗？ | 白血病怎么能治疗好？ | {'治疗','白血病'} | {'治疗','白血病'} | 1.00 13 | 22 | 白血病怎么治疗好？ | 白血病怎么治疗？ | {'治疗','白血病'} | {'治疗','白血病'} | 1.00 13 | 24 | 白血病怎么治疗好？ | 白血病怎么能治疗好？ | {'治疗','白血病'} | {'治疗','白血病'} | 1.00 (6 rows) postgres=# begin; BEGIN postgres=# delete from tdup1 where id in (with t(c1,c2,c3) as postgres(# (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) postgres(# select t2c1 from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) postgres(# simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t where simulate>0.5); DELETE 4 postgres=# select * from tdup1 ; id | info ----+-------------------- 1 | 银屑病怎么治？ 2 | 银屑病怎么治疗？ 11 | 白血病怎么治？ 13 | 白血病怎么治疗好？ (4 rows) 用数据库解会遇到的问题, 因为我们的JOIN filter是<>和<，用不上hashjoin。 数据量比较大的情况下，耗时会非常的长。 postgres=# explain delete from tdup1 where id in (with t(c1,c2,c3) as (select id,info,array_dist(regexp_split_to_array((regexp_replace(to_tsvector('jiebacfg',info)::text,'(:\d+)', '', 'g')),' ')) from tdup1) select t2c1 from (select t1.c1 t1c1,t2.c1 t2c1,t1.c2 t1c2,t2.c2 t2c2,t1.c3 t1c3,t2.c3 t2c3,round(array_length(array_share(t1.c3,t2.c3),1)::numeric/array_length(array_union(t1.c3,t2.c3),1),2) simulate from t t1,t t2 where t1.c1<>t2.c1 and t1.c1<t2.c1) t where simulate>0.5); QUERY PLAN ---------------------------------------------------------------------------------------------------------------------- Delete on tdup1 (cost=10005260133.58..10005260215.84 rows=2555 width=34) -> Hash Join (cost=10005260133.58..10005260215.84 rows=2555 width=34) Hash Cond: (tdup1.id = "ANY_subquery".t2c1) -> Seq Scan on tdup1 (cost=0.00..61.10 rows=5110 width=10) -> Hash (cost=10005260131.08..10005260131.08 rows=200 width=32) -> HashAggregate (cost=10005260129.08..10005260131.08 rows=200 width=32) Group Key: "ANY_subquery".t2c1 -> Subquery Scan on "ANY_subquery" (cost=10000002667.20..10005252911.99 rows=2886838 width=32) -> Subquery Scan on t (cost=10000002667.20..10005224043.61 rows=2886838 width=4) Filter: (t.simulate > 0.5) CTE t -> Seq Scan on tdup1 tdup1_1 (cost=0.00..2667.20 rows=5110 width=36) -> Nested Loop (cost=10000000000.00..10005113119.99 rows=8660513 width=68) Join Filter: ((t1.c1 <> t2.c1) AND (t1.c1 < t2.c1)) -> CTE Scan on t t1 (cost=0.00..102.20 rows=5110 width=36) -> CTE Scan on t t2 (cost=0.00..102.20 rows=5110 width=36) (16 rows) 其他更优雅的方法，使用PLR或者R进行矩阵运算，得出结果后再进行筛选。 PLR R 或者使用MPP数据库例如Greenplum加上R和madlib可以对非常庞大的数据进行处理。 MADLIB MPP 小结 这里用到了PG的什么特性？ .1. 中文分词 .2. 窗口查询功能 (本例中没有用到，但是如果你的数据没有主键时，则需要用ctid和row_number来定位到一条唯一记录)