脚本技术怎么买

Re泪！阿里云服务很烂，自从迁移到阿里云，网站运行错误，一直没有解 你在php中开启了safe_mode，限制php只能在basedir中定义的目录内运行 但是你的脚本又超过了basedir定义的范围，所以出错了 你的错误大概就是这个意思。简单举个例子，就是你限制php只能在C盘运行，但是你的应用在D盘运行php。 解决方法： 1.关掉safe_mode 2.把应用程序的路径添加到basedir，比如现在网站布置在 /alidata/www/wordpress，那就在basedir中添加 /alidata/www/wordpress 你的问题跟aliyun没有半点儿毛线的关系。aliyun卖给的是一台只装系统的机器，新买的电脑不能安装qq，只有完全小白的人才会怪电脑供货商。 所以你这个问题估计说服不了“需要技术支持的千万别再选阿里云了！ ”要用云服务器还是先学会部署环境吧，现在只是小问题，第三方提供的镜像除了后台可能潜藏的安全外，还没有针对服务器配置做过优化，所以你后面可能还会发现类似于“aliyun比其他服务器容易被黑”、“aliyun内存动不动就用完”、“aliyun怎么这么卡”。。。实在不愿意自己搭建环境的话，建议还是继续使用云空间。 ------------------------- Re泪！阿里云服务很烂，自从迁移到阿里云，网站运行错误，一直没有解 额，重启php（httpd、nginx）服务了吗？或者更暴力的，重启服务器了吗？ 再不行找版块版主服务器之家看看，。

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失

快不了。 广义上的数据挖掘工程师还包括算法工程师、机器学习工程师、深度学习工程师等，这些职位负责建立和优化算法模型，并进行算法的工程化实施。一般来说，数据挖掘有两个门槛： 第一个门槛是数学 首先，机器学习的第一个门槛是数学知识。机器学习算法需要的数学知识集中在微积分、线性代数和概率与统计当中，具有本科理工科专业的同学对这些知识应该不陌生，如果你已经还给了老师，我还是建议你通过自学或大数据学习社区补充相关知识。所幸的是如果只是想合理应用机器学习算法，而不是做相关方向高精尖的研究，需要的数学知识啃一啃教科书还是基本能理解下来的。 第二个门槛是编程 跨过了第一步，就是如何动手解决问题。所谓工欲善其事必先利其器，如果没有工具，那么所有的材料和框架、逻辑、思路都给你，也寸步难行。因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法。对于有计算机编程基础的初学者而言，Python是很好的入门语言，很容易上手，同时又活跃的社区支持，丰富的工具包帮助我们完成想法。没有编程基础的同学掌握R或者平台自带的一些脚本语言也是不错的选择。 那么数据挖掘如何入行呢。我们的建议如下： Make your hands dirty 数据挖掘和机器学习的工作流程： 数据建模：将业务问题抽象为数学问题； 数据获取：获取有代表性的数据，如果数据量太大，需要考虑分布式存储和管理； 特征工程：包括特征预处理与特征选择两个核心步骤，前者主要是做数据清洗，好的数据清洗过程可以使算法的效果和性能得到显著提高，这一步体力活多一些，也比较耗时，但也是非常关键的一个步骤。特征选择对业务理解有一定要求，好的特征工程会降低对算法和数据量的依赖。 模型调优：所谓的训练数据都是在这个环节处理的，简单的说就是通过迭代分析和参数优化使上述所建立的特征工程是最优的。 这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。 翻过了数学和编程两座大山，就是如何实践的问题，其中一个捷径就是积极参加国内外各种数据挖掘竞赛。国外的Kaggle和国内的阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和队友们一起学习和进行竞赛，尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。 另外就是企业实习，可以先从简单的统计分析和数据清洗开始做起，积累自己对数据的感觉，同时了解企业的业务需求和生产环境。我们通常讲从事数据科学的要”Make your hands dirty”，就是说要通过多接触数据加深对数据和业务的理解，好厨子都是食材方面的专家，你不和你的“料”打交道，怎么能谈的上去应用好它。 摆脱学习的误区 初学机器学习可能有一个误区，就是一上来就陷入到对各种高大上算法的追逐当中。动不动就讨论我能不能用深度学习去解决这个问题啊。实际上脱离业务和数据的算法讨论是毫无意义的。上文中已经提到，好的特征工程会大大降低对算法和数据量的依赖，与其研究算法，不如先厘清业务问题。任何一个问题都可以用最传统的的算法，先完整的走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透。真正积累出项目经验才是最快、最靠谱的学习路径。 自学还是培训 很多人在自学还是参加培训上比较纠结。我是这么理解的，上述过程中数学知识需要在本科及研究生阶段完成，离开学校的话基本上要靠自学才能补充这方面的知识，所以建议那些还在学校里读书并且有志于从事数据挖掘工作的同学在学校把数学基础打好，书到用时方恨少，希望大家珍惜在学校的学习时间。 除了数学以外，很多知识的确可以通过网络搜索的方式自学，但前提是你是否拥有超强的自主学习能力，通常拥有这种能力的多半是学霸，他们能够跟据自己的情况，找到最合适的学习资料和最快学习成长路径。如果你不属于这一类人，那么参加职业培训(www.ppvke.com)也许是个不错的选择，在老师的带领下可以走少很多弯路。另外任何学习不可能没有困难，也就是学习道路上的各种沟沟坎坎，通过老师的答疑解惑，可以让你轻松迈过这些障碍，尽快实现你的“小”目标。 数据挖掘和机器学习这个领域想速成是不太可能的，但是就入门来说，如果能有人指点一二还是可以在短期内把这些经典算法都过一遍，这番学习可以对机器学习的整体有个基本的理解，从而尽快进入到这个领域。师傅领进门，修行靠个人，接下来就是如何钻进去了，好在现在很多开源库给我们提供了实现的方法，我们只需要构造基本的算法框架就可以了，大家在学习过程中应当尽可能广的学习机器学习的经典算法。 学习资料 至于机器学习的资料网上很多，大家可以找一下，我个人推荐李航老师的《统计机器学习》和周志华老师的《机器学习》这两门书，前者理论性较强，适合数学专业的同学，后者读起来相对轻松一些，适合大多数理工科专业的同学。 搜索“AI时代就业指南”可了解更多大数据相关职业规划信息------------------------- 楼上推荐的书，我只能呵呵了，把他介绍的两本看完你还是一头雾水。 数据挖掘：说白了，就是高级的回归，但残差已经没有假设分布了，衡量模型好坏也不用p值了，就是高级的回归技术（对于因变量是离散的情况，是高级的分类技术），当然还有无指导的机器学习方法。 数据挖掘一定要结合软件来学，目前国内这方面最新的比较精炼的书当推吴喜之的《复杂数据统计方法》，这本书是结合R软件来实现的，如果你想做应用，这本书配合R软件，结合回归分析和广义回归模型，我认为应该够用了。 如果你想做这方面的研究，那《统计学习基础》，范明翻译的，黑斯蒂写的这本书那是必须得看的，绝对的经典。建议买一本收藏。。

谢谢VPSmm和版主，期待你的教程！希望整理个简单的使用两台服务器的教程！ ------------------------- 有几个问题先咨询一下VPSMM，做个技术准备工作，现在阿里云在搞活动，准备好就在买一台服务器。谢谢VPSMM的热情支持。1、“数据库放A，然后，AB都走内网（带宽大）远程连接A”，远程链接A指的是？2、“附件，直接上传到A（阿里上行不限，带宽够大），用远程附件功能。”，下载附件时也走A服务器直接下载还是经由B服务器下载？3、“A和B，分别绑定论坛域名 PHP程序，这样，开启保持连接后，cookies也不影响，无论分发到A或B，论坛都可以正常访问。”，A和B，分别绑定论坛域名 PHP程序，这句没看太明白？php程序指的是什么？ ------------------------- 谢谢VPSMM！1和3我明白了。2的意思我基本看明白了，我是比较菜些，你的博客我看过了。如有不明白的再问。4、“附件部分，A绑定地址到目录，例如ATT.YOUR，B直接用反代A的内容（注意反代走内网，只要设置B机器/etc/hosts的域名ATT.YOUR为A的内网址即可），这样当外网通过SLB访问ATT的时候，能得到最大带宽，而不只是A的带宽。相关RSYNC同步以及LNMP反向代理，在签名红字都能找到教程。”这句里“A绑定地址到目录，例如ATT.YOUR”中ATT.YOUR是附件目录还是附件目录绑定的域名？还有“设置B机器/etc/hosts的域名ATT.YOUR为A的内网址即可），”，这个应该怎么写？ ------------------------- 附件域名用子域名就可以吧？例如：att.abc.com这样绑定到附件目录。“设置B机器/etc/hosts的域名ATT.YOUR为A的内网址即可）”/etc/hosts里增加一句，这样写：10.xx.xxx.xxx att.abc.com ------------------------- 一、最简单的反向代理脚本（只要修改2个网址，存成conf文件放置于vhost下）：server{listen          80;server_name     www.vpsmm.com;location / {proxy_pass          http://cache.vpsmm.com/;proxy_redirect      off;proxy_set_header    X-Real-IP       $remote_addr;proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;}}上面: www.vpsmm.com这里是不是填A服务器的域名,这里:  http://cache.vpsmm.com/;填A服务器附件目录的域名就可以了? ------------------------- 那就是2个地方都填A服务器的域名?假如A和B服务器论坛域名都是:bbs.abc.com,那么这2处填写一样的域名即可?那么A服务器的附件目录绑定的域名:att.abc.com怎么用的? ------------------------- A和B服务器域名都是:bbs.abc.com,反向代理这么写对吗?server{listen          80;server_name    bbs.abc.com;location / {proxy_pass          http://bbs.abc.com/;proxy_redirect      off;proxy_set_header    X-Real-IP       $remote_addr;proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;}} ------------------------- 怎样设置NFS才能不用同步mysql数据库? ------------------------- 用nfs后是不是就不需要nginx反向代理了?nfs挂载的目录可以走内网吗?phpwind程序 ------------------------- phpwind程序有个镜像配置附件地址的,但是不能走内网,不知道nfs挂载的附件目录是不是可以走内网上传下载附件? ------------------------- 这个功能不错,我装的军哥的lnmp环境,装nfs前还要装那个rpc吗? ------------------------- 谢谢TW版主1 ------------------------- 好的,谢谢指导!我自己试试看,有问题再请教! ------------------------- 云服务器用的是军哥的LNMP0.9,现在要安装NFS服务,搜索了论坛和百度,基本都是讲NFS安装的,很少讲到RPC如何安装的,服务器上没有找到rpcinfo这个文件,是不是要先安装什么包?然后再安装nfs?谢谢! ------------------------- 搞了一天，刚搞好。现学现用，谢谢版主twl007的指导！现在是数据库放在A服务器，开启远程链接，两台共用。附件放在B服务器使用NFS共用。SLB均衡负载已开启。也谢谢VPSMM的指导。感谢CCTV，论坛好人多啊。版主，使用敌人消息是怎么发?站内消息发给你?测试网址：   slb均衡负载测试phpwind87 欢迎大家帮助测试，谢谢！测试用户：user1、user2、user3密码都是：12345678

程序员的本命年 996 工作制：即每天早 9 点到岗，一直工作到晚上 9 点。每周工作 6 天。github上超火的工作996，生病ICU。 1024是什么梗，这天去年上了百度热搜，流传成了“程序员节” 1024=2的10次方，在计算机中1GB=1024MB，1MB=1024KB，1KB=1024Byte。 2020年是闰年，2月份有29天，这一年有366天。 职场滑铁卢，2020年第一天就失业了 2020年据说是程序员的本命年，并不是空穴来风，比如我，之前在外包公司干了不到三个月，就遭遇职场滑铁卢，被“释放了” 之前在读者看来那篇文章之后，就有一条评论如是说。被释放，有没有赔偿？我还是要稍微解释一下，我是被“三包的”，小外包公司“卖人头”卖给了大外包公司，大外包公司接的项目，现在客户公司的项目做完了，我被大外包公司“释放”到小外包公司，现在小外包公司又叫我“年后再站”，所以我就主动辞职了。 有人问，那你怎么不继续“混下去”，反正有基本工资有3k（ps:基本上就是这个不成文的规定，外包公司上班基本工资3k+项目奖金）。我想说的是，耗不起，我在客户公司租房，龙岗这边，每天就为了这100块，跑到华强北去“打卡混日子”，所以索性就辞职了。 划重点：外包公司赚差价没有错，天下的路，怎么走自己说了算！（ps：我说的，没好果子吃啊！） 去外包公司真的好吗？ 这也要分两种情况，稳定和不稳定。 稳定 外包一般都派送到大厂，一般的小厂自己招人，大厂需要节省开支。一个打杂的外包工，一般都是10k-20k 深圳招.Net的外包数来数去就那几家的（中软国际、软通动力、文思海辉、博彦科技、武汉佰钧成、塔塔集团、印孚瑟斯…），以前经常打电话让我去面试，后来再没有打过了，当时电话里面听他们讲招聘岗位薪资基本上都是说1020k（不知道现在涨了没有），一般很难再高了，再高很容易就要亏人头钱了…因为外包作为乙方去找甲方报价，研发的报价通常是13001900/人天（这包括了所有的开支） 不稳定 比如我这种情况，小外包买我这个人头，现在项目做完了，没有客户需要人手，我就要被“释放了”。租房子，多续了一个月，工资也就只发最后一个的转正工资，两个月的试用期工资，来来去去，折腾一下，实际到手的钱并不高 当我们从事外包，到底在经历了哪些 01 追影子的光:一位做实施的朋友,从做外包顺利转到客户公司，也算是成功上位了！ 我做实施的时候也有类似的外包经历 客户=东芝《外包公司《自己公司 层层外包有点比较麻烦的是，有个什么事情需要跟好几个人沟通，最简单比如请个假，每一层都要通知一下，因为外包公司付给我们公司的钱是按天收费的，所以实际出勤多少天要通知到位。 三个月的外包时间请了三天假（实际请假两天，客户公司自己休息一天），因为外包以及自己公司没有考虑我这个请假的任何因素，有一天请假还是因为自己公司部门领导结婚老板让请假的，最后没有出勤导致少拿到的钱全让我一人承担了。 奋起离职，去了客户公司上班，外包转正，不陪他们玩了。 02 Java枫:实习做过外包，毕业之后就懵逼了 实习的时候去了银行外包，用的是公司自己封装的框架，天天做报表写几十行几百行的sql，毫不夸张的说我将近一年毕业之后出来面试啥都不会…… 03 一菜到天亮：稳定的外包生涯，工资和技术都挺好的 你们的外包怎么跟我不一样，我跟着一个项目经理两年了，做了两个大项目。一直没有离开过，除了工资和福利不一样，并没有调来调去，而且整个项目代码我都参与了，也没有说叫你做一个模块就让你走，从前端到后台，再到数据库，还有项目需求，我都参与了一大部分，相处的也很好。 04 Mercy的奋二青年：外包两年半，去年十月份会来老家了 外包公司做了两年半，被换了五个项目……当然毕业的时候啥也不会没人要才进的外包。自己也不上进。想在想明白了，没事自己看看书充充电，十月份刚辞职回老家了。 05 7年测试工程师的职场感悟,谈谈“学习”和“成长”。 本人是软件测试工程师（就是手动测试）， 工作经验8年，坐标南京。 开发人员和测试一样如果学校不好容易沦落成为外包人员的命运。 本人，本二毕业，本二中最普通的本科院校。 之前一直想脱离外包公司，但是现在看懂看明白。 第4家公司还是在外包公司， 第一和第二家是华为外包公司； 第三家是创业公司； 第四家在外企做外包。 以我工作8年，7年的外包工作的经验给大家一点分享。 外包公司分驻场外包和非驻场外包 华为外包： 驻场和非驻场经验都有过，跟项目组的同事都可以很好地相处，没有因为是外包身份比周围的人低一等。 感觉不爽的有，同样的加班，人家福利那么好年终奖高； 为什么项目不忙，仍需要固定星期一星期二和星期四晚上加班。 以前年轻没有想明白，经历的多才想明白。 a. 关于年终奖关于福利 华为的人大多是学历很高，综合能力很强的人，他们工作中承受的压力大。 再看看自己，二本本科生， 也只能接受事实了哈，如果想福利好，年终奖高，唯一的出路变强，学习 b. 关于加班 以前想着不忙的时候需要加班，自己感觉不爽。但是公司制度是死的，互联网公司加班都多哟。项目不忙加班时可以学习呀。 外企外包： 现在的公司被本公司被外包的身份外派到一家外企 a. 外派到外企属于驻场办公。 公司之前派过来的测试人员成功转型成为了外企员工， 他爱学习，技术能力强，人际关系不错。成功转入了外企 这是外包公司一个好处。 b. 对于本人女生来说，因为一直是做软件测试，没有开发经验。 缺点： 很难融入项目组，外企公司的女生不愿意和我们第三方公司的人员过多来往。 平时只是外企公司自家人在一起玩耍，对自己我综合能力发展不好。 没有管理可能。 优点： 外企可以学习专业技术，项目组内有自动化测试，本人近半年一直在公司间隙学习自动化测试脚本，往自动化测试工程师转型； 在外企可以积累英语。 有人回复说”能不去外包公司就不要去。对自己的成长不利。” 个人认为： 无论外包公司还是非外包公司，对于个人来言，主要还是在于个人实力和机遇。 很赞同楼主的一个想法“如果有合适的，我还打算去外包公司“。 那我们要清楚什么是“合适”。 靠谱的外包公司也是可以继续去待着的。 我前同事现在在外包公司做测试开发， 拿高工资。 无论对于驻场外包和非驻场外包都可以， 那最主要的出路，“学习”和“成长”。 学习工作中需要掌握的技能，做人做事的软技能，不断成长。

------------------------- 回 9楼(dongfby) 的帖子 单独的云磁盘做备份，最便宜的，价格是0.35元/G每月，而磁盘快照单价是0.3元/G每月，快照备份容量价格更低。你购买云磁盘作为增量备份盘，这个盘没有充分利用完空间的时候，你是吃亏的，除非你每次都保证用完这个磁盘。比如你购买100G磁盘作为备份盘，但是你只用了20G，剩余80G你是空闲的浪费了，而磁盘快照按照已经用的多少来计费。假设你不会做增量备份，每次都采用全量备份，你亏的更多。 磁盘快照呢，除了第一个快照是记录所有磁盘内数据文件的大小，后面备份的快照都只记录变化的数据，也就是增量备份。 举个例子： 如果你磁盘大小1000G，里面只放了20G数据，那么第一个快照大小为20G，后面其他快照大小一般都是增量的数据，一般很小的，一两个G一个。 相比较而言，快照对比自己用磁盘做增量备份而言，显然更划算，价格更低。 当然，自己做备份，可以更加自由的备份方案。 ------------------------- 回 11楼(ap0752o2w) 的帖子 快照的目的就是一个时光机的作用。 如果误删问题，可以通过快照恢复被删除的数据，或者恢复到某一个点的数据。 oss之类同步，还需要消耗流量，当然内网传送是免费的 就单纯数据备份而言，快照显然可靠性更高。 任何数据复制粘贴，或者网络上传等，都可能发生意外的。可能造成数据丢失。因此只能是仁者见仁智者见智了。 你写个脚本，是比较难实现增量备份的。你可以记录增加的文件，但是删除的文件你容易记录么？ 快照的目的，就是一个安全。如果不考虑安全，想作为磁盘来用，那不如自己买磁盘更好？ ------------------------- 回 11楼(ap0752o2w) 的帖子 另外快照也不是所有人都需要的，可能你不需要快照，因为你自己懂技术，可以自己很好的保护自己数据，选择价格更低、更方便的操作 我个人几乎也没怎么使用快照，但是很多新手则不一样，他们手很贱，一般少备份，很容易胡乱操作导致数据丢失。 另外，在业务进行升级，一般我们都会做一次数据的备份。 如果是全量数据备份，那么消耗的时间是很长的，可能造成升级耗费时间太长影响业务。 而有磁盘快照，分分钟打个快照，这样可以很快完成升级。对业务影响最低。 ------------------------- 大多数情况，反而系统盘用磁盘快照备份更加节省。因为系统盘一般很小，20G或者40G，快照也就10多G或者20多G，请注意，空闲的空间快照是不备份的。快照第一个快照记录所有数据，第二个后面的只记录变化的数据。系统盘备份不需要高频，一天备份一次都不为过，哪怕不备份，丢了就丢了，大不了重做系统部署环境，我甚至还可以做镜像来恢复。数据盘才是备份核心，这里数据盘并不指代你的数据库。数据库仅仅是一方面。数据库有主从复制之类的方案去做备份，也可以做mysql（例如）增量备份，可以开启日志做增量备份。我们数据备份不是精确到小时的，而是精确到比毫秒更低，精确到sql执行到哪一条的。这点阿里云rds也采用了类似机制，可以任意恢复到某一个点的数据。一个小时备份一次无意义，因为你数据丢了，有时候一秒钟也会造成很大损失。快照功能备份有他自己的场景，没有人用他来做精确到sql条的备份。快照主要是备份一定程度上的数据，还包含你其他数据，如附件、程序文件、头像、图片等等，这才是快照备份的核心。 ------------------------- 回 15楼(ap0752o2w) 的帖子 所以，目前看，你最不爽的就是价格了，因为以前免费的突然收费了。 我也是阿里云用户，这点也不爽，但是就各方面看，快照仍然是比较廉价的备份方案。特别适合新手。老鸟的话看自己选择了，还是那句话，仁者见仁了。 ------------------------- 回 15楼(ap0752o2w) 的帖子 你的忧虑同样是我的忧虑，比如某打车软件，之前免费的或者低价的，竞争对手干掉后直接涨价了。 所以对于我们用户而言，无非是选择问题。贵了可以不用，有可以通过自己技术降低自己成本。 甚至整个也可以是一个商机，让很多做技术支持的帮助用户自己在空余云磁盘中做备份还可以挣钱来着。 ------------------------- 回 21楼(arker) 的帖子 快照就每块磁盘第一个快照容量大，后面的都很小。 同一个磁盘，第一个快照大小是磁盘内数据大小的总和，后面的快照是该磁盘变化的数据总和。也就是记录了增量的数据。类似于增量备份。 然后快照按小时计费价格很低，按月计费是0.3元/（月*G）。后续增量的快照不会增加太多容量 ------------------------- 回 20楼(arker) 的帖子 0.00042 *  24 * 30  =  0.30几，就算按小时，算下来一个月也就是3毛。 ------------------------- 回 27楼(圈圈点点) 的帖子 你确定是你只用了1G ?? 口说无凭，请你自己贴出  df -h命令我们看看你磁盘使用情况。 ------------------------- 回 25楼(iiiiii123) 的帖子 系统盘不建议频繁做快照。 因为系统盘存在大量缓存文件，这种文件变化的概率非常大的。 比如一些应用，会生成大量临时文件，然后频繁擦除。 比如解压文件，你解压的时候，都会临时生成到某个文件夹，然后一段时间会自动抹掉。这种删除、和新写入的操作都会被快照记录。 系统盘可以低频做快照。

1、拼多多被黑产薅羊毛事件 提名理由： 2019 年 1 月 20 日，微博爆料称拼多多出现重大 Bug：从网友晒出的图片看，此次 100 元无门槛券随便领，全场通用（特殊商品除外），有效期一年。有网友表示，凌晨 3 点多被同行“喊醒”，让来拼多多“薅羊毛”，“只需支付 4 毛钱，就可以充值 100 元话费”。 拼多多回应表示：有黑灰产团伙通过一个过期的优惠券漏洞盗取数千万元平台优惠券，进行不正当牟利。针对此行为，平台已第一时间修复漏洞，并正对涉事订单进行溯源追踪。同时我们已向公安机关报案，并将积极配合相关部门对涉事黑灰产团伙予以打击。 **翻车点评：**本次事件除了反映出拼多多在研发流程上的管控问题，也侧写出了中国企业的公关之难：在拼多多公关看来，此次被薅羊毛 200 亿的谣言是有心人在造谣抹黑；在旁观者看来，此次 200 亿谣言是拼多多的营销手段。一场罗生门背后，除了要敬畏每一行代码，还要敬畏每一位用户才是。 翻车等级：★★★☆☆ 2、苹果误发 7 倍工资给开发者，随后追回 提名理由： 2019 年 9 月 4 日，一位名为 @waylybaye 的 IOS 开发者在社交平台上爆料：“苹果搞了个大事故！！给国内开发者打上上个月的钱的时候，把单位是人民币的钱当成美元打过来了！所有开发者的收入都翻了 7 倍！现在这笔 7 倍的外汇已经到账可以申报了，但我不敢动……请问这种情况怎么搞？” 9 月 5 日，苹果官方发出邮件回应结算出错。在邮件中，苹果公司称，由于合作银行德意志银行方的问题，影响了开发者 2019 年 7 月的收入。希望开发者能够配合银行退回错误的金额，另外再汇一笔正确的金额。 该开发者表示将配合苹果公司退回款项，律师表示如果主张返还的行为给中国开发者带来很大的不便，甚至造成一些损失并有证据证明，那么中国开发者可以向苹果公司主张赔偿损失。 **翻车点评：**如果是越南开发者，收入岂不是翻了 2 万多倍？如果是津巴布韦开发者，岂不是要上天？ **翻车等级：**★★★☆☆ 3、李世石击败围棋 AI：怀疑电脑质量有问题 提名理由： 李世石是当今世界唯一一位曾经打败 AI 围棋程序 AlphaGo 的人类棋手，他在 2019 年宣布了正式退役。这位棋手表示：在 AI 出现之后，他意识到即使通过疯狂的努力再次成为排名第一的棋手，他也无法真正一览众山小，因为有一个实体你无法击败它。 此次退役赛，李世石选择了对战 NHN Entertainment 开发的 AI 围棋程序 HanDol，这名 AI 棋手已经打败了韩国排名前五的棋手。2019 年 12 月 18 日，退役赛首战，李世石被让两子，做好了首战告负心理准备的李世石却意外取胜，原因在于 AI 程序在对弈中出现了一个低级失误，被李世石抓住机会一举奠定胜局。赢棋后的李世石并没有表现出过多的兴奋，他甚至怀疑是这台电脑的质量没有达到应有的水平。 **翻车点评：**AI、大数据、云计算的三位一体 ABC 战略，将给未来的世界带来怎样的颠覆？也许再过几年，你看到的金翻车奖就是 AI 评选的了。 翻车等级：★★★☆☆ 4、程序员用 Null 做车牌，命中车管所漏洞吃下所有无主罚单 提名理由： Joseph Tartaro 是一位美国软件安全领域的专家，2016 年年底，Tartaro 决定要注册一块有个性的车牌。作为一名软件安全方面的专家，他有着许多技术人独有的职业癖好：希望车牌号能够与工作联系在一起。“我可以给我老婆注册一块 VOID 车牌，这样我们的车道就变成了 NULL 和 VOID 了”。 当然，这里面是有其深层含义的。Tartaro 在最近的一次 Defcon 黑客大会上说，“null”在很多编程语言中是一个文本字符串，用来表示空值或未定义的值。在很多计算机中，null 就是 void。也就是说，他跟她老婆其实是二位一体的存在，公不离婆秤不离砣，颇有点程序员式的浪漫。但很快，这个车牌就让他浪不起来了，因为 Null 命中了车管所系统漏洞，他为此收到了所有的无名罚单，总额超过 1.2 万美元。他后来坦言，初衷其实只是为了使用 Null 车牌来逃避罚单，万万没想到无名罚单却成了自己的。 延展阅读：使用 Null 做自定义车牌，成功命中车管所系统漏洞，所有未填车牌的罚单都是我的了 **翻车点评：**我在看房的时候是坚决不看 404 号门牌的，这哥们却主动给自己报空指针，果然跟那些妖艳贱货有些不同。 **翻车等级：**★★★☆☆ 5、游戏公司主程锁死服务器事件 提名理由： 2019 年 1 月 21 日，一封《告游戏行业全体同仁书》将一家创业公司 C++ 主程燕某推向舆论高潮，这篇文章指责燕某在就职深圳螃蟹网络科技有限公司 3 个月期间，出于报复心理，于游戏上线测试当天无故失踪并锁死电脑和服务器，最终导致公司开发两年的项目失败，损失惨重，创始人尹某背上百万债务开始打工之路。 1 月 24 日，燕某发表长文针对深圳市螃蟹网络科技有限公司创始人尹某的《告游戏行业全体同仁书》中提及的各项指责以及网络传言一一反驳，并表示一切法庭上见，相信法律会还一个公道。 **翻车点评：**2019 年让吃瓜群众真正学到了新闻等等再看，本次事件是典型的反转案例，从《告游戏行业全体同仁书》发布后的”程序员是如何逼死一家公司“的舆论，到后来的风向大反转，深刻地揭示了：瓜，要慢慢吃。脸，要慢慢打。 **翻车等级：**★★★★☆ 6、李彦宏被泼水 提名理由： 2019 年 7 月 3 日，百度 AI 开发者大会于北京国家会议中心举行。百度创始人、董事长兼任 CEO 李彦宏首先发表演讲。而在他正在演示 AI 自主泊车“最后一公里”时，有持矿泉水瓶的男青年冲上台，将水浇在李彦宏头上。李彦宏的白衬衫几乎湿透，他愣了一下后说：“What‘s your problem？” 随后泼水者被工作人员控制，李彦宏在掌声鼓励中说道：“大家看到在 AI 前进的道路上还是会有各种各样想不到的事情会发生。但是我们前行的决心不会改变，我们坚信 AI 会改变每一个人的生活。” **翻车点评：**在技术发展的历史上，总会出现风口过热的情况，无论是 AI 还是区块链，都存在被吹过头的现象，我们愿意看到有清醒的人为这些过热的技术降降温，但却绝对不认可目前这种方式。 翻车等级：★★★★☆ 7、62 岁程序员骚操作，翻车获刑 **提名理由： ** 现年 62 岁的大卫·廷利 (David Tinley) 来自匹兹堡附近的哈里森市，廷利为西门子在 Monroeville 的办事处工作了将近 10 年的时间，他曾接过一个为西门子公司创建管理订单的电子表格需求，电子表格包含自定义脚本，可以根据存储在其他远程文档中的当前订单更新文件的内容，从而允许公司自动化库存和订单管理。 廷利十年前在给西门子写的电子表格中植入了逻辑炸弹，它会在特定日期之后导致电子表格崩溃，于是西门子就必须再次雇佣他进行修复，每次都需要重新支付修复费用，持续时间近 3 年。最近他被抓包了，面临最高十年监禁和 25 万美元（约合人民币 172 万）的指控。 **翻车点评：**西门子居然没有人 review 代码，廷利居然忘了自己挖的坑的发作时间，60 多岁还没退休，资本主义果然罪恶，emmm… 翻车等级：★★★★☆ 8、FBI 网站被黑，数千特工信息泄露 提名理由： 在传统的好莱坞大片里，FBI 通常都是神通广大，无所不能，个个有着汤姆斯克鲁斯的脸，施瓦辛格的体格，既有拳脚功夫了得的特工，也有技术实力超群的 Nerd。从来只有他们攻破某某国家防火墙的份，但现实告诉我们，这真的只是在拍戏。 2019 年 4 月，包括 TechCrunch 等多家媒体报导，一个黑客组织黑了美国联邦调查局 FBI 的附属网站，并泄露了数千名联邦特工和执法人员的个人信息。黑客攻击了与 FBI 培训学院 National Academy Association 相关的三个网站，利用其中存在的漏洞，下载了每个服务器上的内容。随后黑客将数据发布到他们自己的网站上，并提供下载。电子表格在删除重复数据后包含大约 4 000 条独特记录，包括 FBI 特工与其它执法人员的姓名、个人和政府电子邮件地址、职位、电话号码和邮政地址等信息。 **翻车点评：**有道是终日打雁，却被雁啄了眼睛。但对我们这一代看着 FBI Warning 长大的孩子来说，FBI 它算个球。 翻车等级：★★★★☆ 9、IT 圈的暴力裁员事件 提名理由： 2018 年的春天，堪称近年来最暖的春天。彼时人工智能领域风起云涌，AI 创业公司们纷纷高薪疯抢 AI 开发者，月薪动辄 10 万级别。人工智能的流行还未结束，一个名叫区块链的技术突然又火爆了起来，一时间，“凡人饮水处，皆言区块链”。那是程序员们最甜蜜的一段时间。 这一年的上半年，互联网公司们扎堆上市，蔚为壮观：哔哩哔哩、爱奇艺、美团、小米、拼多多、趣头条……上市后的互联网新兴巨头、独角兽公司为了攻城略地，开启了全面的整军备战：唯有技术、开发者，才是未来的决定因素，这是技术最好的时代。许多人都如此笃信。 一年后的 2019，一切变了：保安赶走身患绝症员工、统计时长裁员、251、1024 等事件频繁映入眼帘，从最开始的愤怒到最后来的无助，我们感同身受。当企业紧缩银根，高薪资的开发们就成了裁员者的 KPI 了。 **翻车点评：**2019 也许是过去十年最坏的一年，也可能是未来十年最好的一年。如果真到万不得已，我们只求一场好聚好散。PS：小编我买了一支录音笔。 **翻车等级：**★★★★★ 10、波音 737 Max 客机软件故障坠机事件 提名理由： 2019 年 3 月 10 日，埃塞俄比亚航空公司一架波音 737 MAX 8 客机在飞往肯尼亚途中坠毁。机上有 149 名乘客和 8 名机组成员，无人生还。据报道，此次失事的是一架全新的波音飞机，四个月前才交付给该航空公司。这是波音 737 MAX 8 半年内出现的第二起严重事故。（第一起为 2018 年 10 月 29 日印尼狮航的坠落事件，189 人罹难） 两次空难的影响因素都有该机型配置的自动控制下压机头的系统，其设计初衷是，如果机身上的传感器检测到高速失速的情况，即使在没有飞行员输入信号的情况下，该系统将强制将飞机的机头向下推。但在狮航空难事件中，该系统接收到了错误数据，导致飞机在正常情况下开始不断下压机头，飞行员在 11 分钟内连续手动拉升 20 余次终告失败，坠海罹难。 这次事故引发了技术圈的广泛讨论，这种由软件带来的自动化能力，究竟是好是坏？ **点评：**两起空难总计 346 条人命面前，我们不愿也不敢戏谑。通过对波音公司的陆续调查发现，该公司为了节省成本，裁员了大量资深开发，代之以时薪 9 美元的印度外包，这家数字化转型的“代表企业”看起来光鲜亮丽，但也有阳光下的阴暗背面。 **等级：**★★★★★ 其他候选事件 韩企被爆用免费饮料换 GitHub 上的 star Twitter CEO 杰克·多西的推特账号被黑 特斯拉 App 突然瘫痪，大批车主没法上车 太空作案，NASA 女航天员在太空盗窃前任银行账户 中国人霸榜 GitHub Trending 引发国外开发者不满 你心目中，今年的翻车新闻之首是谁呢？

Re【马甲问题】马甲账号清除公告 以前某社交公司查mj，就是用登陆浏览器比对。比对下登陆提交的浏览器地址，就全查出来了。 对于文本内容的比对感觉作用不大，我想过和别的组的尝试合并提交，只多出来200个提交。 ------------------------- Re【马甲问题】马甲账号清除公告 不过说句实在话，参加这么多竞赛过来，我还是第一次看到竞赛主办方用查mj的方式来抑制选手调参数过拟合训练数据集的。在最后一周更改测试集才是通用的做法吧。 我个人来说，同一策略线下验证集调好参数后，线上不会改参数超过两次，也是担心太过拟合，第二赛季就傻了。 ------------------------- Re【马甲问题】马甲账号清除公告 恩，看到规则了，话说第一季我觉得这样做可能比较好：训练集不变，然后测试集800个人随机抽样400个人作为平时的leadership排名，最后评测的时候用剩下400个人。这样刷小号也没意义了。 （突然想到回去后要跟我实验室的其他队伍说一声。。。以后LR调好W后别用我那个python脚本生成提交数据了。。。免得被当小号处理了omg ------------------------- 回22楼jiajiadidi的帖子 你不是改个参数几个队一起刷的话应该还好吧 我当初就觉得这样不好，后面多半要出乱子。浙大宣讲问主办方，现在这种情况，几条简单规则就能刷到6，我要是把这几条简单的规则告诉别人，那别人不都挤到前面，那赛季1不就没意义了？然后还有mj的问题。 宣讲的老师说，那你觉得现在极限是多少呢？是7么。mj这种问题都是小问题 后来算者说得好，规则确实能做得比较好，怎么结合规则做出更好的模型才是王道，模型不如规则只能说模型做的不够好。这个对我影响还蛮大的，也让我好好反思了一下。 我现在靠LR做到6.8，基本也没做规则了，而是想如何用以前淘宝有个做CTR预估的MLR的思路结合商品类目和用户定向做更好的结合规则的LR。 我把我python工程环境也发给同实验室的其他组了，在我基础上也有比我做的更高的，具体来说也没太问。 今天回贴，也是看到这种情况有所感想。 大家去刷规则，把推荐大赛做成overfitting大赛，这样对于自己的提高，或是解决这个实际问题，这样有意义么？我是觉得没有意义的。 跟我用同一体系方法的几个队，现在基本都做到6.9 6.8了，大家还是把精力更多放在了如何做更好的模型上。 想想最初学的PAC，一个模型如何叫好，train error低，并且train error近似于test error。这样我们才能声称自己的模型学习到了真正的target function f。而目前大家凭着test 来不断调整参数，就算把f1做到天上去，自己的模型只能说train error低了，大赛后也是毫无意义的。算法学到的那个function，也最多只能当作笑谈 看到有置顶，真是受宠若惊了。帖子里面说的MLR，是盖坤/靖世在阿里技术沙龙中分享的《海量数据下的非线性模型探索 》http://club.alibabatech.org/resource_detail.htm?topicId=106 。这个ppt非常好，我也学到不少。 顺便说说的是，在这个比赛中，我也确实学到不少。 以前我在做项目的时候，基本是对算法非常迷信的，关系好的豆瓣算法组的一个人批我机器学习理解不成熟，太喜欢炫技，我也左耳朵进右耳朵出。最近做某公司的推荐项目，我基本想都不想，就要上time SVD++做baseline，对数据也基本不做太多分析，对业务也是不屑一顾的，非常依赖feature selection算法以及高维非线性模型。 在以前kdd cup或者recsys等比赛中，也是直接上定制化的SVD，把所有数据建模在一个式子里跑SGD草草完事。 做阿里比赛最开始我也是没做太多数据分析，直接上的implicit feedback，sigmoid处理正负反馈，time SVD++以及各种复杂的处理方式。与其说是解决问题，不如是说炫技。当然结果也非常惨，只有4%。 后来才开始认真思考这个比赛的问题。品牌推荐和普通推荐到底有什么区别？打个比方，用户在一个月后会看自己以前有交互的电影的只有1%。而用户在一个月后会买自己以前有交互的品牌的却有20%。CF着力的是那没有交互行为的80%的品牌。除此外800用户，对用户的factor的估计，还是加入temporal dynamic稀释的，又能有多准呢？ 所以除了算者说的那些点外，光就这一点基本就可以判定CF在赛季1的不适合了。 这样的问题，只要好好想想就能想通的，可笑的是我第一二周还在所谓的“巧妙模型”上花费了大量的力气。这个让我反思了很久。 用我室友说我的，便是我太迷信算法了，瞧不起用excel写统计的，也瞧不起做简单数据分析然后跑简单模型的人。 这便是我在比赛中获得的教训，也是我和我同实验室的朋友在回家路上所总结的。 说实在，这个比赛我也没有太多精力参加，赛季二估计也只能每周花1天来做，毕竟实验室项目太多。所以估计最后也拿不到特别好的名次。但我觉得，这次比赛前几周给我带来的教训，便已经让我非常有收获了，至少我现在对于机器学习算法以及业务关系的理解，和比赛前已经有了很大的不同。 我现在是单挑，考虑到赛季2最近也找了一个队友，他貌似有两个小号。我也给他发短信让他回学校后赶快发邮件把这些号注销了并入我的队，毕竟也算占着前500的坑，注销了也让更多的队能进入前500。也希望其他队的朋友也再接再厉，在比赛中真正得到一些领悟和经验。愿大家都能做出更好的推荐，进一步加深对机器学习的理解 ^_^ 顺便给大家讲个竞赛的小段子开心开心=w= “阿里的比赛，有个学弟找我合了下数据，做到38名。他觉得很开心，就跟他导师说了。他导师说，才38名啊，做不到前3名就别参加竞赛丢他脸。听到这事我当时就呵呵了，you can you up，no can no bb。我导师就好多了，他要是知道我在做竞赛而不干活，不管几名肯定把我剁了。”