2014 大数据

Re【公告】阿里巴巴大数据竞赛公告2014年3月26号 附一个修改链接： change   http://102.alibaba.com/competition/addDiscovery/gameRegister.htm ------------------------- ReRe【公告】阿里巴巴大数据竞赛公告2014年3月26号 搞不明白为啥不能上链接。。。只能纯文本

PostgreSQL 分页优化的例子: 某一个SQL, 问我为什么只改了一个条件, 查询速度居然从毫秒就慢到几十秒了,如下 :SELECT * FROM tbl where create_time>='2014-02-08' and create_time<'2014-02-11' and x=3 and id != '123' and id != '321' and y > 0 order by create_time limit 1 offset 0;运行结果100毫秒左右.执行计划 :Limit (cost=0.56..506.19 rows=1 width=1038) -> Index Scan using idx on tbl (cost=0.56..2381495.60 rows=4710 width=1038) Index Cond: ((create_time >= '2014-02-08 00:00:00'::timestamp without time zone) AND (create_time < '2014-02-11 00:00:00'::timestamp without time zone)) Filter: (((id)::text <> '123'::text) AND ((id)::text <> '321'::text) AND (y > 0) AND (x = 3))改成如下 :SELECT * FROM tbl where create_time>='2014-02-08' and create_time<'2014-02-11' and x=3 and id != '123' and id != '321' and y > 0 order by create_time limit 1 offset 10;运行几十秒.执行计划如下 :Limit (cost=5056.98..5562.62 rows=1 width=1038) -> Index Scan using idx on tbl (cost=0.56..2382076.78 rows=4711 width=1038) Index Cond: ((create_time >= '2014-02-08 00:00:00'::timestamp without time zone) AND (create_time < '2014-02-11 00:00:00'::timestamp without time zone)) Filter: (((id)::text <> '11622'::text) AND ((id)::text <> '13042'::text) AND (y > 0) AND (x = 3))我们看到两个SQL执行计划是一样的, 但是走索引扫描的记录却千差万别. 第二个SQL扫描了多少行呢?我们来看看第二个查询得到的create_time值是多少:select create_time from tbl where create_time>='2014-02-08' and create_time<'2014-02-11' and x=3 and id != '123' and id != '321' and y > 0 order by create_time limit 1 offset 10;结果 :'2014-02-08 18:38:35.79'那么它扫描了多少行(或者说多少个数据块)呢? 通过explain verbose可以输出. 当然使用以下查询也可以估算出来 :select count(*) from tbl where create_time<='2014-02-08 18:38:35.79' and create_time>='2014-02-08'; count --------- 1448081 (1 row)也就是说本例的SQL中的WHERE条件的数据在create_time这个字段顺序上的分布比较零散, 并且数据量比较庞大.所以offset 10后, 走create_time这个索引自然就慢了.仔细的了解了一下开发人员的需求, 是要做类似翻页的需求. 优化方法1, 在不新增任何索引的前提下, 还是走create_time这个索引, 减少重复扫描的数据.需要得到每次取到的最大的create_time值, 以及可以标示这条记录的唯一ID.下次取的时候, 不要使用offset 下一页, 而是加上这两个条件.例如 :select create_time from tbl where create_time>='2014-02-08' and create_time<'2014-02-11' and x=3 and id != '123' and id != '321' and pk not in (?) -- 这个ID是上次取到的create_time最大的值的所有记录的pk值. and y > 0 and create_time >= '2014-02-08 18:38:35.79' -- 这个时间是上次取到的数据的最大的时间值. order by create_time limit ? offset 0;通过这种方法, 可以减少limit x offset y这种方法取后面的分页数据带来的大量数据块离散扫描.另一些关于分页优化的例子 : http://blog.163.com/digoal@126/blog/static/163877040201111694355822/http://blog.163.com/digoal@126/blog/static/1638770402012520105855757/

看你怎么查询，是统计还是取得某个条件的数据，还是根据id找某个数据。可以采用的方式，索引，创建冗余的临时表和临时字段，存储过程另外，sql server 2014/2016数据库，支持内存表，只要你内存够大，放在内存中查询，效率暴增。很多时候查询消耗的是io不是cpu

Re“2014阿里巴巴大数据竞赛”征文活动公告

ReRDS比本机MySQL慢5倍 引用第1楼小猪猪于2014-11-13 11:19发表的  : 四秒一个页面 肯定不正常 可以看一下rds  有个慢查询 或者数据量很大 可以搭配之用 ocs 没有慢查询. ------------------------- Re回2楼qq12345678的帖子 引用第3楼小猪猪于2014-11-13 11:32发表的 回 2楼(qq12345678) 的帖子 : 索引什么的 都正常？ 正常

Re官方技术微博【2014阿里大数据竞赛技术交流】 围观

Re“2014阿里巴巴大数据竞赛”征文活动公告 前排占坑

Re“2014阿里巴巴大数据竞赛”征文活动公告 好…… 文艺范的技术男

Re“2014阿里巴巴大数据竞赛”征文活动公告 顶起。。。。。。

用一台数据库，或者用阿里云的RDS。 ------------------------- Re:回1楼服务器之家的帖子 引用第2楼dsxxxxxxxx于2014-03-18 10:45发表的 回1楼服务器之家的帖子 : 感谢你的回答，不过这样子的话LBS的意义差了些啊。到最后数据还是请求到同一个地方，如果这里蹦了。。。。。。。。 LSB主要是为了分散运行PHP的压力，运行网站不止需要MYSQL。 你如果不怕麻烦可以自己配置数据库主从复制，分散MYSQL压力，但是这和SLB无关，而且以阿里云的IO性能，意义不大。 ------------------------- Re:回3楼服务器之家的帖子 引用第7楼dsxxxxxxxx于2014-03-18 13:39发表的 回3楼服务器之家的帖子 : 我的应用是用的mysql的。看来只能用RDS了。主从复制太麻烦了。感谢回答 不用PHP？ ------------------------- Re:回8楼服务器之家的帖子 引用第10楼dsxxxxxxxx于2014-03-19 10:19发表的 回8楼服务器之家的帖子 : 我的是移动app服务，不是网站项目。呵呵。但我的app设计，很依赖服务，单一用户的访问量会比较大。所以才考虑用SLB的，而数据库也必不可少，现在看来是要用SLB+RDS了。自己再做个memcache，前期这样应该够了 你的意思是说，手机APP直接连接数据库？没有服务器应用层的API？

Re“2014阿里巴巴大数据竞赛”征文活动公告 居然不能直接发帖……经验不足。。。。

Re官方技术微博【2014阿里大数据竞赛技术交流】 我看不懂提交结果格式及所代表的含义

详细解答可以参考官方帮助文档 GetLogs 接口查询指定 Project 下某个 Logstore 中的日志数据。还可以通过指定相关参数仅查询符合指定条件的日志数据。 当日志写入到 Logstore 中，日志服务的查询接口（GetHistograms 和 GetLogs）能够查到该日志的延时因写入日志类型不同而异。日志服务按日志时间戳把日志分为如下两类： 实时数据：日志中时间点为服务器当前时间点 (-180秒，900秒]。例如，日志时间为 UTC 2014-09-25 12:03:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被作为实时数据处理，一般出现在正常场景下。 历史数据：日志中时间点为服务器当前时间点 [-7 x 86400秒, -180秒)。例如，日志时间为 UTC 2014-09-25 12:00:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被作为历史数据处理，一般出现在补数据场景下。 其中，实时数据写入至可查询的最大延时为3秒（99.9%情况下1秒内即可查询）。 请求语法 GET /logstores/<logstorename>?type=histogram&topic=<logtopic>&from=<starttime>&to=<endtime>&query=<querystring>&line=<linenum>&offset=<startindex>&reverse=<ture|false> HTTP/1.1 Authorization: <AuthorizationString> Date: <GMT Date> Host: <Project Endpoint> x-log-bodyrawsize: 0 x-log-apiversion: 0.6.0 x-log-signaturemethod: hmac-sha1 请求参数 名称 类型 必选 描述 logstorename 字符串 是 需要查询日志的 Logstore 名称。 type 字符串 是 查询 Logstore 数据的类型。在 GetLogs 接口中该参数必须为 log。 from 整型 是 查询开始时间点（精度为秒，从 1970-1-1 00:00:00 UTC 计算起的秒数）。 to 整型 是 查询结束时间点（精度为秒，从 1970-1-1 00:00:00 UTC 计算起的秒数）。 topic 字符串 否 查询日志主题。 query 字符串 否 查询表达式。关于查询表达式的详细语法，请参考 查询语法。 line 整型 否 请求返回的最大日志条数。取值范围为 0~100，默认值为 100。 offset 整型 否 请求返回日志的起始点。取值范围为 0 或正整数，默认值为 0。 reverse 布尔型 否 是否按日志时间戳逆序返回日志。true 表示逆序，false 表示顺序，默认值为 false。 请求头 GetLogs接口无特殊请求头。关于 Log Service API 的公共请求头，请参考 公共请求头。 响应头 关于 Log Service API 的公共响应头，请参考 公共响应头。 响应头中有专门成员表示请求返回结果是否完整。具体响应元素格式如下： 名称 类型 描述 x-log-progress 字符串 查询结果的状态。可以有 Incomplete 和 Complete 两个选值，表示本次是否完整。 x-log-count 整型 当前查询结果的日志总数。 响应元素 GetLogs 请求成功，其响应 Body 会包括查询命中的日志数据。当需要查询的日志数据量非常大(T级别)的时候，该接口的响应结果可能并不完整，GetLogs的响应body是一个数组，数组中每个元素是一条日志结果。数组中的每个元素结构如下： 名称 类型 描述 __time__ 整型 日志的时间戳（精度为秒，从 1970-1-1 00:00:00 UTC 计算起的秒数）。 __source__ 字符串 日志的来源，由写入日志时指定。 [content] Key-Value对 日志原始内容，以 Key-value 对的形式组织。 细节描述 该接口中由请求参数 from 和 to 定义的时间区间遵循“左闭右开”原则，即该时间区间包括区间开始时间点，但不包括区间结束时间点。如果 from 和 to 的值相同，则为无效区间，函数直接返回错误。 如上所述，该接口一次调用必须要在限定时间内返回结果，每次查询只能扫描指定条数的日志量。如果一次请求需要处理的数据量非常大的时候，该请求会返回不完整的结果（并在返回header中的 x-log-progress 成员标示是否完整）。如此同时，服务端会缓存 15 分钟内的查询结果。当查询请求的结果有部分被缓存命中，则服务端会在这次请求中继续扫描未被缓存命中的日志数据。为了减少您合并多次查询结果的工作量，服务端会把缓存命中的查询结果与本次查询新命中的结果合并返回给您。因此，日志服务可以让您通过以相同参数反复调用该接口来获取最终完整结果。因为您的查询涉及的日志数据量变化非常大，日志服务 API 无法预测需要调用多少次该接口而获取完整结果。所以需要用户通过检查每次请求的返回结果中的x-log-progress 成员状态值来确定是否需要继续。需要注意的是，每次重复调用该接口都会重新消耗相同数量的查询 CU。 错误码 除了返回 Log Service API 的 通用错误码，还可能返回如下特有错误码： HTTP状态码（Status Code） 错误码（Error Code） 错误消息（Error Message） 描述（Description） 404 LogStoreNotExist logstore {Name} does not exist. 日志库（logstore）不存在。 400 InvalidTimeRange request time range is invalid 请求的时间区间无效。 400 InvalidQueryString query string is invalid 请求的查询字符串无效。 400 InvalidOffset offset is invalid 请求的 offset 参数无效。 400 InvalidLine line is invalid 请求的 line 参数无效。 400 InvalidReverse Reverse value is invalid Reverse 参数的值无效。 400 IndexConfigNotExist logstore without index config 日志库（logstore）未开启索引。 说明 上表错误消息中 {name} 表示该部分会被具体的 LogstoreName 来替换。 示例 以杭州地域内名为 big-game 的 Project 为例，查询该 project 内名为 app_log 的 Logstore 中，主题为 groupA 的日志数据。查询区间为 2014-09-01 00:00:00 到 2014-09-01 22:00:00，查询关键字为 error，且从时间区间头开始查询，最多返回 20 条日志数据。 请求示例： GET /logstores/app_log？type=log&topic=groupA&from=1409529600&to=1409608800&query=error&line=20&offset=0 HTTP/1.1 Authorization: <AuthorizationString> Date: Wed, 3 Sept. 2014 08:33:46 GMT Host: big-game.cn-hangzhou.log.aliyuncs.com x-log-bodyrawsize: 0 x-log-apiversion: 0.4.0 x-log-signaturemethod: hmac-sha1 响应示例： HTTP/1.1 200 OK Content-MD5: 36F9F7F0339BEAF571581AF1B0AAAFB5 Content-Type: application/json Content-Length: 269 Date: Wed, 3 Sept. 2014 08:33:47 GMT x-log-requestid: efag01234-12341-15432f x-log-progress : Complete x-log-count : 10000 x-log-processed-rows: 10000 x-log-elapsed-millisecond:5 { "progress": "Complete", "count": 2, "logs": [ { "__time__": 1409529660, "__source__": "10.237.0.17", "Key1": "error", "Key2": "Value2" }, { "__time__": 1409529680, "__source__": "10.237.0.18", "Key3": "error", "Key4": "Value4" } ] }在这个响应示例中，x-log-progress 成员的状态为 Complete，表明整个日志查询已经完成，返回结果为完整结果。在这次请求中共查询到 2 条符合条件的日志，且日志数据在 logs 成员中。如果响应结果中的 x-log-progress 成员的状态为 Incomplete，则需要重复相同请求以获得完整结果。

Re官方技术微博【2014阿里大数据竞赛技术交流】 怎么没有详细的介绍呀！好期待呀

Re【公告】阿里巴巴大数据竞赛公告2014年3月26号 同样问题，求解~~

Remysql和php等工具装在数据盘还是系统盘？ 引用第3楼孤独小超于2014-01-19 22:17发表的  : 放系统盘 系统盘 那么大不用浪费了  不过也别放太多 不然影响速度 关键是mysql的数据量是不断增大的，万一以后mysql的data文件增大到很大，系统盘的大小不够，会不会影响linux运行

Re【公告】阿里巴巴大数据竞赛公告2014年3月26号 为什么我上传学生证没有对话框提示？

哪位什么不去下载个贪吃蛇源码研究下，然后自己重写？ 那为什么不去学习shell？ 那为什么不打起精神？ 那为什么不去从最基础教材的看起，推导公式什么的学起？ 其实我也是菜鸟，刚接触linux和ruby，但是要去迈开那一步，才会看到前方的路。 评论 (2) 引用此回贴 举报 Zoker Zoker 2014/01/18 22:23 回复 @fzfreeguy : 楼下说的对，就是没有目标，我做毕设的时候，只是了解PHP，最基本的语法还得看手册，然后一周不到的时间，写出来了个多博客系统，把你的帽子扔到墙对面去吧！ 回复 举报 fzfreeguy fzfreeguy 2014/01/18 22:18 当然想！！！成品一个小软件对我来说这可是一个瓶颈啊！感觉博客什么的能够让我有点存在感，或许会让我打起精神搞个成品出来。不然身边本身没有对软件有共同话题的人的互相督促，很蛋疼+无聊的 回复 举报 0 BlueStragglers BlueStragglers 2014/01/18 22:19 没有目标而已 评论 (2) 引用此回贴 举报 BlueStragglers BlueStragglers 2014/01/18 22:25 这两项都不是等来了，立刻行动吧 回复 举报 fzfreeguy fzfreeguy 2014/01/18 22:21 没有目标+身边没有实体同类 回复 举报 0 elson1024 elson1024 2014/01/19 00:28 别那么浮躁嘛，慢慢来，一定要慢，把数据结构，算法，C，JAVA，这些东西基础都融会贯通，其实就是把基础打扎实这样就可以了，成品啥得都是浮云，基础扎实才能运筹帷幄，决胜于千里之外，很多公司看中得就是你有没有培养的潜力，有计算机协会啥的，加入进去，妹子泡不到，交上基友或许会帮助你一辈子， 评论 (0) 引用此回贴 举报 0 Undeadway Undeadway 2014/01/19 00:42 第一步：把电脑的网络给断了，手机、IPAD之类的封箱了； 第二步：打开 IDE ，然后按F6（或者别的单步调试快捷键），直到把F6按坏掉； 第三步：找个地方（比如OSC）提交你按坏掉 F6 之后的成果， 接受大家的批判。 评论 (0) 引用此回贴 举报 0 兰穆达 兰穆达 2014/01/19 08:32 我和楼主比较类似，前期涉猎很广，只要看到技术就想瞄一眼。 好处是知识面广，懂各种时髦词汇，不过在知识储备完备之后，就应该朝着某一个方向进行深入研究。 我建议动态语言优先选择python，osc有各种代码片段，写一些小的脚本练手，在有一定的手感之后，git一个大项目的源码，尝试自己修改功能。 评论 (0) 引用此回贴 举报 0 caoglish 2014/01/19 09:59 要学好编程，关键不能把兴趣掐没了。至于没有成品，没有关系。进入公司和，领导自然会给你你一个目标的。然后根据他的目标，你编出产品来就行了。 你现在才大一，没有必要一定要搞什么所谓成品。要是要体会编程带来的乐趣和成就感，这样才可以保持你对电脑一直以来的兴趣。 我的学习经验是，图形编程是最容易带来成就感的，因为结果是极度可视化的，你可以观察到你编程的结果，一点小变化就能带来很大的满足感。 学习javascript，现在javascript可以直接在浏览器里面进行2D和3D的图形编程。如果是图形库的话，可以看看three.js(3d图形处理)，d3.js, process.js, rapheal.js(2d).或者最简单的，学习jQuery，利用css和动画Api作出一些绚丽图形动画效果。这样也能带来很大的成就感 评论 (0) 引用此回贴 举报 0 jeffsui jeffsui 2014/01/19 10:12 关键是兴趣主导,如果你就是想从事这方面的工作,还是给底子打牢了再说。 评论 (0) 引用此回贴 举报 0 Timco Timco 2014/01/19 13:14 Android 感觉不论前面的经历，还是后头的编程，都是非常非常基础。保持足够的好奇心，学习更深入的知识。尝试阅读成品的源码吧。 评论 (0) 引用此回贴 举报 0 Yashin Yashin 2014/01/21 00:04 楼上说的都对，成品从改开始，核心竞争力： 数据结构，算法，软件工程 评论 (0) 引用此回贴 举报 0 林尘 林尘 2014/01/21 07:33 Android 不要浮躁，把基础学好才是最重要的。

Re【公告】阿里巴巴大数据竞赛公告2014年3月26号 照片上传一直出现超时，真是受不了。。。。