• 关于

    电网络是啥

    的搜索结果

回答

硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错######这对内存的要求很高啊,而且还不能耽误其他程序对内存的使用,这个内存我觉得应该很大吧###### 引用来自“十一文”的答案 硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错 这么说来, 在顺序存取方面 , 网络传输速度相对与硬盘 io 速度还是有优势的,不知道这么理解是否成立。 因为机放内部设备间千兆网卡很常见,传输速度相当快,并且成本相对硬盘少许多。 ######看贴不跟帖,帖子要沉了。需要顶。 无论对错。发表点个人观点也好。不能让它沉。 ###### "千兆网卡很常见", 這裡 “ 千兆” 是指1000M bits, 大概也就100M Bytes。 Intel SSD 520 Sequential Read 已经可高达550M Bytes per second, 顺序写可高达275M Bytes per second.######回复 @十一文 : 现在的HBA卡4G的已经很通用了,好像12G的都出来了,一般服务器都有好几个接口的,再来个负载均很啥的,网络传输不是问题######汗 查了哈 还真是这样。擦我out了!######网络允许帮定双网卡。所以,网络传输可以更快点,相对来说,速度提升技术性难度小点。 磁盘阵列是否回更好? 光线通讯用的网卡是否会更快点。 ###### 顺便提点应用。 是这样的, 排序在信息处理方面很常见。 无论用什么算法。都是在一个相对平等的环境中。 现实中应用,比如1g内容的排序和1T内容排序难点还是数据交换上。 1g可以全部加载进内存玩。1T就要涉及到信息交换了。如果一个系统界面,把存储信息部分扩展到近乎无限空间大小。 就好比内存数据交换比磁盘数据交换要快许多。 比如1T大小数据做排序。 只要一个设备顺序读取数据,按照开头部分把数据通过网络分发给N 台机器,处理除了开头部分数据,后面的数据排序。这样就可以N多设备协同工作。效率达到 1+1 > 2 的目的。 否则如果是1台设备需要 加载数据,排序, 临时存储, 加载另外数据,处理,临时存储,加载.... 汇总分结果,获得总结果。 1台设备这么处理,做了很多重复劳动。如果网络够快 多台设备 避免了重复加载。 达到 1+1>2######回复 @十一文 : 差不多的意思。######hadoop是把数据分成分成多个部分,每部分各自处理结果,然后汇总处理。即把你的1t的数据分成n份,然后每份分发给不同机器处理。然后汇总结果。不知道适用你的场景不?######貌似这中数据分析,现在流行用hadoop。楼主可以调研哈######这么说不好理解。形象一点说一下:假设有1000个数据样本,每个样本里有1T条数据内容。 一知每个样本内数据条目重复率为0.001%.目的,找出这1000个样本内,每个样本中重复的样本。并统计所有样本中重复的次数。 这个如果算复杂运算,不如说是大数据处理。 假设 每个设备 一次能加载1G条数据。######硬盘技术感觉好多年都在原地踏步没有质的飞跃啊###### @johnzhang68 毕竟转速有影响######磁性硬盘在容量方面还是有明显的飞跃。速度方面提高得慢一些。######或许未来,存储虚拟化是条路子。  数据处理和数据交互关系密切。 以数据处理为目的,建立多系统群集方式在处理上或许会比高计算系统群集更有优势。 ######又没落了。顶起 ######没有试过,关注一下######再看了哈貌似你真的很需要hadoop

kun坤 2020-06-07 22:18:40 0 浏览量 回答数 0

回答

Re社交类型网站能不能个人备案? 多谢,刚才没看到这个,我去那里问 ------------------------- Re社交类型网站能不能个人备案? 浙江管局备案要求里14条里写 14.    个人主体的备案,网站备注中需注明网站开办后的主要用途。 什么都不填能通过备案? ------------------------- Re社交类型网站能不能个人备案? 博客是因为第11条明文规定了 11.    个人主体,网站服务内容不能选择:网络购物、电子政务、电子商务、网上支付/网站银行、网络新闻、网络教育、博客/个人空间。 ------------------------- Re社交类型网站能不能个人备案? 但社交并不在里面任何一栏啊 ------------------------- Re社交类型网站能不能个人备案? 那个人的话备案时候能写个啥? ------------------------- 回12楼hjytub2的帖子 请教一下那备案时候可以写啥? ------------------------- Re社交类型网站能不能个人备案? 我是浙江的,在提交备案填写ICP主题信息时候看到这样的提示 "个人性质的备案,备注中需注明网站开办后的具体内容,企业性质的备案核验单中需加盖单位公章,个体工商户没公章的核验单上可以不盖章,但是要在备注中说明;安全管理协议上必须加盖合同章." 另外看了备案规则里浙江部分这么写的 浙江部分14条 14. 个人主体的备案,网站备注中需注明网站开办后的主要用途。 所以我想知道在ICP信息步骤中最后的备注栏里写什么?并不是在后续步骤的服务内容中选择其他。

jack_zhu 2019-12-02 00:29:22 0 浏览量 回答数 0

回答

看透了就知道,从虎口里夺食,简直就是找死。######回复 @徐同乐 : 不高超算项目领导怎么赚钱??这就是虎口夺食######怎么能说从虎口夺食呢,计算是自愿的,你开着电脑还是开着电脑,像公司上班的,反正用的不是自己家的电,无非把CPU的计算资源出租了而已,总比挖比特比现实吧?挖比特币说的在好听,不还是帮国外组织破解密码么?######ls的一句 "看透了就知道" 也是很吊. 那怎么保密么? 科研的机密数据都到用户的电脑了 你这个有点像以前哪本书介绍的p2p网络. ######所谓科研数据只是一个比方,毕竟现在X86的程序开发还是比那些超算的专用程序好写吧,企业也可以利用这个平台啊,现在那些大公司,比如QQ 360我就不信他不利用里电脑干点啥。毕竟免费的计算资源,不用白不用!######这个想法(以及很多你闻所未闻的方案)已经被很多人考虑过了,远早于 bitcoin 出现。而且有小规模的实验。 从经济性来说,这个方案很难有足够的经济动力。也就是说,如果给你的报酬超过你的电费比如 10%,那么其成本会远高于直接建超算了。 比如超算可以建在电费和气温都特别低的地方。现在的 bitcoin 矿场很多建在冰岛,常年低温,地热发电。 国内的找 2 角电费的地方,当地电富裕,电这东西存不下又输不出来,所以特便宜。 再有,民用电子设备往往不是为 24x7 持续工作设计的,长时间工作会导致损坏,坏一张显卡你挖一年都不够成本。 所以主流还是靠玩家的个人兴趣,在中国再加上办公室的免费电。我跑 SETI @Home 可能超过十年了,各种其它分布式计算也零星跑过。 不求回报,单纯因为个人爱好科学而已。 PS: bitcoin 的密码学运算基本是随机的,不能帮 FBI 破解密码。######@kchr 不过吧GFW的计算资源用在科学计算上我觉得更有意义哈哈!######回复 @徐同乐 : 那你可以动手开发这个系统,然后说服别人来用了。######回复 @kchr : yao######回复 @徐同乐 : 一天 7 厘钱,你要吗?######不管是科学计算 还是类似SETI @Home 这样的项目当他的研究成果改变世界的时候,而你参与其中,那么你就是那个改变世界的人,不是么?######比特币这类货币很重要的一个目的就是摆脱各国央行,这样做了不还是央行(zf)控制了吗######不得不说,想法很好。但是。。。你把zf想的太高大上了。等什么时候zf网站都从asp换到。net再说把。###### 实际上很早就有分布式计算项目,而且是全球的。是公益的。http://www.equn.com/wiki/%E6%96%B0%E6%89%8B%E6%8C%87%E5%8D%97:%E4%BB%80%E4%B9%88%E6%98%AF%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97 其实大型运算主要不能用一般的分布式,因为计算是串行运算,只有并行才能分布式。 ######我知道这个######几年前见过一个寻找最大素数的网格系统,每个人都可以参与,如果你的客服端成功找到了下一个最大素数就能获得一笔奖金。不知现在还有木有######很好的想法。问题你不是人民而是公民……………………我同学笑话我的话###### Seti@Home

kun坤 2020-06-08 18:00:15 0 浏览量 回答数 0

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

一个小白的资源网站不知道使用的技术优缺点,求探讨,教育

kop1201 2019-12-01 21:48:18 1020 浏览量 回答数 2

问题

香港主机为啥需求量那么高?国内备案域名可靠吗?规矩站为何还被惩罚?

马歌 2019-12-01 21:04:08 13525 浏览量 回答数 8

回答

Re我还不太了解,如果问题提错了,还望见谅 随便一个电脑就可以达到,4核,8G,一个T的硬盘的级别啊, 我拿我本地的电脑当服务器不行么??? ------------------------- 回2楼ap2836i0b的帖子 您所说的公网独立IP是是什么意思呢?我电脑每次连上网都会有一个IP啊,这个算不算呢? 每个电脑都有自己的IP的啊 ------------------------- 回4楼top1314的帖子 懂就解释一下啊 ------------------------- Re我还不太了解,如果问题提错了,还望见谅 引用第7楼ap7980i2i于2012-09-25 12:26发表的  : 楼上比较通俗些!服务器最大问题是稳定,就是你开机365天不死机,不许重启仍然正常快速运行!而且不会断电,带宽独享IP独立! 自己的主机以上的都是没有的!特别是第一点,你一台PC机一个月不关机估计就卡的不行了~ 那请问,我们公司有买服务器,好像是DELL的,32核,512G内存。 而且从来不关机,机房还专门放了两个空调。 具备这个条件,还需要再去买阿里的服务器吗 ------------------------- Re回楼主zwwww133的帖子 引用第10楼ap1918w1h于2012-09-25 13:03发表的 回 楼主(zwwww133) 的帖子 : 你放家里不能备案,你没放多久电信就会通知你或者关闭你的网络。并且你家里无法保证365天*24小时的电力,隔三擦日的停电怎么办?你开次机,就得更换ip,你的域名就得重新解析。一次开机你全国最少有人30分钟不能访问你的网站 你好,我们这可以满足从来都不关机。 关于备案的问题,会花费很大吗? 是不是把网络搬到云上就不用备案了呢? ------------------------- ReRe我还不太了解,如果问题提错了,还望见谅 引用第14楼ginmini于2012-09-25 14:06发表的 Re我还不太了解,如果问题提错了,还望见谅 : 你都有服务器了还买阿里的服务器做啥 直接找个机房托管就是了 服务器谁都能配 但是机房和带宽还有服务不一定人人都有 不然还要这些IDC公司做啥都自己折腾好了 我有机房,有服务器。那我有没有必要因为自己不能申请网络,或者带宽之类的就来买服务器呢 ------------------------- Re回15楼zwwww133的帖子 引用第16楼sjaelien于2012-09-25 14:22发表的 回 15楼(zwwww133) 的帖子 : 你自己公司内部用IP访问可以,但别想绑定域名让外部访问了,因为用域名外部访问,必须要备案。 而你没有把机器托管到IDC的机房或者租用IDC的机器,管局是不会给你备案的。 至于你想不备案,绑定域名在你自己机房的服务器上让外部访问,就跟无证经营差不多吧,不查到还好,查到的话反正后果自己承担吧。 说的很清楚,谢谢 我没说不想备案,我的意思是,我自己有硬件了,没有必要为了备案再去租服务器。 我只需去找IDC托管我的机器,然后把备案手续办好就可以了。 对吧

zwwww133 2019-12-01 23:40:42 0 浏览量 回答数 0

问题

有没有杭州临平想创业的朋友,免费扶持对方一年,我提供的条件是

k8888f 2019-12-01 20:02:41 9677 浏览量 回答数 10

回答

作为一个所谓的计算机科班出身的人来说,特别难为情的是自己的计算机基础很差,比如计算机网络当年一度差点挂掉,多亏当时的老师手下留情,给我一个刚及格的分数,但也因为这门课,造成我在之后申请奖学金的时候与其擦身而过。 我觉得我可以作为一个反例放在阳光下暴晒。熟悉我的读者可能知道我大学是搞 ACM 出身,当年我所有的精力都放在上面,每天沉迷的是学习各种算法,各种姿势切题,以至于我逃了大多数的课,就算去上课的时候也在搞不相关的东西。 当时一方面是环境使然,另一方面是像计算机网络这种课听起来太枯燥。每次考试靠突击,成绩还不错,也不会挂科,就这么随它去了。虽然听过很多基础很重要的说法,有时候会想想是不是要好好补一下基础的东西,还是因为各种各样的原因搁浅了... 直到考研复试,到面试那一步,除了算法方面,面对各种计算机网络\操作系统\数据库的问题,我感觉有点无力招架,只觉得自己当时的脑子充满浆糊,没有思考,有的只是临时死记硬背的东西。直到结束准备离开的时候,居中的老教授含蓄的建议,我才算真正有了要好好再回头去学的意识。 时间越长好像越明白这些基础知识和原理的重要性,这样说起来简单,但是其中的枯燥就让很多摩拳擦掌的同学折戟沉沙,都说兴趣最重要,怎么提气这个兴趣,最近我在逛 b 站的时候偶然发现了这么一个课程,通过图文并茂生动形象的介绍计算机的基础知识,看了十几集,觉得非常的棒,特地把这个《计算机科学速成课》推荐给大家。 Computer Science 是 Crash Course 下的系列课程之一,这个频道下还有很多其它优秀的课程。 Crash Course 链接 这些其它优秀课程范围很广,包括大历史、统计学、生物学、社会学、哲学、物理等等等等几十个学科系列,英语好的可以直接看英文的,英语不好的同学也不怕,可以去万能的 b 站,直接搜"10分钟速成课" 或者直接搜 b 站阿婆主“白花恋诗·彩”,大佬持续不断的翻译了好多,Orz... 当然上面这些不是本次的重点,不做过多说明,感兴趣的可以多关注一下。回到《计算机科学速成课》,为了表示尊重我把英文版的链接先放在下面: Computer Science 网址 这门《Computer Science》一共 40 集,都是英文的可能对英语不好的同学来说难度太大,但是不要慌,国内一些爱好者早已经把它们翻译成中文,也就是我在开头说的《计算机科学速成课》。这门课在 b 站上收获了 6.1 w+ 收藏,1.3w+ 点赞,1.3w+ 投币,在 GitHub 上同样也有 3.9k+ 的 star,妥妥的超级受欢迎的课! 这门 40 集的课真的包含了超多的基础知识: 1 - 早期的计算 - Early Computing 2 - 电子计算 - Electronic Computing 3 - 布尔逻辑与逻辑电路 - Boolean Logic & Logic Gates 4 - 二进制 - Representing Numbers and Letters with Binary 5 - 算术逻辑单元 - How Computers Calculate - the ALU 6 - 寄存器 & 内存 - Registers and RAM 7 - 中央处理器 - The Central Processing Unit(CPU) 8 - 指令和程序 - Instructions & Programs 9 - 高级 CPU 设计 - Advanced CPU Designs10 - 编程史话 - Early Programming 11 - 编程语言 - The First Programming Languages 12 - 编程原理:语句和函数 - Programming Basics: Statements & Functions 13 - 算法初步 - Intro to Algorithms 14 - 数据结构 - Data Structures 15 - 阿兰·图灵 - Alan Turing 16 - 软件工程 - Software Engineering 17 - 集成电路、摩尔定律 - Integrated Circuits & Moore’s Law 18 - 操作系统 - Operating Systems 19 - 内存 & 储存介质 - Memory & Storage 20 - 文件系统 - Files & File Systems 21 - 压缩 - Compression 22 - 命令行界面 - Keyboards & Command Line Interfaces 23 - 屏幕 & 2D 图形显示 - Screens & 2D Graphics 24 - 冷战和消费主义 - The Cold War and Consumerism 25 - 个人计算机革命 - The Personal Computer Revolution 26 - 图形用户界面 - Graphical User Interfaces 27 - 3D 图形 - 3D Graphics 28 - 计算机网络 - Computer Networks 29 - 互联网 - The Internet 30 - 万维网 - The World Wide Web 31 - 网络安全 - Cybersecurity 32 - 黑客与攻击 - Hackers & Cyber Attacks 33 - 加密 - Cryptography 34 - 机器学习与人工智能 - Machine Learning & Artificial Intelligence 35 - 计算机视觉 - Computer Vision 36 - 自然语言处理 - Natural Language Processing 37 - 机器人 - Robots 38 - 计算机中的心理学 - Psychology of Computing 39 - 教育型科技 - Educational Technology 40 - (完结) 奇点,天网,计算机的未来 - The Singularity, Skynet, and the Future of Computing 可以看到真的是应有尽有,像计算机的早期历史、编程的发展史,到二进制、指令和程序,到算法入门、数据结构,甚至是计算机安全、黑客、加密、机器学习 & 人工智能、计算机视觉、自然语言处理、机器人等等等等都有涉及。再夸奖的话我已经说不出来了,只能 Orzzzzzzzzzzzzzzzzz 了... 到这里你以为完了么?不!这怎么能够!译者们还贴心的在每一集的开头放上了片头总结,让你刚开始就能知道这一集讲了啥,哪个时间点讲了哪些知识点,真的是炒鸡贴心! 如此良心的一门课,如此贴心的翻译团队,真的强烈建议大家一定要好好看,沉下心来,认认真真的每天学一点,你会发现真的很不一样,有时候改变和成长就是这么潜移默化的进行。 当然这么好看的课当然希望大家能够多多转发,在看支持,让更多的朋友能够看到,大家一起学习一起进步! 今天的分享就到这,我要赶紧去看视频啦...

剑曼红尘 2020-04-16 18:15:52 0 浏览量 回答数 0

回答

前言 这期我想写很久了,但是因为时间的原因一直拖到了现在,我以为一两天就写完了,结果从构思到整理资料,再到写出来用了差不多一周的时间吧。 你们也知道丙丙一直都是创作鬼才来的,所以我肯定不会一本正经的写,我想了好几个切入点,最后决定用一个完整的电商系统作为切入点,带着大家看看,我们需要学些啥,我甚至还收集配套视频和资料,暖男石锤啊,这期是呕心沥血之作,不要白嫖了。 正文 在写这个文章之前,我花了点时间,自己臆想了一个电商系统,基本上算是麻雀虽小五脏俱全,我今天就用它开刀,一步步剖析,我会讲一下我们可能会接触的技术栈可能不全,但是够用,最后给个学习路线。 Tip:请多欣赏一会,每个点看一下,看看什么地方是你接触过的,什么技术栈是你不太熟悉的,我觉得还算是比较全的,有什么建议也可以留言给我。 不知道大家都看了一下没,现在我们就要庖丁解牛了,我从上到下依次分析。 前端 你可能会会好奇,你不是讲后端学习路线嘛,为啥还有前端的部分,我只能告诉你,傻瓜,肤浅。 我们可不能闭门造车,谁告诉你后端就不学点前端了? 前端现在很多也了解后端的技术栈的,你想我们去一个网站,最先接触的,最先看到的是啥? 没错就是前端,在大学你要是找不到专门的前端同学,去做系统肯定也要自己顶一下前端的,那我觉得最基本的技术栈得熟悉和了解吧,丙丙现在也是偶尔会开发一下我们的管理系统主要是VUE和React。 在这里我列举了我目前觉得比较简单和我们后端可以了解的技术栈,都是比较基础的。 作为一名后端了解部分前端知识还是很有必要的,在以后开发的时候,公司有前端那能帮助你前后端联调更顺畅,如果没前端你自己也能顶一下简单的页面。 HTML、CSS、JS、Ajax我觉得是必须掌握的点,看着简单其实深究或者去操作的话还是有很多东西的,其他作为扩展有兴趣可以了解,反正入门简单,只是精通很难很难。 在这一层不光有这些还有Http协议和Servlet,request、response、cookie、session这些也会伴随你整个技术生涯,理解他们对后面的你肯定有不少好处。 Tip:我这里最后删除了JSP相关的技术,我个人觉得没必要学了,很多公司除了老项目之外,新项目都不会使用那些技术了。 前端在我看来比后端难,技术迭代比较快,知识好像也没特定的体系,所以面试大厂的前端很多朋友都说难,不是技术多难,而是知识多且复杂,找不到一个完整的体系,相比之下后端明朗很多,我后面就开始讲后端了。 网关层: 互联网发展到现在,涌现了很多互联网公司,技术更新迭代了很多个版本,从早期的单机时代,到现在超大规模的互联网时代,几亿人参与的春运,几千亿成交规模的双十一,无数互联网前辈的造就了现在互联网的辉煌。 微服务,分布式,负载均衡等我们经常提到的这些名词都是这些技术在场景背后支撑。 单机顶不住,我们就多找点服务器,但是怎么将流量均匀的打到这些服务器上呢? 负载均衡,LVS 我们机器都是IP访问的,那怎么通过我们申请的域名去请求到服务器呢? DNS 大家刷的抖音,B站,快手等等视频服务商,是怎么保证同时为全国的用户提供快速的体验? CDN 我们这么多系统和服务,还有这么多中间件的调度怎么去管理调度等等? zk 这么多的服务器,怎么对外统一访问呢,就可能需要知道反向代理的服务器。 Nginx 这一层做了反向负载、服务路由、服务治理、流量管理、安全隔离、服务容错等等都做了,大家公司的内外网隔离也是这一层做的。 我之前还接触过一些比较有意思的项目,所有对外的接口都是加密的,几十个服务会经过网关解密,找到真的路由再去请求。 这一层的知识点其实也不少,你往后面学会发现分布式事务,分布式锁,还有很多中间件都离不开zk这一层,我们继续往下看。 服务层: 这一层有点东西了,算是整个框架的核心,如果你跟我帅丙一样以后都是从事后端开发的话,我们基本上整个技术生涯,大部分时间都在跟这一层的技术栈打交道了,各种琳琅满目的中间件,计算机基础知识,Linux操作,算法数据结构,架构框架,研发工具等等。 我想在看这个文章的各位,计算机基础肯定都是学过的吧,如果大学的时候没好好学,我觉得还是有必要再看看的。 为什么我们网页能保证安全可靠的传输,你可能会了解到HTTP,TCP协议,什么三次握手,四次挥手。 还有进程、线程、协程,什么内存屏障,指令乱序,分支预测,CPU亲和性等等,在之后的编程生涯,如果你能掌握这些东西,会让你在遇到很多问题的时候瞬间get到点,而不是像个无头苍蝇一样乱撞(然而丙丙还做得不够)。 了解这些计算机知识后,你就需要接触编程语言了,大学的C语言基础会让你学什么语言入门都会快点,我选择了面向对象的JAVA,但是也不知道为啥现在还没对象。 JAVA的基础也一样重要,面向对象(包括类、对象、方法、继承、封装、抽象、 多态、消息解析等),常见API,数据结构,集合框架,设计模式(包括创建型、结构型、行为型),多线程和并发,I/O流,Stream,网络编程你都需要了解。 代码会写了,你就要开始学习一些能帮助你把系统变得更加规范的框架,SSM可以会让你的开发更加便捷,结构层次更加分明。 写代码的时候你会发现你大学用的Eclipse在公司看不到了,你跟大家一样去用了IDEA,第一天这是什么玩意,一周后,真香,但是这玩意收费有点贵,那免费的VSCode真的就是不错的选择了。 代码写的时候你会接触代码的仓库管理工具maven、Gradle,提交代码的时候会去写项目版本管理工具Git。 代码提交之后,发布之后你会发现很多东西需要自己去服务器亲自排查,那Linux的知识点就可以在里面灵活运用了,查看进程,查看文件,各种Vim操作等等。 系统的优化很多地方没优化的空间了,你可能会尝试从算法,或者优化数据结构去优化,你看到了HashMap的源码,想去了解红黑树,然后在算法网上看到了二叉树搜索树和各种常见的算法问题,刷多了,你也能总结出精华所在,什么贪心,分治,动态规划等。 这么多个服务,你发现HTTP请求已经开始有点不满足你的需求了,你想开发更便捷,像访问本地服务一样访问远程服务,所以我们去了解了Dubbo,Spring cloud。 了解Dubbo的过程中,你发现了RPC的精华所在,所以你去接触到了高性能的NIO框架,Netty。 代码写好了,服务也能通信了,但是你发现你的代码链路好长,都耦合在一起了,所以你接触了消息队列,这种异步的处理方式,真香。 他还可以帮你在突发流量的时候用队列做缓冲,但是你发现分布式的情况,事务就不好管理了,你就了解到了分布式事务,什么两段式,三段式,TCC,XA,阿里云的全局事务服务GTS等等。 分布式事务的时候你会想去了解RocketMQ,因为他自带了分布式事务的解决方案,大数据的场景你又看到了Kafka。 我上面提到过zk,像Dubbo、Kafka等中间件都是用它做注册中心的,所以很多技术栈最后都组成了一个知识体系,你先了解了体系中的每一员,你才能把它们联系起来。 服务的交互都从进程内通信变成了远程通信,所以性能必然会受到一些影响。 此外由于很多不确定性的因素,例如网络拥塞、Server 端服务器宕机、挖掘机铲断机房光纤等等,需要许多额外的功能和措施才能保证微服务流畅稳定的工作。 **Spring Cloud **中就有 Hystrix 熔断器、Ribbon客户端负载均衡器、Eureka注册中心等等都是用来解决这些问题的微服务组件。 你感觉学习得差不多了,你发现各大论坛博客出现了一些前沿技术,比如容器化,你可能就会去了解容器化的知识,像**Docker,Kubernetes(K8s)**等。 微服务之所以能够快速发展,很重要的一个原因就是:容器化技术的发展和容器管理系统的成熟。 这一层的东西呢其实远远不止这些的,我不过多赘述,写多了像个劝退师一样,但是大家也不用慌,大部分的技术都是慢慢接触了,工作中慢慢去了解,去深入的。 好啦我们继续沿着图往下看,那再往下是啥呢? 数据层: 数据库可能是整个系统中最值钱的部分了,在我码文字的前一天,刚好发生了微盟程序员删库跑路的操作,删库跑路其实是我们在网上最常用的笑话,没想到还是照进了现实。 这里也提一点点吧,36小时的故障,其实在互联网公司应该是个笑话了吧,权限控制没做好类似rm -rf 、fdisk、drop等等这样的高危命令是可以实时拦截掉的,备份,全量备份,增量备份,延迟备份,异地容灾全部都考虑一下应该也不至于这样,一家上市公司还是有点点不应该。 数据库基本的事务隔离级别,索引,SQL,主被同步,读写分离等都可能是你学的时候要了解到的。 上面我们提到了安全,不要把鸡蛋放一个篮子的道理大家应该都知道,那分库的意义就很明显了,然后你会发现时间久了表的数据大了,就会想到去接触分表,什么TDDL、Sharding-JDBC、DRDS这些插件都会接触到。 你发现流量大的时候,或者热点数据打到数据库还是有点顶不住,压力太大了,那非关系型数据库就进场了,Redis当然是首选,但是MongoDB、memcache也有各自的应用场景。 Redis使用后,真香,真快,但是你会开始担心最开始提到的安全问题,这玩意快是因为在内存中操作,那断点了数据丢了怎么办?你就开始阅读官方文档,了解RDB,AOF这些持久化机制,线上用的时候还会遇到缓存雪崩击穿、穿透等等问题。 单机不满足你就用了,他的集群模式,用了集群可能也担心集群的健康状态,所以就得去了解哨兵,他的主从同步,时间久了Key多了,就得了解内存淘汰机制…… 他的大容量存储有问题,你可能需要去了解Pika…. 其实远远没完,每个的点我都点到为止,但是其实要深究每个点都要学很久,我们接着往下看。 实时/离线/大数据 等你把几种关系型非关系型数据库的知识点,整理清楚后,你会发现数据还是大啊,而且数据的场景越来越多多样化了,那大数据的各种中间件你就得了解了。 你会发现很多场景,不需要实时的数据,比如你查你的支付宝去年的,上个月的账单,这些都是不会变化的数据,没必要实时,那你可能会接触像ODPS这样的中间件去做数据的离线分析。 然后你可能会接触Hadoop系列相关的东西,比如于Hadoop(HDFS)的一个数据仓库工具Hive,是建立在 Hadoop 文件系统之上的分布式面向列的数据库HBase 。 写多的场景,适合做一些简单查询,用他们又有点大材小用,那Cassandra就再合适不过了。 离线的数据分析没办法满足一些实时的常见,类似风控,那Flink你也得略知一二,他的窗口思想还是很有意思。 数据接触完了,计算引擎Spark你是不是也不能放过…… 搜索引擎: 传统关系型数据库和NoSQL非关系型数据都没办法解决一些问题,比如我们在百度,淘宝搜索东西的时候,往往都是几个关键字在一起一起搜索东西的,在数据库除非把几次的结果做交集,不然很难去实现。 那全文检索引擎就诞生了,解决了搜索的问题,你得思考怎么把数据库的东西实时同步到ES中去,那你可能会思考到logstash去定时跑脚本同步,又或者去接触伪装成一台MySQL从服务的Canal,他会去订阅MySQL主服务的binlog,然后自己解析了去操作Es中的数据。 这些都搞定了,那可视化的后台查询又怎么解决呢?Kibana,他他是一个可视化的平台,甚至对Es集群的健康管理都做了可视化,很多公司的日志查询系统都是用它做的。 学习路线 看了这么久你是不是发现,帅丙只是一直在介绍每个层级的技术栈,并没说到具体的一个路线,那是因为我想让大家先有个认知或者说是扫盲吧,我一样用脑图的方式汇总一下吧,如果图片被平台二压了。 资料/学习网站 Tip:本来这一栏有很多我准备的资料的,但是都是外链,或者不合适的分享方式,博客的运营小姐姐提醒了我,所以大家去公众号回复【路线】好了。 絮叨 如果你想去一家不错的公司,但是目前的硬实力又不到,我觉得还是有必要去努力一下的,技术能力的高低能决定你走多远,平台的高低,能决定你的高度。 如果你通过努力成功进入到了心仪的公司,一定不要懈怠放松,职场成长和新技术学习一样,不进则退。 丙丙发现在工作中发现我身边的人真的就是实力越强的越努力,最高级的自律,享受孤独(周末的歪哥)。 总结 我提到的技术栈你想全部了解,我觉得初步了解可能几个月就够了,这里的了解仅限于你知道它,知道他是干嘛的,知道怎么去使用它,并不是说深入了解他的底层原理,了解他的常见问题,熟悉问题的解决方案等等。 你想做到后者,基本上只能靠时间上的日积月累,或者不断的去尝试积累经验,也没什么速成的东西,欲速则不达大家也是知道的。 技术这条路,说实话很枯燥,很辛苦,但是待遇也会高于其他一些基础岗位。 所实话我大学学这个就是为了兴趣,我从小对电子,对计算机都比较热爱,但是现在打磨得,现在就是为了钱吧,是不是很现实?若家境殷实,谁愿颠沛流离。 但是至少丙丙因为做软件,改变了家庭的窘境,自己日子也向小康一步步迈过去。 说做程序员改变了我和我家人的一生可能夸张了,但是我总有一种下班辈子会因为我选择走这条路而改变的错觉。 我是敖丙,一个在互联网苟且偷生的工具人。 创作不易,本期硬核,不想被白嫖,各位的「三连」就是丙丙创作的最大动力,我们下次见! 本文 GitHub https://github.com/JavaFamily 已经收录,有大厂面试完整考点,欢迎Star。 该回答来自:敖丙

剑曼红尘 2020-03-06 11:35:37 0 浏览量 回答数 0

回答

忘记这茬了,ldconfig,已经解决 ###### 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... ###### 引用来自“狮子的魂”的答案 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... 我用是会用了,我不知道这玩意具体的使用场景是啥?分词的话搜索引擎都会帮你做了呀。。 ###### 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... ###### 另外搜索引擎和全文索引是不一样的: 搜索引擎包括: 网络爬虫, 文档处理(去重...), 全文索引(需要中文分词), 查询接口. 我们通常用的是"全文索引"类库, 只是搜索引擎的一部分, 而这些类库基本都是国外的, 加上中文分词的复杂, 里面一般都没有中文分词的类库, 就像lucene, 自带的不好用... ###### 引用来自“狮子的魂”的答案 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... 嗯,受教了,我用的是coreseek,这个是基于俄罗人开发的sphinx的。 我测试了下如果用你开发的这套东西的话,我可以用原生的sphinx了。例如搜索“广州市人民医院”,直接通过robbe 分成“广州市” “人民“ “医院”,然后直接放到sphinx API里去搜,我用的对吗? ###### 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 汗,我的数据量是30W的100倍啊,呵呵。如果mysql能解决的话,就好了。。。 ###### 引用来自“宝仔love”的答案 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? 呵呵……这个当初在robbe-1.0发布的时候我就取用它测试了sphinx0.9.9。效果很好,就是用base64转吗也很高效,但是那时候friso1.0的分词效果还不是很好。现在分词好了搜索的精准度高些了。就是那个相关度排序的问题,不知道转换了base64编码后跟中文的相关度是否与误差!

爱吃鱼的程序员 2020-06-02 15:03:04 0 浏览量 回答数 0

回答

忘记这茬了,ldconfig,已经解决 ###### 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... ###### 引用来自“狮子的魂”的答案 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... 我用是会用了,我不知道这玩意具体的使用场景是啥?分词的话搜索引擎都会帮你做了呀。。 ###### 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... ###### 另外搜索引擎和全文索引是不一样的: 搜索引擎包括: 网络爬虫, 文档处理(去重...), 全文索引(需要中文分词), 查询接口. 我们通常用的是"全文索引"类库, 只是搜索引擎的一部分, 而这些类库基本都是国外的, 加上中文分词的复杂, 里面一般都没有中文分词的类库, 就像lucene, 自带的不好用... ###### 引用来自“狮子的魂”的答案 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... 嗯,受教了,我用的是coreseek,这个是基于俄罗人开发的sphinx的。 我测试了下如果用你开发的这套东西的话,我可以用原生的sphinx了。例如搜索“广州市人民医院”,直接通过robbe 分成“广州市” “人民“ “医院”,然后直接放到sphinx API里去搜,我用的对吗? ###### 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 汗,我的数据量是30W的100倍啊,呵呵。如果mysql能解决的话,就好了。。。 ###### 引用来自“宝仔love”的答案 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? 呵呵……这个当初在robbe-1.0发布的时候我就取用它测试了sphinx0.9.9。效果很好,就是用base64转吗也很高效,但是那时候friso1.0的分词效果还不是很好。现在分词好了搜索的精准度高些了。就是那个相关度排序的问题,不知道转换了base64编码后跟中文的相关度是否与误差!

优选2 2020-06-05 11:37:47 0 浏览量 回答数 0

回答

忘记这茬了,ldconfig,已经解决 ###### 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... ###### 引用来自“狮子的魂”的答案 哈, 自问自答.....    话说, friso并没有提供--help文档, 只有一个开发帮助的pdf文档... 我用是会用了,我不知道这玩意具体的使用场景是啥?分词的话搜索引擎都会帮你做了呀。。 ###### 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... ###### 另外搜索引擎和全文索引是不一样的: 搜索引擎包括: 网络爬虫, 文档处理(去重...), 全文索引(需要中文分词), 查询接口. 我们通常用的是"全文索引"类库, 只是搜索引擎的一部分, 而这些类库基本都是国外的, 加上中文分词的复杂, 里面一般都没有中文分词的类库, 就像lucene, 自带的不好用... ###### 引用来自“狮子的魂”的答案 信息检索, 语音合成, 语音识别, 文本自动分类, 机器翻译, 关键字提取....... 其中在信息检索中用的最多, 一般的全文索引组建没有提供中文分词工具, 例如: xapian, zebra等.... 都没有..... 如果是用在php里面的话, 我提供了一个robbe扩展... 嗯,受教了,我用的是coreseek,这个是基于俄罗人开发的sphinx的。 我测试了下如果用你开发的这套东西的话,我可以用原生的sphinx了。例如搜索“广州市人民医院”,直接通过robbe 分成“广州市” “人民“ “医院”,然后直接放到sphinx API里去搜,我用的对吗? ###### 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? ###### 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 汗,我的数据量是30W的100倍啊,呵呵。如果mysql能解决的话,就好了。。。 ###### 引用来自“宝仔love”的答案 引用来自“狮子的魂”的答案 分词重点用在索引的建立和查询过程. 1. 你可以修改sphinx, 将friso内嵌到sphinx当作默认的分词程序. 然后你的spinx的调用接口不变.... 2. 我先前是将利用robbe分词(因为是给php用), 然后在将切分结果base64编码, 再将编码后的词条使用空格串接起来.  在给sphinx用, sphinx会自动用自带的英文分词程序再切分.. http://my.oschina.net/jcseg/blog/111106 里面的示例代码兴许会有帮助. 最好的办法是第一种(但是, 需要对sphinx设计比较熟悉, 才能很好的将friso嵌入到sphinx作为默认的分词程序), 第二种最简单... 修改sphinx的话对于我来说现在难度太大了,之前是用shinx_for_chinese,但是这玩意在建立索引的时候就已经把词分好了, 所以才导致这种结果:例如搜“广州市物友电子科技有限公司”可以搜到,但是你搜“广州市物友电子科技有限”就搜不到“广州市物友电子科技有限公司”了。后来我就转coreseek了,这玩意的分词是libmmseg,和你的friso一样都是基于mmseg算法实现的,用的是最新测试版的,在线上运行的时候,--rotate建索引的时候出问题了,貌似是BUG,也查不到个所以然,再说这玩意有些年头没更新了,稳定版还是基于sphinx0.9.9的,回退到这个版本的话API里很多东西都不适用了。现在我看到你开发的这个东西,感觉应该适合我们,这样的话可以用原生的sphinx,我打算好好测试测试,但是你推荐第一种,我用第二种会有问题吗? 呵呵……这个当初在robbe-1.0发布的时候我就取用它测试了sphinx0.9.9。效果很好,就是用base64转吗也很高效,但是那时候friso1.0的分词效果还不是很好。现在分词好了搜索的精准度高些了。就是那个相关度排序的问题,不知道转换了base64编码后跟中文的相关度是否与误差!

爱吃鱼的程序员 2020-05-30 14:01:40 0 浏览量 回答数 0

问题

备案经验

fly720 2019-12-01 21:46:21 3886 浏览量 回答数 1

问题

荆门开诊断证明-scc

游客5k2abgdj3m2ti 2019-12-01 22:09:00 1 浏览量 回答数 0

回答

在这个信息时代高速发展的情况下,很多人会对自己该往哪个方向发展感到迷茫,下面我就浅显的给大家介绍一下五大流行区域的发展前景。大数据的发展前景:当前大数据行业真的是人才稀缺吗?学了几年后,大数据行业会不会产能过剩?大数据行业最终需要什么样的人才?接下来就带你们看看分析结果:当前大数据行业真的是人才稀缺吗?对!未来人才缺口150万,数据分析人才最稀缺。先看大数据人才缺口有多大?根据LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中数据分析人才最为稀缺、供给指数最低。同时,数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。而清华大学计算机系教授武永卫去年透露了一组数据:未来3-5年,中国需要180万数据人才,但目前只有约30万人。大数据行业未来会产能过剩吗?提供大数据技术与应用服务的第三方公司面临调整,未来发展会趋集中关于“大数据概念是否被过度炒作”的讨论,其实2013年的夏季达沃斯就有过。彼时支持“炒作”观点的现场观众达54.5%。对此,持反对意见的北京大学光华管理学院副教授苏萌提出了三个理由:不同机构间的数据还未真正流动起来,目前还只是数据“孤岛”;完整的生态产业链还未形成,尽管通过行为数据分析已能够分辨出一个消费者的喜好,但从供应到购买的链条还没建成;数据分析人才仍然极度匮乏。4年之后,舆论热点已经逐渐从大数据转向人工智能,大数据行业也历经整合。近一年间,一些大数据公司相继出现裁员、业务大调整等情况,部分公司出现亏损。那都是什么公司面临危机呢?基于数据归属,涉及大数据业务的公司其实有两类:一类是自身拥有数据的甲方公司,如亚马逊、阿里巴巴等;另一类是整合数据资源,提供大数据技术与应用服务的第三方公司。目前行业整合出现盈利问题的公司多集中在第三方服务商。对此,LinkedIn(领英)中国技术副总裁王迪表示,第三方服务商提供的更多的是技术或平台,大数据更多还是让甲方公司获益。在王迪看来,大数据业务要产生规模效益,至少要具备三点:算法、计算平台以及数据本身。“第三方大数据创业公司在算法上有一技之长,而计算能力实际上已经匀化了,传统企业如果用好了,和大数据创业公司没有区别,甚至计算能力更强,而数据获取方面,很多数据在传统行业内部并没有共享出来,第三方大数据公司获取这些数据是比较困难的,最后可能谁有数据,谁产生的价值更高。”说白了,数据为王。在2013年,拿到千万级A轮融资的大数据企业不足10家,到2015年,拿到千万级以上A轮融资的企业已经超过30家。直到2016年互联网资本寒冬,大数据行业投资热度有所减退,大数据行业是否也存在产能过剩?王迪认为,目前的行业整合属于正常现象,“经过市场的优胜劣汰,第三方服务领域会出现一些做得比较好的公司,其他公司可能被淘汰或转型做一些垂直行业应用。从社会来看,总的需求量一定是增加的,而对于供给侧,经过行业自然的洗牌,最终会集中在几家优秀的行业公司。”需要什么样的大数据人才?今年3月份,教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单,加上第一批获批的北京大学、对外经济贸易大学、中南大学,一共35所高校获批该专业。今年开始,部分院校将招收第一届大数据专业本科生。大数据人才培养涉及到两方面问题:交叉性学科的人才培养方案是否与市场需求相匹配;学科建设的周期与行业快速更新之间的差距怎样弥合。对于第一个问题,“电商热”时期开设的电子商务专业是一个可吸取经验的样本。2000年,教育部高教司批准了第一批高校开设电子商务本科专业。作为一个复合型专业,电子商务的本科教学涵盖了管理、技术、营销三方面的课程。电子商务领域人才需求量大,但企业却无法从电子商务专业中找到合适的人才,原因何在?职业规划专家姜萌认为,并不是某一个专业对应一个行业热点,而是一个专业集群对应一个行业热点。“比如电子商务专业,我们到电子商务公司里会发现,不是学电子商务的人在做这些工作,而是每个专业各司其职,比如计算机、设计、物流管理、营销、广告、金融等等。现在行业的复合型工作都是由一个专业集群来完成的,而不是一个人来复合一堆专业特点。”大数据专业的人才培养也同样走复合型路线,复旦大学大数据学院的招生简章显示,学院本科人才培养以统计学、计算机科学和数学为三大基础支撑性学科,以生物学、医学、环境科学、经济学、社会学、管理学等为应用拓展性学科,具备典型的交叉学科特征。LinkedIn(领英)中国技术副总裁王迪指出,“从企业应用的角度来看,大数据行业里从事相关职能的同学背景是各异的,大数据作为一个人才培养方向还在探索中,在这个阶段,高校尝试开设硕士课程是很好的实践,但开设一类的本科专业还为时过早。”另一方面,专业人才培养的周期较长,而行业热点不断更新轮替,中间产生的时间差使得新兴专业的志愿填报具备了一定风险。王迪认为,“从今天的产业实践上看,大数据领域依然是从现有专业中挑选人才,教育和市场发展总是有一定差距的,学生本科四年,加上硕士阶段已经是七年之后的事情了,产业已经演进了很多,而教学大纲并不会跟进得那么快。”因此,尽管大数据的应用前景毋庸置疑,但在人才培养层面,复合型人才培养方案会不会重走电子商务专业的老路?学校教育如何赶上行业发展速度?这些都是值得进一步商榷的问题。面对热门专业,志愿填报需要注意啥?了解了大数据行业、公司和大数据专业后,姜萌对于考生填报像大数据相关的热门专业,提出了几条建议:报考热的专业和就业热的专业并不一定是重合的,比如软件、计算机、金融,这些专业的就业率实际并没有那么高,地质勘探、石油、遥感等专业,虽然报考上是冷门,但行业需求大,就业率更高。选择热门专业,更需要考虑就业质量。专业就业好,是统计学意义,指的是平均收入水平高,比如金融专业的收入,比其他纯文科专业的平均收入较高,但落实到个体层面,就业情况就不一样了,尤其像金融专业是典型的名校高学历好就业,但对于考试成绩较低的同学来说,如果去一些普通院校、专科院校学习金融,最后就业情况可能还不如会计专业。志愿填报,除了专业,城市因素也很重要:如果想从事金融、互联网的工作,更适合去一线城市,如果是去三、四线城市的学生可以考虑应用面比较广的专业,就是各行各业都能用到的专业,比如会计专业,专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市,也可以针对所在城市的行业特点选择专业,比如沿海城市外贸相对发达,选择国际贸易、外语类专业就业情况更好,比如武汉有光谷,选择光电类专业更好就业。最终家长和考生更需要考虑个人与专业匹配的问题,金融、计算机等热门专业不是所有人都适合学,好专业不见得对所有个体都是好的。java的发展前景:由于Java的诸多优点,Java的发展前景十分广泛。比如,在我们中国的市场,Java无论在企业级应用,还是在面向大众的服务方面都取得了不少进展,在中国的电信、金融等关键性业务中发挥着举足轻重的作用。由于SUN、TBM、Oracle等国际厂商相继推出各种基于Java技术的应用服务器以及各种应用软件,推动了Java在金融、电信、制造等领域日益广泛的应用,如清华大学计算机系利用Java、XML和Web技术研制开发了多个软件平台,东方科技的TongWeb、中创的Inforweb等J2EE应用服务器。由此可见,在巨大市场需求下,企业对于Java人才的渴求已经是不争的事实。你问我火了这么多年的Java语言的发展前景怎么样?那来看看吧Java在WEB、移动设备以及云计算方面前景广阔,随着云计算以及移动领域的扩张,更多的企业在考虑将其应用部署在Java平台上。无论是本地主机,公共云,Java都是目前最适合的选择。;另外在Oracle的技术投资担保下,Java也是企业在云应用方面回避微软平台、在移动应用方面回避苹果公司的一个最佳选择。Java可以参与制作大部分网络应用程序系统,而且与如今流行的WWW浏览器结合很好,这一优点将促进Java的更大范围的推广。因为在未来的社会,信息将会传送的更加快速,这将推动程序向WEB程序方向发展,由于Java具有编写WEB程序的能力,并且Java与浏览器结合良好,这将使得Java前景充满光明的发展。Python的发展前景:Python程序员的发展前景是怎样的?随着Python的技术的流行, Python在为人们带来工作与生活上的便捷后,关注者们开始慢慢关心Python的发展前景与方向。从自身特性看Python发展Python自身强大的优势决定其不可限量的发展前景。Python作为一种通用语言,几乎可以用在任何领域和场合,角色几乎是无限的。Python具有简单、易学、免费、开源、可移植、可扩展、可嵌入、面向对象等优点,它的面向对象甚至比java和C#、.net更彻底。它是一种很灵活的语言,能帮你轻松完成编程工作。强大的类库支持,使编写文件处理、正则表达式,网络连接等程序变得相当容易。能运行在多种计算机平台和操作系统中,如各位unix,windows,MacOS,OS/2等等,并可作为一种原型开发语言,加快大型程序的开发速度。从企业应用来看Python发展Python被广泛的用在Web开发、运维自动化、测试自动化、数据挖掘等多个行业和领域。一项专业调查显示,75%的受访者将Python视为他们的主要开发语言,反之,其他25%受访者则将其视为辅助开发语言。将Python作为主要开发语言的开发者数量逐年递增,这表明Python正在成为越来越多开发者的开发语言选择。目前,国内不少大企业都已经使用Python如豆瓣、搜狐、金山、腾讯、盛大、网易、百度、阿里、淘宝、热酷、土豆、新浪、果壳等;国外的谷歌、NASA、YouTube、Facebook、工业光魔、红帽等都在应用Python完成各种各样的任务。从市场需求与薪资看Python发展Python得到越来越多公司的青睐,使得Python人才需求逐年增加,从市场整体需求来看,Python在招聘市场上的流行程度也是在逐步上升的,工资水平也是水涨船高。据统计Python平均薪资水平在12K,随着经验的提升,薪资也是逐年增长。学习Python的程序员,除去Python开发工程师、Python高级工程师、Python自动化测试外,也能够朝着Python游戏开发工程师、SEO工程师、Linux运维工程师等方向发展,发展方向较为多元化。随着Python的流行,带动的是它的普及以及市场需求量,所以现在学习Python是个不错的时机。区块链的发展前景:区块链开发 ? 155---0116---2665 ?可是区块链技术到底是什么,大多数人都是模糊没有概念。通俗来讲,如果我们把数据库假设成一本账本,读写数据库就可以看做一种记账的行为,区块链技术的原理就是在一段时间内找出记账最快最好的人,由这个人来记账,然后将账本的这一页信息发给整个系统里的其他所有人。区块链技术也称分布式账本(或账簿)技术,属于互联网数据库技术,由参与者共同完成数据库记录,特点是去中心化和公开透明。此外,在每个区块的信息写入并获得认可后,整个区块链数据库完整保存在互联网的节点中,难以被修改,因此数据库的安全性极高。人们普遍认为,区块链技术是实现数字产品(如货币和知识产权)快速、安全和透明地对等(P2P)转账或转让的重要手段。在以色列Zen Protocol公司,区块链应用软件开发专家阿希尔·曼宁介绍说,他们公司正在开发Zen区块链平台,其将用于支持金融产品在无中介的环境下自动和自由交易。通常,人们将钱存放在银行,依靠银行管理自己的资金。但是,在支配资金时往往会受到银行规定的限制,或在汇款时存在耗时长、费用高等问题。区块链技术平台将让人们首次拥有自己管理和支配钱财的能力,他相信去中心化金融管理体系具有广阔的市场,有望极大地改变传统的金融市场。2018年伊始这一轮区块链的热潮,主要起源于虚拟货币的炒作热情。站在风口,区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。很多人不禁要问“区块链又和比特币又是什么关系?”记者查询了大量资料发现,比特币2009年被一位名叫中本聪的人提出,之后比特币这套去中心化的机制一直稳定运行,这引起很多人对这套历史上并不存在的运行机制强烈关注。于是人们把从比特币技术抽象提取出来的技术运用于其他领域,称之为区块链。这过程就好像人们先发明了面条,然后人们发现其背后面粉不仅可以做面条还可以做馒头、面包。比特币是面条,区块链是面粉。也就是说,区块链和比特币的关系即比特币算是区块链技术的一种应用,或者说一种使用了区块链技术的产品形态。而说到区块链不得不说的就是ICO,它是一种公开发行的初始数字货币。对于投资人来说,出于对市场信号的敏感和长期关注价值投资项目,目前炙手可热的区块链也成为诸多投资人关注的新兴项目之一。“区块链对于我们来说就是省去了中间环节,节约了交易成本,节省了交易时间,但是目前来看各方面环境还不够成熟,有待观望。”一位投资人这样说道。记者发现,在春节期间,不少互金圈的朋友熬夜到凌晨进入某个探讨区块链的微信群热聊,此群还吸引了不少知名人士,诸如明星加入,同时还有大咖在群里解读区块链的投资方式和未来发展等等。一时间,关于区块链的讨论群接二连三出现,也引发了各个行业对区块链的关注。出于对于区块链技术懵懂的状态,记者追问了身边的一些互金圈的朋友,为何如此痴迷区块链?多数朋友认为“区块链能赚钱,抱着试试看的心态,或许能像之前比特币一样从中获取收益。”显然,区块链技术具有广阔的应用潜力,但是在其逐步进入社会改善民众生活的过程中,也面临许多的问题,需要积极去寻求相应的对策,最终让其发挥出潜力。只有这样,10年或20年后人们才能真正享受区块链技术创造的美好环境。人工智能的发展前景:人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,国内外的高科技公司以及风险投资机构纷纷布局人工智能产业链。科技部部长万钢3月10日表示,加快实施新一代人工智能科学基础的关键技术系统集成研发,使那些研发成果尽快能够进入到开放平台,在开放使用中再一次把它增强完善。万钢称,马上就要发布人工智能项目指南和细则,来突破基础前沿理论关键部分的技术。人工智能发展趋势据前瞻产业研究院《人工智能行业市场前瞻与投资战略规划分析报告》指出,2017年中国人工智能核心产业规模超过700亿元,随着国家规划的出台,各地人工智能相关建设将逐步启动,预计到2020年,中国人工智能核心产业规模将超过1600亿元,增长率达到26.2%。报告认为,从产业投资回报率分析,智能安防、智能驾驶等领域的快速发展都将刺激计算机视觉分析类产品的需求,使得计算机视觉领域具备投资价值;而随着中国软件集成水平和人们生活水平的提高,提供教育、医疗、娱乐等专业化服务的服务机器人和智能无人设备具备投资价值。人工智能现状当前,人工智能受到的关注度持续提升,大量的社会资本和智力、数据资源的汇集驱动人工智能技术研究不断向前推进。从发展层次来看,人工智能技术可分为计算智能、感知智能和认知智能。当前,计算智能和感知智能的关键技术已经取得较大突破,弱人工智能应用条件基本成熟。但是,认知智能的算法尚未突破,前景仍不明朗。今年,随着智力资源的不断汇集,人工智能核心技术的研究重点可能将从深度学习转为认知计算,即推动弱人工智能向强人工智能不断迈进。一方面,在人工智能核心技术方面,在百度等大型科技公司和北京大学、清华大学等重点院校的共同推动下,以实现强人工智能为目标的类脑智能有望率先突破。另一方面,在人工智能支撑技术方面,量子计算、类脑芯片等核心技术正处在从科学实验向产业化应用的转变期,以数据资源汇集为主要方向的物联网技术将更加成熟,这些技术的突破都将有力推动人工智能核心技术的不断演进。工业大数据2022 年我国工业大数据有望突破 1200 亿元, 复合增速 42%。 工业大数据是提升制造智能化水平,推动中国制造业转型升级的关键动力,具体包括企业信息化数据、工业物联网数据,以及外部跨界数据。其中,企业信息化和工业物联网中机器产生的海量时序数据是工业数据的主要来源。工业大数据不仅可以优化现有业务,实现提质增效,而且还有望推动企业业务定位和盈利模式发生重大改变,向个性化定制、智能化生产、网络化协同、服务化延伸等智能化场景转型。预计到 2022 年,中国工业大数据市场规模有望突破 1200亿元,年复合增速 42%。IT的未来是人工智能这是一个指数级增长的时代。过去几十年,信息技术的进步相当程度上归功于芯片上晶体管数目的指数级增加,及由此带来的计算力的极大提升。这就是所谓的摩尔定律。在互联网时代,互联的终端数也是超线性的增长,而网络的效力大致与联网终端数的平方成正比。今天,大数据时代产生的数据正在呈指数级增加。在指数级增长的时代,我们可能会高估技术的短期效应,而低估技术的长期效应。历史的经验告诉我们,技术的影响力可能会远远的超过我们的想象。未来的计算能力人工智能需要强大的计算能力。计算机的性能过去30年提高了一百万倍。随着摩尔定律逐渐趋于物理极限,未来几年,我们期待一些新的技术突破。先谈一下类脑计算。传统计算机系统,长于逻辑运算,不擅长模式识别与形象思维。构建模仿人脑的类脑计算机芯片,我们今天可以以极低的功耗,模拟100万个神经元,2亿5千万个神经突触。未来几年,我们会看到类脑计算机的进一步的发展与应用随着互联网的普及、传感器的泛在、大数据的涌现、电子商务的发展、信息社区的兴起,数据和知识在人类社会、物理空间和信息空间之间交叉融合、相互作用,人工智能发展所处信息环境和数据基础发展了巨大的变化。伴随着科学基础和实现载体取得新的突破,类脑计算、深度学习、强化学习等一系列的技术萌芽预示着内在动力的成长,人工智能的发展已进入一个新的阶段。发展发展前景好,代表你现在学习会比后来者起步快,占有更大的优势,当然,你也要明白兴趣是最好的老师,选择自己感兴趣的相信你学的会更加而牢固。记住,最重要的一点:方向最重要!!!希望大家多多关注. ,加微信zhanglindashuju 可以获取更多资料哦作者:失色的瞳孔链接:https://juejin.im/post/5b1a6531e51d45067e6fc24a来源:掘金著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

孟志昂 2019-12-02 01:45:13 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站