网上各种短网址算法应用的初步详细汇总

简介: 看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转!不过2的62次方,不知...

看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转!不过2的62次方,不知道有没有重复的,小概率可以,但是对应不是很大的网站应该足够了


自从twitter推出短网址(shorturl),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈.不得不说这是一个新兴又一大热门web2.0服务.现整理一下,包括完整短网址网站,短网址算法原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的.

yourls,完整的ShortUrl网站.由国外著名 WordPress 插件大师级人物 Ozh Richard 和 Lester Chan 一起写的.官方网站是yourls.org.此为开源版本,可以从这里下载.最新版本1.5,昨天试用了一下,默认第一个是1,感觉不是很好,还是喜欢twitter风格的.

turl,phper的个人实现,可下载源码,点击此处

算法原理
算法一
1)将长网址md5生成32位签名串,分为4段, 每段8个字节;
2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;
3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;
4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;

这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现.

算法二
a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。
把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存量达到500多亿后才会出现重复的可能。
具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了.

短网址算法枚举

一个来自http://www.snippetit.com/2009/04/php-short-url-algorithm-implementation/ ,
代码如下:
<?php 
function shorturl($input) { 
  
$base32 = array ( 
    
'a''b''c''d''e''f''g''h'
    
'i''j''k''l''m''n''o''p'
    
'q''r''s''t''u''v''w''x'
    
'y''z''0''1''2''3''4''5' 
    
); 
  
  
$hex md5($input); 
  
$hexLen strlen($hex); 
  
$subHexLen $hexLen 8
  
$output = array(); 
  
  for (
$i 0$i $subHexLen$i++) { 
    
$subHex substr ($hex$i 88); 
    
$int 0x3FFFFFFF & (* ('0x'.$subHex)); 
    
$out ''
  
    for (
$j 0$j 6$j++) { 
      
$val 0x0000001F $int
      
$out .= $base32[$val]; 
      
$int $int >> 5
    } 
  
    
$output[] = $out
  } 
  
  return 
$output

?> 


另一个是纯随机数算法
<?php 
function random($length$pool ''
    { 
        
$random ''
  
        if (empty(
$pool)) { 
            
$pool    'abcdefghkmnpqrstuvwxyz'
            
$pool   .= '23456789'
        } 
  
        
srand ((double)microtime()*1000000); 
  
        for(
$i 0$i $length$i++)  
        { 
            
$random .= substr($pool,(rand()%(strlen ($pool))), 1); 
        } 
  
        return 
$random
    } 
?> 


各大微博短网址(ShortUrl)的算法 ,第一种算法的C#实现
<?php 
// 这是c#代码,受编辑器的限制,只能用php 
public static string[] ShortUrl(string url
        { 
            
//可以自定义生成MD5加密字符传前的混合KEY 
            
string key "Leejor"
            
//要使用生成URL的字符 
            
string[] chars = new string[]{ 
                
"a","b","c","d","e","f","g","h"
                
"i","j","k","l","m","n","o","p"
                
"q","r","s","t","u","v","w","x"
                
"y","z","0","1","2","3","4","5"
                
"6","7","8","9","A","B","C","D"
                
"E","F","G","H","I","J","K","L"
                
"M","N","O","P","Q","R","S","T"
                
"U","V","W","X","Y","Z" 

              
}; 
            
//对传入网址进行MD5加密 
            
string hex System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key url"md5");

            
string[] resUrl = new string[4]; 

            for (
int i 04i++) 
            { 
                
//把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算 
                
int hexint 0x3FFFFFFF Convert.ToInt32("0x" hex.Substring(88), 16); 
                
string outChars string.Empty; 
                for (
int j 06j++) 
                { 
                    
//把得到的值与0x0000003D进行位与运算,取得字符数组chars索引 
                    
int index 0x0000003D hexint
                    
//把取得的字符相加 
                    
outChars += chars[index]; 
                    
//每次循环按位右移5位 
                    
hexint hexint >> 5
                } 
                
//把字符串存入对应索引的输出数组 
                
resUrl[i] = outChars
            } 

            return 
resUrl
        } 
?> 


高进制数字转换,使用六十二进制将十进制数字变“短”。(作者自称很高效,但是来源页www.zoeey.com/cnphpdocs/short.url.radix.convert.html 打不开)
例如数据库中第 56800235583 条信息,对应的短网址后缀可以是 ZZZZZZ 。
下面是存储示例:

<?php 
//id 自增序列/自增编号 
//url 目标链接 
//*suffix* 短网址后缀 (并不需要存储在数据库内) 
+------------+-----------------------+---------+ 
|
id          url                   | *suffix*| 
+------------+-----------------------+---------+ 
|
123456      http://zoeey.com/     | w7e     | 
+------------+-----------------------+---------+ 
|
123457      http://www.zoeey.com/ | w7f     | 
+------------+-----------------------+---------+ 
|
56800235582 http://zoeey.org/     | ZZZZZY  | 
+------------+-----------------------+---------+ 
|
56800235583 http://www.zoeey.org/ | ZZZZZZ  | 
+------------+-----------------------+---------+ 
?> 

短网址使用流程:

  • 提交网址存储后获取其编号 如:123456
  • 用dec2Any将编号转换为62进制,并拼接网址 如:http://go.to/w7e
  • 用户访问到 http://go.to/w7e 时,提取短网址后缀 w7e
  • 用any2Dec将短网址后缀转换为10进制,得到链接编号 如:123456
  • 使用编号查询链接,并进行跳转[/list]


下面是进制转换所需要的源码:
<?php 
/* 
* MoXie (SysTem128@GMail.Com) 2010-6-30 17:53:57 
*  
* Copyright &copy; 2008-2010 Zoeey.Org . All rights are reserved. 
* Code license: Apache License  Version 2.0 
* http://www.apache.org/licenses/LICENSE-2.0.txt 
*/ 
error_reporting(E_ALL); 

/** 
* 返回一字符串,十进制 number 以 radix 进制的表示。 
* @param dec       需要转换的数字 
* @param toRadix    输出进制。当不在转换范围内时,此参数会被设定为 2,以便及时发现。 
* @return    指定输出进制的数字 
*/ 
function dec2Any($dec$toRadix) { 
    
$MIN_RADIX 2
    
$MAX_RADIX 62
    
$num62 '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'
    if (
$toRadix $MIN_RADIX || $toRadix $MAX_RADIX) { 
        
$toRadix 2
    } 
    if (
$toRadix == 10) { 
        return 
$dec
    } 
    
// -Long.MIN_VALUE 转换为 2 进制时长度为65 
    
$buf = array(); 
    
$charPos 64
    
$isNegative $dec 0//(bccomp($dec, 0) < 0); 
    
if (!$isNegative) { 
        
$dec = -$dec// bcsub(0, $dec); 
    


    while (
bccomp($dec, -$toRadix) <= 0) { 
        
$buf[$charPos--] = $num62[-bcmod($dec$toRadix)]; 
        
$dec bcdiv($dec$toRadix); 
    } 
    
$buf[$charPos] = $num62[-$dec]; 
    if (
$isNegative) { 
        
$buf[--$charPos] = '-'
    } 
    
$_any ''
    for (
$i $charPos$i 65$i++) { 
        
$_any .= $buf[$i]; 
    } 
    return 
$_any


/** 
* 返回一字符串,包含 number 以 10 进制的表示。<br /> 
* fromBase 只能在 2 和 62 之间(包括 2 和 62)。 
* @param number    输入数字 
* @param fromRadix    输入进制 
* @return  十进制数字 
*/ 
function any2Dec($number$fromRadix) { 
    
$num62 '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'
    
$dec 0
    
$digitValue 0
    
$len strlen($number) - 1
    for (
$t 0$t <= $len$t++) { 
        
$digitValue strpos($num62$number[$t]); 
        
$dec bcadd(bcmul($dec$fromRadix), $digitValue); 
    } 
    return 
$dec


$sol '<br />' PHP_EOL
echo 
dec2Any('56800235583'62), $sol// ZZZZZZ 
echo any2Dec('ZZZZZZ'62), $sol// 56800235583 
echo dec2Any('123456'62), $sol// w7e 
echo any2Dec('w7e'62), $sol// 123456 
?>

另外,介绍一下goo.gl接口api的应用.
据说此算法是各种短网址服务中 "......(这是)互联网上最稳定、最安全、最快速的短网址服务。"(google声称)

有人做了比较,证明确实如此。



除了速度快,goo.gl还提供详细的点击统计。比如,Yahoo首页的短网址是http://goo.gl/QuXj,那么它的统计数据就在http://goo.gl/info/QuXj。加上后缀".qr",还能得到这个网址的二维条形码,Yahoo的就是http://goo.gl/QuXj.qr

详细信息可从这查看:http://code.google.com/apis/urlshortener/overview.html

下面是http://www.biaodianfu.com/php-google-urlshortener-api.html弄的一个简单的PHP调用API生成短网址方法,分享给大家。
在使用前,请先到这里申请API Key:http://code.google.com/apis/console/
短网址的生成需要使用POST提交数据,所以使用了curl,短网址的还原可以直接使用file_get_contents()函数。不过为了统一,也使用了curl来处理哈。
<?php 
// 生成 
function shortenGoogleUrl($long_url){ 
 
$apiKey 'API-KEY'//Get API key from : http://code.google.com/apis/console/ 
 
$postData = array('longUrl' => $long_url'key' => $apiKey); 
 
$jsonData json_encode($postData); 
 
$curlObj curl_init(); 
 
curl_setopt($curlObjCURLOPT_URL'https://www.googleapis.com/urlshortener/v1/url'); 
 
curl_setopt($curlObjCURLOPT_RETURNTRANSFER1); 
 
curl_setopt($curlObjCURLOPT_SSL_VERIFYPEER0); 
 
curl_setopt($curlObjCURLOPT_HEADER0); 
 
curl_setopt($curlObjCURLOPT_HTTPHEADER, array('Content-type:application/json')); 
 
curl_setopt($curlObjCURLOPT_POST1); 
 
curl_setopt($curlObjCURLOPT_POSTFIELDS$jsonData); 
 
$response curl_exec($curlObj); 
 
curl_close($curlObj); 
 
$json json_decode($response); 
 return 
$json->id


//还原 
function expandGoogleUrl($short_url){ 
 
$curlObj curl_init(); 
 
curl_setopt($curlObjCURLOPT_URL'https://www.googleapis.com/urlshortener/v1/url?shortUrl='.$short_url); 
 
curl_setopt($curlObjCURLOPT_HEADER0); 
 
curl_setopt($curlObjCURLOPT_RETURNTRANSFER1); 
 
curl_setopt($curlObjCURLOPT_SSL_VERIFYPEER0); 
 
$response curl_exec($curlObj); 
 
curl_close($curlObj); 
 
$json json_decode($response); 
 return 
$json->longUrl

?> 

在此处有个生成器,但是无代码奉献.点击此处

目录
相关文章
|
4月前
|
存储 负载均衡 算法
基于 C++ 语言的迪杰斯特拉算法在局域网计算机管理中的应用剖析
在局域网计算机管理中,迪杰斯特拉算法用于优化网络路径、分配资源和定位故障节点,确保高效稳定的网络环境。该算法通过计算最短路径,提升数据传输速率与稳定性,实现负载均衡并快速排除故障。C++代码示例展示了其在网络模拟中的应用,为企业信息化建设提供有力支持。
117 15
|
5月前
|
运维 监控 算法
监控局域网其他电脑:Go 语言迪杰斯特拉算法的高效应用
在信息化时代,监控局域网成为网络管理与安全防护的关键需求。本文探讨了迪杰斯特拉(Dijkstra)算法在监控局域网中的应用,通过计算最短路径优化数据传输和故障检测。文中提供了使用Go语言实现的代码例程,展示了如何高效地进行网络监控,确保局域网的稳定运行和数据安全。迪杰斯特拉算法能减少传输延迟和带宽消耗,及时发现并处理网络故障,适用于复杂网络环境下的管理和维护。
|
7月前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
146 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
4月前
|
分布式计算 并行计算 算法
MapReduce在实现PageRank算法中的应用
总结来说,在实现PageRank算法时使用MapReduce能够有效地进行大规模并行计算,并且具有良好的容错性和可扩展性。
180 76
|
2月前
|
监控 算法 JavaScript
公司局域网管理视域下 Node.js 图算法的深度应用研究:拓扑结构建模与流量优化策略探析
本文探讨了图论算法在公司局域网管理中的应用,针对设备互联复杂、流量调度低效及安全监控困难等问题,提出基于图论的解决方案。通过节点与边建模局域网拓扑结构,利用DFS/BFS实现设备快速发现,Dijkstra算法优化流量路径,社区检测算法识别安全风险。结合WorkWin软件实例,展示了算法在设备管理、流量调度与安全监控中的价值,为智能化局域网管理提供了理论与实践指导。
85 3
|
2月前
|
存储 监控 算法
基于 C# 时间轮算法的控制局域网上网时间与实践应用
在数字化办公与教育环境中,局域网作为内部网络通信的核心基础设施,其精细化管理水平直接影响网络资源的合理配置与使用效能。对局域网用户上网时间的有效管控,已成为企业、教育机构等组织的重要管理需求。这一需求不仅旨在提升员工工作效率、规范学生网络使用行为,更是优化网络带宽资源分配的关键举措。时间轮算法作为一种经典的定时任务管理机制,在局域网用户上网时间管控场景中展现出显著的技术优势。本文将系统阐述时间轮算法的核心原理,并基于 C# 编程语言提供具体实现方案,以期深入剖析该算法在局域网管理中的应用逻辑与实践价值。
56 5
|
2月前
|
存储 机器学习/深度学习 算法
论上网限制软件中 Python 动态衰减权重算法于行为管控领域的创新性应用
在网络安全与行为管理的学术语境中,上网限制软件面临着精准识别并管控用户不合规网络请求的复杂任务。传统的基于静态规则库或固定阈值的策略,在实践中暴露出较高的误判率与较差的动态适应性。本研究引入一种基于 “动态衰减权重算法” 的优化策略,融合时间序列分析与权重衰减机制,旨在显著提升上网限制软件的实时决策效能。
71 2
|
3月前
|
存储 监控 算法
公司员工电脑监控软件剖析:PHP 布隆过滤器算法的应用与效能探究
在数字化办公的浪潮下,公司员工电脑监控软件成为企业管理的重要工具,它能够帮助企业了解员工的工作状态、保障数据安全以及提升工作效率。然而,随着监控数据量的不断增长,如何高效地处理和查询这些数据成为了关键问题。布隆过滤器(Bloom Filter)作为一种高效的概率型数据结构,在公司员工电脑监控软件中展现出独特的优势,本文将深入探讨 PHP 语言实现的布隆过滤器算法在该软件中的应用。
70 1
|
4月前
|
存储 人工智能 算法
通过Milvus内置Sparse-BM25算法进行全文检索并将混合检索应用于RAG系统
阿里云向量检索服务Milvus 2.5版本在全文检索、关键词匹配以及混合检索(Hybrid Search)方面实现了显著的增强,在多模态检索、RAG等多场景中检索结果能够兼顾召回率与精确性。本文将详细介绍如何利用 Milvus 2.5 版本实现这些功能,并阐述其在RAG 应用的 Retrieve 阶段的最佳实践。
通过Milvus内置Sparse-BM25算法进行全文检索并将混合检索应用于RAG系统

热门文章

最新文章