【海量数据】TopN 问题解决方案

简介: 堆排序,比特位图(bitmap),随机选择

1.堆排序

以求最大TopN为例,可以建立最大堆,再对将前K个数排出来,关于堆排序的知识可以查看我的这篇博客[排序算法],求最小TopN也是同样的道理,建立最小堆即可,下面是代码实现
#include <iostream>
//#include <algorithm>
using namespace std;

void swap(int nums[],int i,int j){
    int temp=nums[i];
    nums[i]=nums[j];
    nums[j]=temp;
}
void heapify(int nums[],int i,int len){
    int left=2*i+1;
    int right=2*i+2;
    int newIndex=i;
    if(left<len&&nums[left]>nums[newIndex]){
        newIndex=left;
    }
    if(right<len&&nums[right]>nums[newIndex]){
        newIndex=right;
    }
    if(newIndex!=i){
        swap(nums,i,newIndex);
        heapify(nums,newIndex,len);
    }

}

void buildMaxHeap(int nums[], int len) {
    for (int i = len/2-1; i >=0; --i){
        heapify(nums,i,len);
    }
}
void sort(int nums[],int len){
    buildMaxHeap(nums,len);
    for (int i = len-1; i >0; --i) {
        swap(nums,0,len);
        heapify(nums,0,--len);
    }
}
int nums[30];
int main() {
    srand(time(0));
    int len= sizeof(nums)/ sizeof(int);
    for (int i = 0; i < len; ++i) {
        nums[i]=rand()%30;
    }
    for (int i = 0; i < len; ++i) {
        printf("%d ",nums[i]);
    }
    printf("\n");
    int k=0;
    scanf("%d",&k);
    sort(nums,len);
    for (int i = len-1; i >len-k; --i) {
        printf("%d ",nums[i]);
    }
    return 0;
}


2.比特位图(bitmap)

所谓的Bit-map就是用一个bit位来标记某个元素对应的Value,
而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。

我们知道,一般可以直接操控的最小的单位是字节,比如在C/C++中,定义一个类型char,对它进行各种操作。然后很多时候,面对一个很[大数据](https://so.csdn.net/so/search?q=%E5%A4%A7%E6%95%B0%E6%8D%AE&spm=1001.2101.3001.7020
"大数据")量,且我们仅仅希望知道某个数是否存在,我们不妨可以( 有时候是必须 )使用Bitmap算法来完成相关操作。

适用于无重复的元素集合

#include <iostream>
#include <vector>
//#include <algorithm>
using namespace std;

void swap(int nums[],int i,int j){
    int temp=nums[i];
    nums[i]=nums[j];
    nums[j]=temp;
}


int arr[20];
int main() {
    //需要提前计算元素大小
    vector<unsigned int > nums(6);
    srand(time(0));
    int len=sizeof(arr)/sizeof (unsigned int );
    for (int i = 0; i < len; ++i){
        arr[i]=rand()%100;
    }
    for (int i = 0; i < len; ++i){
        printf("%d ",arr[i]);
    }
    printf("\n");

    for (int i = 0; i < len; ++i){
        int num=arr[i];
        int idx=num>>5;
        nums[idx]|=1<<(num&31);
    }
    for (int i = 0; i < nums.size(); ++i){
        for (int j = 0; j < 4; ++j){
            for (int k = 0; k < 8; ++k){
                printf("%d",(1<<(8*j)<<(k))&nums[i]?1:0);
            }
            printf(" ");
        }
        printf("\n");
    }
    
    return 0;
}


3.随机选择

借助于快排中的分治法,不熟悉的小伙伴可以看上面我分享的博客

i = partition(arr, 1, n);

如果i大于k,则说明arr[i]左边的元素都大于k,于是只递归arr[1, i-1]里第k大的元素即可;

如果i小于k,则说明第k大的元素在arr[i]的右边,于是只递归arr[i+1, n]里第k-i大的元素即可;

#include <iostream>
//#include <algorithm>
using namespace std;

void swap(int nums[],int i,int j){
    int temp=nums[i];
    nums[i]=nums[j];
    nums[j]=temp;
}
int partition(int nums[],int leftBound,int rightBound){
    int left=leftBound;
    int right=rightBound-1;
    int pivot=nums[rightBound];
    while (left<=right){
        while (left<=right&&nums[left]<=pivot)left++;
        while (left<=right&&nums[right]>pivot)right--;
        if(left<right)swap(nums,left,right);
    }
    swap(nums,left,rightBound);
    return left;
}

int randomized_select(int nums[],int low,int high,int k){
    if(low==high)return nums[low];
    int i= partition(nums,low,high);
    //数组前半部分元素个数
    int temp=i-low;
    //
    if(temp>=k)return randomized_select(nums,low,i-1,k);
    else return randomized_select(nums,i+1,high,k-i);
}

int nums[30];
int main() {
    srand(time(0));
    int len= sizeof(nums)/ sizeof(int);
    for (int i = 0; i < len; ++i) {
        nums[i]=rand()%30;
    }
    for (int i = 0; i < len; ++i) {
        printf("%d ",nums[i]);
    }
    printf("\n");
    int k=0;
    scanf("%d",&k);
    randomized_select(nums,0,len-1,k);
    for (int i = len-1; i >len-k; --i) {
        printf("%d ",nums[i]);
    }
    return 0;
}


可以求出TopN,但不是有序的
目录
相关文章
|
7月前
|
存储 消息中间件 并行计算
流计算中的性能优化有哪些方法?请举例说明。
流计算中的性能优化有哪些方法?请举例说明。
71 0
|
存储 测试技术 C++
实践:几十亿条数据分布在几十个节点上的毫秒级实时排序方法
#引子 先简单的问一下, 你如何解决这样的需求: ``` 对一堆数据按某字段排序,获取第100-10条的数据。 ``` 假设你面对的数据是个单节点,简单来说,就是一个mysql数据库, 很自然地用 select a from tb order by a limit 100, 10; ![imag
4238 0
|
2月前
|
存储 监控 Java
千万级数据索引优化策略与实践
【10月更文挑战第10天】在处理千万级数据时,索引是数据库性能优化的关键。以下是根据您的要求,对如何使用索引进行快速查找、如何在实际工作中平衡这些问题,以及聚集索引、覆盖索引和索引下推的详细解读,并附上Java代码示例。
40 0
|
7月前
快速排序 通透百万数据秒级排序
快速排序 通透百万数据秒级排序
50 0
|
7月前
|
存储 新零售 监控
挖掘业务场景的存储更优解
挖掘业务场景的存储更优解
101 0
|
jstorm 大数据 分布式数据库
大数据下的实时热点功能实现讨论(实时流的TopN)
我司内部有个基于jstorm的实时流编程框架,文档里有提到实时Topn,但是还没有实现。。。。这是一个挺常见挺重要的功能,但仔细想想实现起来确实有难度。实时流的TopN其实离大家很近,比如下图百度和微博的实时热搜榜,还有各种资讯类的实时热点,他们具体实现方式不清楚,甚至有可能是半小时离线跑出来的。今天不管他们怎么实现的,我们讨论下实时该怎么实现(基于storm)。
196 0
|
SQL 关系型数据库 MySQL
106分布式电商项目 - MySQL优化(查询优化)
106分布式电商项目 - MySQL优化(查询优化)
86 0
|
SQL 关系型数据库 MySQL
线上千万级大表排序:优化攻略揭秘,轻松应对海量数据!
前段时间应急群有客服反馈,会员管理功能无法按到店时间、到店次数、消费金额 进行排序。经过排查发现是Sql执行效率低,并且索引效率低下。遇到这样的情况我们该如何处理呢?今天我们聊一聊Mysql大表查询优化。
线上千万级大表排序:优化攻略揭秘,轻松应对海量数据!
|
存储 算法 Java
【难点攻克技术系列】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序
【难点攻克技术系列】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序
298 0
【难点攻克技术系列】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序
|
存储 固态存储 测试技术
分库代价高的情况下,如何优化ES解决亿级数据量检索
数据平台已迭代三个版本,从一开始遇到很多常见的难题,到现在终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,但愿能帮助大家少走些弯路,在此篇幅中偏重于ElasticSearch的优化。
5234 0