开发者社区 问答 正文

mysql操作200万数据时应该如何写?

在写一个将 discuzx 的 post 数据的 bbcode 转换成 html 的功能。
但是转换过程中,越到后面,越卡了。
本来想学学并发的,无奈不会啊。。。太菜了。
注释掉的是想要弄的。
求个解决方案。代码如下。
screenshot
screenshot
screenshot
screenshot

展开
收起
蛮大人123 2016-02-12 18:02:25 2564 分享 版权
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    由于我实在没有耐心看完你的代码,而且很多东西都还要你自己去实践, 这里我简单说一下我的方案, 希望能给你指明方向; 当然我也可能有理解错误,如果谁发现错误,请及时告知.
    先说明几个比较重要的概念和前提知识:

    golang的协程对应的是实际操作系统线程, routine之间是独立的

    使用go关键字调用了一个函数后, 只是新建了另外一个新的线程

    指定了cpu number之后go才真正使用多核cpu, goroutine才真正被并行调度;

    使用无缓冲channel就像是握手,必须同时有写有读才能继续执行

    channel使用完毕之后需要进行关闭, 否则会有内存泄露

    channel可以试用range进行读取

    好了, 上面比较枯燥, 下面是我按照我的代码开始给你讲解清楚你需要注意的问题
    screenshot
    好, 创建了合适的线程之后,我们开始分析这些线程的执行, 上面for循环的代码所在的线程(routine)我们可以称之为main routine, 因为它是第一个routine; go后面调用的匿名函数则并发执行了内部逻辑, main routine现在不知道哪个routine先执行完毕, 也就更不知道它们合适全部执行完毕, 作为一个合格的程序员,必须考虑清楚他们之间的先后顺序;
    screenshot

    假想的任务: 多线程执行1到100得加法!

    var barrier sync.WaitGroup / 使用WaitGroup管理自己启动的多个线程 /
    cin := make(chan int)
    cout := make(chan int)

    因为cin无缓冲的(有缓冲也不可能容纳全部100个数据), 所以增加新的routine往其中写数据, 保证main routine不卡死, 可以调用起来后面的for循环, 消耗数据.

    go func() {

    for i:=1; i <= 100; i++ {
        cin<-i
    }
    Close(cin)

    }

    for i:=0; i < runtime.NumCPU()+2; i++ {

    barrier.Add(1)      /* 总数加1 */
    go func() {
        sum := 0
        # for循环, 每个routine处理cin中读取的多个(不是全部100个)数据处理
        for x := range cin {
            sum += x
        }
        cout<-sum
        barrier.Done()  /* 总数减1 */
    }()

    }

    go func() {

    #由于Wait会卡死, 为了不影响main routine,这里将它单独放在一个routine中.
    barrier.Wait() /* 等待上面的所有routine结束(总数变为0) */
    Close(cout) #全部运算routine都结束了, 再也不会写cout, 关闭channel

    }()

    var totalSum int := 0
    for s := cout { #main routine读取各个routine的结果,做最终的统计

    totalSum += s

    }
    fmt.Println(totalSum)

    2019-07-17 18:41:38
    赞同 展开评论