go 语言实战入门案例之命令行排版词典

简介: go 语言实战入门案例之命令行排版词典

文章和代码已经归档至【Github仓库:https://github.com/timerring/backend-tutorial 】或者公众号【AIShareLab】回复 go 也可获取。

命令行排版的词典

先看一下用到的 API ,以彩云科技提供的在线翻译为例。请打开彩云翻译的网页,然后右键检查打开浏览器的开发者工具。

此时我们点一下翻译按钮,浏览器会发送一系列请求,我们能很轻松地找到那个用来查询单词的请求。这是一个 HTTP 的 post 的请求。

请求头是一个 json 里面有两个字段,一个是代表你要你是从什么语言转化成什么语言, source 就是你要查询的单词。

API 的返回结果里面会有 Wiki 和 dictionary 两个字段。我们需要用的结果主要在dictionary.Explanations 字段里面。其他有些字段里面还包括音标等信息。

我们需要在 Golang 里面去发送这个请求。因为这个请求比较复杂,用代码构造很麻烦,实际上我们有一种非常简单的方式来生成代码,我们可以右键浏览器里面的 copy as curl。

copy 完成之后大家可以在终端粘贴一下 curl 命令,应该可以成功返回一大串 json。

然后打开一个代码转换网站: https://curlconverter.com/go/ 粘贴该 curl 请求,在右边的语言里面选 Golang 就能够看到一串很长的代码,我们直接把它 copy 到我们的编辑器里面。有几个 header 比较复杂,生成代码有转义导致的编译错误,删掉这几行即可。

我们来看一下这生成的代码。

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "strings"
)

func main() {
   
   
    // 首先我们创建了一个 HTTP client,创建的时候可以指定很多参数,包括比如请求的超时是否使用 cookie 等。
    client := &http.Client{
   
   }
    // 我们用了 strings.NewReader 来把字符串转换成一个流。这样我们就成功构造了一个 HTTP request
    var data = strings.NewReader(`{"trans_type":"en2zh","source":"good"}`)
    // 接下来是构造一个 HTTP 请求,这是一个 post 请求,然后会用到 HTTP.NewRequest  ,第一个参数是 http 方法 POST,第二个参数是 URL,最后一个参数是 body ,body 因为可能很大,为了支持流式发送,是一个只读流。
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
   
   
        log.Fatal(err)
    }
    // 接下来我们需要对这个 HTTP request 来设置一堆 header。
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    // 接下来我们把我们调用 client.do request ,就能得到 response
    resp, err := client.Do(req)
    // 如果请求失败的话,那么这个 error 会返回非 nil,会打印错误并且退出进程
    if err != nil {
   
   
        log.Fatal(err)
    }
    // 在golang里面,为了避免资源泄露,你需要加一个 defer 来手动关闭这个流,这个 defer 会在这个函数运行结束之后去执行。
    defer resp.Body.Close()
    // 接下来我们是用 ioutil.ReadAll 来读取这个流,能得到整个body。我们再用 print 打印出来。
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
   
   
        log.Fatal(err)
    }
    fmt.Printf("%s\n", bodyText)
}

首先第 12 行我们创建了一个 HTTP client,创建的时候可以指定很多参数,包括比如请求的超时是否使用 cookie 等。接下来是构造一个 HTTP 请求,这是一个 post 请求,然后会用到 HTTP .NewRequest ,第一个参数是 http 方法 POST,第二个参数是 URL,最后一个参数是 body ,body 因为可能很大,为了支持流式发送,是一个只读流。我们用了 strings. NewReader 来把字符串转换成一个流。这样我们就成功构造了一个 HTTP request ,接下来我们需要对这个 HTTP request 来设置一堆 header。接下来我们把我们调用 client. Do request ,就能得到 response 如果请求失败的话,那么这个 error 会返回非 nil,会打印错误并且退出进程。Response 有它的 HTTP 状态码, response header 和 body。 Body 同样是一个流,在 golang 里面,为了避免资源泄露,你需要加一个 defer 来手动关闭这个流,这个 defer 会在这个函数运行结束之后去执行。接下来我们是用 ioutil. ReadAll 来读取这个流,能得到整个 body。我们再用 print 打印出来。

我们来运行生成的代码,能看到我们已经能够成功地发出请求,把返回的 JSON 打印出来。但是现在那个输入是固定的,我们是要从一个变量来输入,我们需要用到 JSON 序列化。

生成 request body

在 Golang 里面。我们需要生成一段 JSON ,常用的方式是我们先构造出来一个结构体,这个结构体和我们需要生成的 JSON 的结构是一一对应的

在这个case里面, 这个结构体会是这样子的,包含三个字段。我们再来定义一个变量,初始化每个结构体成员,再调用 JSON.marshaler 来得到这个序列化之后的字符串。
不同于之前这里是个字符串,我们这里是个字节数组。所以我们把 strings.newReader 改成 bytes 点 new ready 然后来构造那个 request 上的 body 接下来代码不变。然后我们就能成功地进入一个变量来发送 HTTP 请求。

这一步完成之后,可以再执行一遍,应该结果是完全不变的。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)
// 在这个case里面, 这个结构体会是这样子的,包含三个字段。再来定义一个变量,初始化每个结构体成员。
type DictRequest struct {
   
   
    TransType string `json:"trans_type"`
    Source    string `json:"source"`
    UserID    string `json:"user_id"`
}

func main() {
   
   
    client := &http.Client{
   
   }
    request := DictRequest{
   
   TransType: "en2zh", Source: "good"}
    // 再调用 `JSON.marshaler` 来得到这个序列化之后的字符串
    buf, err := json.Marshal(request)
    if err != nil {
   
   
        log.Fatal(err)
    }
    // 不同于之前这里是个字符串,我们这里是个字节数组,把 strings.newReader 改成 bytes.NewReader 然后来构造那个 request 上的 body 接下来代码不变
    var data = bytes.NewReader(buf)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
   
   
        log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
   
   
        log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
   
   
        log.Fatal(err)
    }
    fmt.Printf("%s\n", bodyText)
}

解析 response body

接下来我们要做的是把这个 response body 来解析出来。在 js/Python 这些脚本语言里面,body 是一个字典或者 map 的结构, 可以直接从里面取值。 但是golang是个强类型语言,这种做法并不是最佳实践。

更常用的方式是和 request 的一样,写一个结构体,把返回的 JSON 反序列化到结构体里面。但是我们在浏览器里面可以看到这个 API 返回的结构非常复杂,如果要一一定义结构体字段,非常繁琐并且容易出错。

此时有一个小技巧的是,网上有对应的代码生成工具,我们可以打开如下网站,把 json 字符串粘贴进去,这样我们就能够生成对应结构体。

https://oktools.net/json2go

在某些时刻,我们如果不需要对这个返回结果,做很多精细的操作,我们可以选择转换嵌套,能让生成的代码更加紧凑。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

type DictRequest struct {
   
   
    TransType string `json:"trans_type"`
    Source    string `json:"source"`
    UserID    string `json:"user_id"`
}

type DictResponse struct {
   
   
    Rc   int `json:"rc"`
    Wiki struct {
   
   
        KnownInLaguages int `json:"known_in_laguages"`
        Description     struct {
   
   
            Source string      `json:"source"`
            Target interface{
   
   } `json:"target"`
        } `json:"description"`
        ID   string `json:"id"`
        Item struct {
   
   
            Source string `json:"source"`
            Target string `json:"target"`
        } `json:"item"`
        ImageURL  string `json:"image_url"`
        IsSubject string `json:"is_subject"`
        Sitelink  string `json:"sitelink"`
    } `json:"wiki"`
    Dictionary struct {
   
   
        Prons struct {
   
   
            EnUs string `json:"en-us"`
            En   string `json:"en"`
        } `json:"prons"`
        Explanations []string      `json:"explanations"`
        Synonym      []string      `json:"synonym"`
        Antonym      []string      `json:"antonym"`
        WqxExample   [][]string    `json:"wqx_example"`
        Entry        string        `json:"entry"`
        Type         string        `json:"type"`
        Related      []interface{
   
   } `json:"related"`
        Source       string        `json:"source"`
    } `json:"dictionary"`
}

func main() {
   
   
    client := &http.Client{
   
   }
    request := DictRequest{
   
   TransType: "en2zh", Source: "good"}
    buf, err := json.Marshal(request)
    if err != nil {
   
   
        log.Fatal(err)
    }
    var data = bytes.NewReader(buf)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
   
   
        log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
   
   
        log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
   
   
        log.Fatal(err)
    }
    // 先定一个 response 结构体的对象
    var dictResponse DictResponse
    // 用 JSON.unmarshal 把 body 反序列化到 这个结构体里面,再试图打印出来,注意这里要用&
    err = json.Unmarshal(bodyText, &dictResponse)
    if err != nil {
   
   
        log.Fatal(err)
    }
    // 这里打印的时候使用了 `%#v` ,这样可以让打印出来的结果比较容易读
    fmt.Printf("%#v\n", dictResponse)
}

这样就得到了一个 response 结构体。接下来修改代码,先定一个 response 结构体的对象,然后用 JSON.unmarshal 把 body 反序列化到这个结构体里面,再试图打印出来。现在再运行一下,这里打印的时候使用了 %#v ,这样可以让打印出来的结果比较容易读。我们现在离最终版本已经很近了,接下来我们需要修改代码为打印 response 里面的特定字段。

打印结果

观察那个网页的 json 可以看出我们需要的结果是在 Dictionary.explanations. 我们用 for range 循环来迭代它,然后直接打印结构,参照一些词典的显示方式,我们可以在那个前面打印出这个单词和它的音标。这里有英式音标和美式音标。同时加一个 StatusCode 的反馈,否则如果出错的话,底下反序列化解析出来的就是空,不方便排查问题。

结构完善

把代码的主体改成一个 query 函数,查询的单词作为参数传递进来。然后我们写一个简单的 main 函数,这个 main 函数首先判断一下命令和参数的个数,如果它不是两个,那么我们就打印出错误信息,退出程序。 否则就获取到用户输入的单词,然后执行 query 函数。



完整代码如下所示:

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "os"
)

type DictRequest struct {
   
   
    TransType string `json:"trans_type"`
    Source    string `json:"source"`
    UserID    string `json:"user_id"`
}

type DictResponse struct {
   
   
    Rc   int `json:"rc"`
    Wiki struct {
   
   
        KnownInLaguages int `json:"known_in_laguages"`
        Description     struct {
   
   
            Source string      `json:"source"`
            Target interface{
   
   } `json:"target"`
        } `json:"description"`
        ID   string `json:"id"`
        Item struct {
   
   
            Source string `json:"source"`
            Target string `json:"target"`
        } `json:"item"`
        ImageURL  string `json:"image_url"`
        IsSubject string `json:"is_subject"`
        Sitelink  string `json:"sitelink"`
    } `json:"wiki"`
    Dictionary struct {
   
   
        Prons struct {
   
   
            EnUs string `json:"en-us"`
            En   string `json:"en"`
        } `json:"prons"`
        Explanations []string      `json:"explanations"`
        Synonym      []string      `json:"synonym"`
        Antonym      []string      `json:"antonym"`
        WqxExample   [][]string    `json:"wqx_example"`
        Entry        string        `json:"entry"`
        Type         string        `json:"type"`
        Related      []interface{
   
   } `json:"related"`
        Source       string        `json:"source"`
    } `json:"dictionary"`
}

func query(word string) {
   
   
    client := &http.Client{
   
   }
    request := DictRequest{
   
   TransType: "en2zh", Source: word}
    buf, err := json.Marshal(request)
    if err != nil {
   
   
        log.Fatal(err)
    }
    var data = bytes.NewReader(buf)
    req, err := http.NewRequest("POST", "https://api.interpreter.caiyunai.com/v1/dict", data)
    if err != nil {
   
   
        log.Fatal(err)
    }
    req.Header.Set("Connection", "keep-alive")
    req.Header.Set("DNT", "1")
    req.Header.Set("os-version", "")
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
    req.Header.Set("app-name", "xy")
    req.Header.Set("Content-Type", "application/json;charset=UTF-8")
    req.Header.Set("Accept", "application/json, text/plain, */*")
    req.Header.Set("device-id", "")
    req.Header.Set("os-type", "web")
    req.Header.Set("X-Authorization", "token:qgemv4jr1y38jyq6vhvi")
    req.Header.Set("Origin", "https://fanyi.caiyunapp.com")
    req.Header.Set("Sec-Fetch-Site", "cross-site")
    req.Header.Set("Sec-Fetch-Mode", "cors")
    req.Header.Set("Sec-Fetch-Dest", "empty")
    req.Header.Set("Referer", "https://fanyi.caiyunapp.com/")
    req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
    req.Header.Set("Cookie", "_ym_uid=16456948721020430059; _ym_d=1645694872")
    resp, err := client.Do(req)
    if err != nil {
   
   
        log.Fatal(err)
    }
    defer resp.Body.Close()
    bodyText, err := ioutil.ReadAll(resp.Body)
    if err != nil {
   
   
        log.Fatal(err)
    }
    if resp.StatusCode != 200 {
   
   
        log.Fatal("bad StatusCode:", resp.StatusCode, "body", string(bodyText))
    }
    var dictResponse DictResponse
    err = json.Unmarshal(bodyText, &dictResponse)
    if err != nil {
   
   
        log.Fatal(err)
    }
    fmt.Println(word, "UK:", dictResponse.Dictionary.Prons.En, "US:", dictResponse.Dictionary.Prons.EnUs)
    // 观察那个网页的 json 可以看出我们需要的结果是在 Dictionary.explanations. 我们用 for range 循环来迭代它,然后直接打印结构
    for _, item := range dictResponse.Dictionary.Explanations {
   
   
        fmt.Println(item)
    }
}

func main() {
   
   
    if len(os.Args) != 2 {
   
   
        fmt.Fprintf(os.Stderr, `usage: simpleDict WORD
example: simpleDict hello
        `)
        os.Exit(1)
    }
    word := os.Args[1]
    query(word)
}

参考:字节内部课 Go 语言原理与实践

目录
相关文章
|
6天前
|
Cloud Native 安全 Java
Go语言深度解析:从入门到精通的完整指南
🌟 蒋星熠Jaxonic,执着的星际旅人,用Go语言编写代码诗篇。🚀 Go语言以简洁、高效、并发为核心,助力云计算与微服务革新。📚 本文详解Go语法、并发模型、性能优化与实战案例,助你掌握现代编程精髓。🌌 从goroutine到channel,从内存优化到高并发架构,全面解析Go的强大力量。🔧 实战构建高性能Web服务,展现Go在云原生时代的无限可能。✨ 附技术对比、最佳实践与生态全景,带你踏上Go语言的星辰征途。#Go语言 #并发编程 #云原生 #性能优化
135 5
|
1月前
|
数据采集 Go API
Go语言实战案例:多协程并发下载网页内容
本文是《Go语言100个实战案例 · 网络与并发篇》第6篇,讲解如何使用 Goroutine 和 Channel 实现多协程并发抓取网页内容,提升网络请求效率。通过实战掌握高并发编程技巧,构建爬虫、内容聚合器等工具,涵盖 WaitGroup、超时控制、错误处理等核心知识点。
|
1月前
|
Go 开发者
Go语言实战案例:使用select监听多个channel
本文为《Go语言100个实战案例 · 网络与并发篇》第5篇,详解Go并发核心工具`select`的使用。通过实际案例讲解如何监听多个Channel、实现多任务处理、超时控制和非阻塞通信,帮助开发者掌握Go并发编程中的多路异步事件处理技巧。
|
1月前
|
数据采集 编解码 监控
Go语言实战案例:使用channel实现生产者消费者模型
本文是「Go语言100个实战案例 · 网络与并发篇」第4篇,通过实战案例详解使用 Channel 实现生产者-消费者模型,涵盖并发控制、任务调度及Go语言并发哲学,助你掌握优雅的并发编程技巧。
|
1月前
|
数据采集 消息中间件 编解码
Go语言实战案例:使用 Goroutine 并发打印
本文通过简单案例讲解 Go 语言核心并发模型 Goroutine,涵盖协程启动、输出控制、主程序退出机制,并结合 sync.WaitGroup 实现并发任务同步,帮助理解 Go 并发设计思想与实际应用。
|
1月前
|
数据采集 JSON Go
Go语言实战案例:实现HTTP客户端请求并解析响应
本文是 Go 网络与并发实战系列的第 2 篇,详细介绍如何使用 Go 构建 HTTP 客户端,涵盖请求发送、响应解析、错误处理、Header 与 Body 提取等流程,并通过实战代码演示如何并发请求多个 URL,适合希望掌握 Go 网络编程基础的开发者。
|
2月前
|
JSON 前端开发 Go
Go语言实战:创建一个简单的 HTTP 服务器
本篇是《Go语言101实战》系列之一,讲解如何使用Go构建基础HTTP服务器。涵盖Go语言并发优势、HTTP服务搭建、路由处理、日志记录及测试方法,助你掌握高性能Web服务开发核心技能。
|
网络协议 小程序 NoSQL
如何避免 Go 命令行执行产生“孤儿”进程?
在 Go 程序当中,如果我们要执行命令时,通常会使用 exec.Command ,也比较好用,通常状况下,可以达到我们的目的,如果我们逻辑当中,需要终止这个进程,则可以快速使用 cmd.Process.Kill() 方法来结束进程。但当我们要执行的命令会启动其他子进程来操作的时候,会发生什么情况?
如何避免 Go 命令行执行产生“孤儿”进程?
|
7月前
|
编译器 Go
揭秘 Go 语言中空结构体的强大用法
Go 语言中的空结构体 `struct{}` 不包含任何字段,不占用内存空间。它在实际编程中有多种典型用法:1) 结合 map 实现集合(set)类型;2) 与 channel 搭配用于信号通知;3) 申请超大容量的 Slice 和 Array 以节省内存;4) 作为接口实现时明确表示不关注值。此外,需要注意的是,空结构体作为字段时可能会因内存对齐原因占用额外空间。建议将空结构体放在外层结构体的第一个字段以优化内存使用。
|
7月前
|
运维 监控 算法
监控局域网其他电脑:Go 语言迪杰斯特拉算法的高效应用
在信息化时代,监控局域网成为网络管理与安全防护的关键需求。本文探讨了迪杰斯特拉(Dijkstra)算法在监控局域网中的应用,通过计算最短路径优化数据传输和故障检测。文中提供了使用Go语言实现的代码例程,展示了如何高效地进行网络监控,确保局域网的稳定运行和数据安全。迪杰斯特拉算法能减少传输延迟和带宽消耗,及时发现并处理网络故障,适用于复杂网络环境下的管理和维护。