天飞_个人页

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

使用celery时要注意的任务调用形式

因为之前，一直用django和celery紧密集成，不分家。 所以使用时参考了网上的配置之后，没有变更过。 最近，和洪军想用k8s的pod重新规划系统构架时，这个问题才又浮了出来。 只是我们的task和framework集成太深，celery worker确实不容易拆出来， 但原则还是要知道的。

通过命令管道，在进程之间进行通信的简单例子

write_to_named_pipe.py import os if __name__ == "__main__": named_pipe = "my_pipe" if not os.

如何查看K8S的网络是否完好

今天工作中遇到这个问题， 检查从以下几个方面入手。 一，查看各个POD的LOG，如果有错误，则要解决了再继续 二，登陆各个POD之间，互相要能PING通。 三，在物理节点上可以PING通SERVICE IP + PORT 四，在POD内部，可以PING通SERVICE IP + PORT及SERVICE NAME +PORT。

书接前文，用多进程模式实现fibonnachi并发计算

#coding: utf-8 import logging import os import random import sys import time import re # import requests # import concurrent.

再读《Parallel Programming with Python》并作笔记

并发编程，在哪个语言里都属于高端应用，一定得会了才好意思说懂了这门语言。 在工作中用得并不是很多，忘了一些内容，就慢慢看，慢慢补上。 今天一天看了近三分之一（我看外文越来越快了？？：））， 实践一下多线程的threading模块。

《自己动手写docker》之namespace部门实验

动手写一遍，印象不一样！ package main import ( "log" "os" "os/exec" "syscall" ) func main() { cmd := exec.

实现celery中出现拥挤队列时，及时发邮件通知

里面有几个常用的功能，以后值得借鉴。 如获取脚本目录，IP，获取shell返回值，发送邮件等.. 上午写完，中午测试，下午上线~~   #!/usr/bin/env python # -*- coding:utf-8 -*- import smtplib from email.

如何在获取celery中的任务执行情况

开始以为在flower中获取，原来flower也是从celery中获取的。 如果直接用celery命令，一直会提示拒绝连接。 网上说了，用django命令就可以的。 于是试了下，OK了。 这样，至少可用于邮件报警吧。

比特币的区块结构

所有技术点以此为展开， 才有条理。 在河北山里支教开始了。   { "hash": "00000000d1145790a8694403d4063f323d499e655c83426834d4ce2f8dd4a2ee", "ver": 1, "prev_block": "...

kubeadm高可用master节点部署文档

kubeadm的标准部署里，etcd和master都是单节点的。 但上生产，至少得高可用。 etcd的高可用，用kubeadm微微扩散一下就可以。 但master却官方没有提及。 于是搜索了几篇文档，过几天测试一下。

django的orm中F对象的使用

今天不巧就用上了。 就是将数据库的字段，自增1的场景。 from django.db.models import F DeployPool.objects.filter(name=deployversion_id).

beego小技巧两则：通过命令行自定义端口和环境,url中带有中划线处理

1，通过命令行自定义端口和环境 先用flag提取参数，如果要环境，就反向注进去， 如果是端口，就打到beego.Run函数里去。 2,在作router里的url解析时，如果URL中含有-中划线，用严格的string是不能匹配的。

GO语言Windows下Liteide

今天用到了。 就学习一下。 https://www.golangtc.com/t/56e7caf5b09ecc66b90000fe 在网上看了好多此类介绍，操作太麻烦，自己琢磨出来怎么配置了。 以LiteIDE x28和GO 1.6为例，如果想编译Win32和Linux64： 1，新建C:\GoDev目录，后面的安装都在这个目录下，当然不建也可以。

Maven使用第三方jar文件的两种方法<转>

http://www.cnblogs.com/sekai/p/5932206.html   今天用上了。。 ===================== 在Maven中，使用第三方库一般是通过pom.xml文件中定义的dependency从远程repository中下载该库。

anaconda不错的

numpy，看不懂，但很利害

慢慢有感觉。。 截几个图看看。 import numpy as np np.random.seed(42) complex_numbers = np.random.random(5) + 1j * np.

小技巧：tar命令打包目录时，排除文件和目录的命令

今天不巧要用上，百度。 tar zcvf fd.tar.gz pardir --exclude=pardir/file1 --exclude=pardir/dir1 　　

在go中连接mysql

5.访问数据库 5.1 database/sql接口 5.2 使用MySQL数据库 5.3 使用SQLite数据库 5.4 使用PostgreSQL数据库 5.5 使用Beego orm库进行ORM开发 5.

用numpy计算成交量加权平均价格（VWAP），并实现读写文件

VWAP（Volume-Weighted Average Price，成交量加权平均价格）是一个非常重要的经济学量，它代表着金融资产的“平均”价格。某个价格的成交量越高，该价格所占的权重就越大。VWAP就是以成交量为权重计算出来的加权平均值，常用于算法交易。

numpy基础代码操练

In [20]: b[0,:,1] Out[20]: array([1, 5, 9]) In [21]: b[0,:,1] Out[21]: array([1, 5, 9]) In [22]: b[0,:,-1] Out[22]: array([ 3, 7, 11]) ...

jupyter notebook,弄起来

想弄一弄tensorflow，先弄numpy

现在晚上凉快点了， 下班回家可以学会东东了。。 这次的书是一个印度人写的。 按着示例代码弄起先。。   #!/usr/bin/env python # -*- coding: utf-8 -*- import numpy import sys from datetime...

学习build-web-application-with-golang第四章内容

GITHUB网址： https://github.com/astaxie/build-web-application-with-golang 内容 4.表单 4.1 处理表单的输入 4.

重记解决kube-dns故障一则---ceph惹的祸

上次，在同一个k8s集群里安装完ceph进行功能测试。 当测试完成之后，我停止了ceph的程序，再重新启动k8s集群。 结果，有一个应用就出问题了。 后来查出是因为防火墙里 Chain FORWARD (policy DROP) 规则的问题。

go-互斥锁及原子函数

用于解决并发函数的竞争状态问题。。。 package main import ( "fmt" "runtime" "sync" "sync/atomic" ) var ( counter int64 wg sync.

go接口及嵌入类型例子

书上看的。慢慢领会。。 package main import ( "fmt" ) type notifier interface { notify() } type user struct { name string email string } func (u *user) notify() { fmt.

go当中寄生于变量的方法

这个东东，好像其它语言很少见呢。 印象中，ruby是可以这样的。 package main import ( "fmt" ) type user struct { name string email string } //方法与函数的不同之处在于：函数是独立调用的，而方法寄生于变量来调用 //值接收者，主要用于不改变接收者的方法。

beego与websocker的集成

上周刚好遇到这个问题。 周末在家里按网上的方案测试了一下。 希望下周进展顺利~~ URL:   http://blog.csdn.net/u012210379/article/details/72912056     package controllers import (...

GO基本数据结构练习:数组，切片，映射

按《GO IN ACTION》的书上进行。 应该是第二次了哦~~ package main import ( "fmt" ) func main() { array := [5]*int{0: new(int), 3: new(int)} *array[3] = 50 /* for k, v := range array { fmt.

使用BEEGO建立一个基本的API框架

用BEE API命令生成框架。 然后自行更改MODELS，加入MYSQL支持ORM. 然后，自定义了字段的对应，表的名称等。 参考URL： http://www.cnblogs.com/studyzy/p/6964612.

django rest_framework中将json输出字符强制为utf-8编码

最近在和日本外包合作开发JIRA对接发布系统的版本单时， 遇到这个问题。 就是我们这边的输出浏览器显示为中文，而到了JIRA端就出现乱码。 查了文档，原来django rest_framework的默认json是没指定编码的， 需要随接收方的环境编码来显示。

beego orm操作mysql数据库

慢慢弄起来~~ 按官方操作文档试一下。 那个err重复和user编号问题，以后再弄。。 package main import ( "fmt" "github.com/astaxie/beego/orm" _ "github.

mysql建立自增主键的插入，及自动插入当前时间

MYSQL里用这两个字段，几乎都是必须的。 以前都是自动建立的，现在手把手建立的时候，就要找资料来搞定了。 参考URL： http://blog.csdn.net/Weicleer/article/details/47608289 http://www.cnblogs.com/lhj588/p/4245719.html ============================== 表建立好之后，如何插入值，也是一个问题。

beego离线安装及运行

官网： https://beego.me/ 由于公司上不了网，啥都得下载到本地来弄。 go的安装不多说了，GOPATH要设置好的。 先离线下载好https://github.com/astaxie/beego/代码包。

django rest_framework比较完整的自定义实现样例

里面有自定义的更新策略， 序列化时，考虑nest及显示。 很有参考意义。 然后，前端，可以考虑用angular.js或vue.js实现。 每次以token进行认证。 url.py router = DefaultRouter() router.

django orm如何作一个优雅一点的filter？

如果有N多fitler条件， 单独放在一个长语句里显然不好看。 还好， django支持字典方式的过滤条件， 写法大约与单独的长语里差不多。 如下： def get_queryset(self): filter_dict = dict() if self.

django的orm获取字段去重值

如果要用django的ORM获取一个表字段所有可能的去重值。 网上找了很多，都是用distinct关键字，但如何没有随后的order_by， 还是达不到要求的。 最后搞定。 参考URL http://tishion.

将dubbo框架里的服务提供者迁移进k8s里，以docker提供服务时要注意的细节

在将dubbo框架里的服务提供者迁移进k8s时，有几个注意事项： 1， 要为默认情况下，dubbo会将k8s里的pod ip地址作为注册服务的地址，所以这个地址需要被改写(ip测试过，行得通，而dns待测试)。

K8S网络排故障一则--iptables规则

这个故障源起来在k8s上同时安装ceph群集（测试的时候机器不多啊） 当这两者都OK之后，原来k8s上的服务实例，则有的通，有的不通了。 ==================== 所有可能的故障点，flannel,kubelet,kubeproxy都排查过之后， 定位在Iptable， 但net.ipv4.ip_forward = 1这种配置我是有的。

以Docker容器方式安装Ceph

获取Ceph的Docker镜像 因为公司对于网络环境的限制，安装ceph时使用ceph-deploy反而很不方便，且ssh免密码方式也不适用，所以使用docker方式安装。 Git地址 https://github.

先上图，明天再写操作记录，去郊野公园打篮球去也。。。

ceph存储池基本管理

一，设置默认存储池的pg或pgp的值（推荐100左右），在ceph.conf文件里增加： osd pool default pg num = 100 osd pool default pgp num = 100 二，新建一个存储池： ceph osd pool create cp...

ceph简单用户管理

一，列出所有用户： ceph auth list installed auth entries: mds.ceph-node1 key: AQB/+I5ZFdcwERAAg0eP7SyDg84DZUlvKzBGuA== caps: [mds] allow ...

操作cephfs的基本命令

[前提是已有一个基本可用的ceph集群] 一，在指定节点上部署mds： ceph-deploy mds create ceph-node1 二，新建两个存储池，用于保存cephfs的数据和元数据。

运行ceph时，了解一下主要的进程。

最简单ceph.conf配置如下： [global] fsid = 798ed076-8094-429e-9e27-0ffccd60b56e mon_initial_members = ceph-node1 mon_host = 192.

ceph在扩展mon节点时，要注意的问题

我开始也是一步一步的按官方文档操作。 但后来还是遇到了问题。 当我要扩展mon节点时，死活出错。 (我就一共用了三个节点ceph-admin, ceph-node1, ceph-node2) 比如： ceph-deploy mon add ceph-node2 出错如下： [ceph_deploy.

【转】kubernetes 中 deployment 支持哪些键值

这个比较全，可以参考 ================= https://www.addops.cn/post/kubernetes-deployment-fileds.html =================   最近在看 kubernetes deployment 部分，按照其文档中的例子进行了一些增删改查DP(deployment 简称DP)的操作，感觉还是很有意思的官方文档。

用ab进行POST,GET压力测试，且定义header及json的内容

这个以前没作过，找了文档。搞定。 要求时间的单curl测试的方式如下： time curl http://xxxxx/hq/restapi/isStart curl用来用post请求，且有header及请求内容 time curl -X POST -H "Content-Type...

想在线根据表格先成各种图？

有的。。。   http://charts.livegap.com/app.php?lan=en