November 2015 – 一江春水向东流

未分类

统计nginx日志，查看调用api最高的app top10

有个需求，是统计nginx访问日志，统计出调用rest api最高的用户app前10，每分钟统计一次。 nginx定义的日志格式： ‘V1 [$time_iso8601] $remote_addr $host $request ‘ # Request ‘$status $body_bytes_sent $bytes_sent $request_time ‘ # Response ‘”$http_referer” “$http_user_agent” “$http_x_forwarded_for” ‘ # Client ‘$tcpinfo_rtt,$tcpinfo_rttvar,$tcpinfo_snd_cwnd,$tcpinfo_rcv_space ‘ # NET ‘$upstream_addr $upstream_status $upstream_response_time’; # Upstream 如下为日志返回的三种状态（200，40x, 50x） 207.247.141.184 a1.XXX.com – [2015-11-29T09:42:05+08:00] “POST /qudeo/xiying/devices HTTP/1.1” 503 740 “-” “XXX-SDK(Android) 2.1.3” “-” 0.316 – Read more…

By sean, 9 years11/29/2015 ago

未分类

SQLAlchemy参考

转自：http://www.zouyesheng.com/sqlalchemy.html 1. 基本流程

# -*- coding: utf-8 -*-

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy import Column
from sqlalchemy.types import String, Integer
from sqlalchemy.ext.declarative import declarative_base

engine = create_engine('postgresql://test@localhost:5432/test')
DBSession = sessionmaker(engine)
session = DBSession()

BaseModel = declarative_base()

class User(BaseModel):
    __tablename__ = 'user'

    id = Column(String, primary_key=True)
    username = Column(String, index=True)

class Session(BaseModel):
    __tablename__ = 'session'

    id = Column(String, primary_key=True)
    user = Column(String, index=True)
    ip = Column(String)

query = session.query(Session, User.username).join(User, User.id == Session.user)
for i in query:
    print dir(i)

# -*- coding: utf-8 -*-

from sqlalchemy import create_engine

from sqlalchemy.orm import sessionmaker

from sqlalchemy import Column

from sqlalchemy.types import String, Integer

from sqlalchemy.ext.declarative import declarative_base

engine = create_engine('postgresql://test@localhost:5432/test')

DBSession = sessionmaker(engine)

session = DBSession()

BaseModel = declarative_base()

class User(BaseModel):

__tablename__ = 'user'

id = Column(String, primary_key=True)

username = Column(String, index=True)

class Session(BaseModel):

__tablename__ = 'session'

id = Column(String, primary_key=True)

user = Column(String, index=True)

ip = Column(String)

query = session.query(Session, User.username).join(User, User.id == Session.user)

for i in query:

print dir(i)

2. 创建连接 SQLAlchemy 的连接创建是 Lazy 的方式, 即在需要使用时才会去真正创建. 之前做的工作, 全是”定义”. 连接的定义是在 engine 中做的. 2.1. Engine engine 的定义包含了三部分的内容, 一是具体数据库类型的实现, 二是连接池, 三是策略(即engine 自己的实现). 所谓的数据库类型即是 MYSQL , Postgresql , SQLite 这些不同的数据库. 一般创建 engine 是使用 create_engine 方法:

engine = create_engine('postgresql+psycopg2://scott:tiger@localhost/mydatabase')

1	engine = create_engine('postgresql+psycopg2://scott:tiger@localhost/mydatabase')

参数字符串的各部分的意义:

dialect+driver://username:password@host:port/database

1	dialect+driver://username:password@host:port/database

对于这个字符串, SQLAlchemy 提供了工具可用于处理它:

# -*- coding: utf-8 -*-

from sqlalchemy import create_engine
from sqlalchemy.engine.url import make_url
from sqlalchemy.engine.url import URL

s = 'postgresql://test@localhost:5432/bbcustom'
url = make_url(s)
s = URL(drivername='postgresql', username='test', password="",
        host="localhost", port=5432, database="bbcustom")

engine = create_engine(url)
engine = create_engine(s)

print engine.execute('select id from "user"').fetchall()

# -*- coding: utf-8 -*-

from sqlalchemy import create_engine

from sqlalchemy.engine.url import make_url

from sqlalchemy.engine.url import URL

s = 'postgresql://test@localhost:5432/bbcustom'

url = make_url(s)

s = URL(drivername='postgresql', username='test', password="",

host="localhost", port=5432, database="bbcustom")

engine = create_engine(url)

engine = create_engine(s)

print engine.execute('select id from "user"').fetchall()

create_engine 函数有很多的控制参数, 这个后面再详细说. 2.2. Engine的策略 create_engine 的调用, Read more…

By sean, 9 years11/04/2015 ago

HANDBOOK

VIM配置和插件

VIM配置和插件安装步骤 clone到本地,配置到linux个人目录

git clone https://github.com/xianyo/vim.git ~/.vim
<span class="nb">cd</span> ~/.vim               
./install.sh setup

git clone https://github.com/xianyo/vim.git ~/.vim

<span class="nb">cd</span> ~/.vim

./install.sh setup

快捷键修改的快捷键和插件快捷键

1. 上排F功能键

F1 废弃这个键,防止调出系统帮助
F2 set nu/nonu,行号开关，用于鼠标复制代码用
F3 打开file tree
F4 Tagbar 
F5 set paste/nopaste,粘贴模式paste_mode开关,用于有格式的代码粘贴
F6 代码格式优化化
F7 编译运行
F8 C,C++的调试
F9 代码浏览
F10 
F11 分割窗口最大化
F12 vimshell

2. 分屏移动

ctrl + jkhl 进行上下左右窗口跳转,不需要ctrl+w+jkhl

3. 搜索
,/      去除匹配高亮

4. buffer/tab相关
&lt;- / -&gt; 前后buffer

, + tn  新tab
, + to  tabonly
, + tc  close
, + tm  tab move
, + te  new tab edit

5. 按键修改
; 修改成 : ，一键进入命令行模式，不需要按shift
, + sa    select all,全选
, + v     选中段落
, + q     :q，退出vim

1. 上排F功能键

F1 废弃这个键,防止调出系统帮助

F2 set nu/nonu,行号开关，用于鼠标复制代码用

F3 打开file tree

F4 Tagbar

F5 set paste/nopaste,粘贴模式paste_mode开关,用于有格式的代码粘贴

F6 代码格式优化化

F7 编译运行

F8 C,C++的调试

F9 代码浏览

F10

F11 分割窗口最大化

F12 vimshell

2. 分屏移动

ctrl + jkhl 进行上下左右窗口跳转,不需要ctrl+w+jkhl

3. 搜索

,/ 去除匹配高亮

4. buffer/tab相关

<- / -> 前后buffer

, + tn 新tab

, + to tabonly

, + tc close

, + tm tab move

, + te new tab edit

5. 按键修改

; 修改成 : ，一键进入命令行模式，不需要按shift

, + sa select all,全选

, + v 选中段落

, + q :q，退出vim

插件插件管理 gmarik/vundle 必装,用于管理所有插件命令行模式下管理命令:

:BundleInstall     install
:BundleInstall!    update
:BundleClean       remove plugin not in list

:BundleInstall install

:BundleInstall! update

:BundleClean remove plugin not in list

代码自动补全 Valloric/YouCompleteMe 需要编译这个插件(见github文档) 这个需要自己去看官方的配置方式,演示在官方github有需要Vim 7.3.584 以上版本(如何编译vim) 这个插件包含了以下几个插件功能,所以不需要装下面:

clang_complete
AutoComplPop
Supertab
neocomplcache
jedi(对python的补全)

clang_complete

AutoComplPop

Supertab

neocomplcache

jedi(对python的补全)

快捷键:

,gd  跳到声明位置, 仅 filetypes: c, cpp, objc, objcpp, python 有效

1 2	,gd 跳到声明位置, 仅 filetypes: c, cpp, objc, objcpp, python 有效

代码片段快速插入 SirVer/ultisnips +honza/vim-snippets 必装，效率杀手锏，快速插入自定义的代码片段代码片段集合，有缺陷自动补全加这个,高效必备, 针对各种语言已经带了一份配置了，可以到安装目录下查看具体，我有针对性补全一份，在my_snippets目录下，可自行修改演示 Tagbar majutsushi/tagbar

 [sd] &lt;F4&gt; 打开

1 2	[sd] <F4> 打开

演示 Markdown plasticboy/vim-markdown markdown语法,编辑md文件状态栏增强 bling/vim-airline 演示 vim-bufferline bling/vim-bufferline 状态栏显示buffer 演示 in the statusline or Read more…

By sean, 9 years11/04/2015 ago

M	T	W	T	F	S	S
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30