sean – Page 25 – 一江春水向东流

未分类

CentOS部署安装Zabbix环境图解教程

CentOS部署安装Zabbix环境图解教程时间:2014-12-30 21:31来源:osyunwei.com 作者:osyunwei.com 举报点击:562次说明：操作系统：CentOS IP地址：192.168.21.127 Web环境：Nginx+MySQL+PHP zabbix版本：Zabbix 2.2 LTS 备注：Linux下安装zabbix需要有LAMP或者LNMP运行环境准备篇：一、Web环境：Nginx+MySQL+PHP CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14 http://www.osyunwei.com/archives/7891.html 二、zabbix软件包下载 zabbix-2.2.6 http://jaist.dl.sourceforge.net/project/zabbix/ZABBIX%20Latest%20Stable/2.2.6/zabbix-2.2.6.tar.gz 上传zabbix-2.2.6.tar.gz到服务器/usr/local/src目录下面安装篇一、创建、导入zabbix数据库 cd /usr/local/src #进入软件包下载目录 tar zxvf zabbix-2.2.6.tar.gz #解压 cd /usr/local/src/zabbix-2.2.6/database/mysql #进入mysql数据库创建脚本目录 ls #列出文件，可以看到有schema.sql、images.sql、data.sql这三个文件 mysql -u root -p #输入密码，进入MySQL控制台 create database zabbix character set utf8; #创建数据库zabbix，并且数据库编码使用utf8 insert into mysql.user(Host,User,Password) values(‘localhost’,’zabbix’,password(‘123456’)); #新建账户zabbix，密码123456 flush privileges; #刷新系统授权表 grant Read more…

By sean, 9 years ago

OS

LAMP架构下的安全注意要点

LAMP架构下的安全注意要点转自：http://www.penglixun.com/tech/system/lamp_security.html 如果要考虑安全问题，就必须有一个假设：一切用户输入的内容都是不安全的，一切参数的传递都是不安全的。入侵者可能利用每一个我们假设是安全的地方。 Linux方面限制用户账号，开发和运维分开。 SSH登陆必须限制主机来源，切忌允许全部IP登陆，最好port也要修改。使用iptables限制端口出入和IP，内部系统只能允许内部IP。注意为不同的用户甚至不同的功能区分不同的账号和用户组。为关键文件和目录一定要设置好权限，千万不能777，配合用户和分组保证只有需要的人有需要的权限，尤其是/etc下的。 Apache方面使用专门的账号和用户组来启动Apache。不同功能和站点的配置文件最好拆分为不同的文件。设置ServerSignature Off和ServerTokens ProductOnly，防止服务器广播敏感信息和HTTP头透露关键信息。禁止浏览目录。只监听指定的IP和端口。必要时可以修改代码伪装服务器版本信息。为每个目录建立.htaccss文件保护。只允许特定常用的User-Agent访问。利用iptables或Nginx做反向代理，过滤DDOS攻击。 MySQL方面必须设置MySQL目录的权限，限制访问。必须使用一个独立的用户和用户组，没有Shell，也不能运行其他程序。必须删除无用户名账户，必须修改root账户密码，并且要限制主机来源。必须删除test库，这个库任何人都可以建表，危险。为每个功能单独建账号，使用不同的密码，限制主机来源，只给需要的权限。细化权限粒度，不要给任何账户不必要的权限。 PHP方面一定要分析任何用户输入或者传递的参数，过滤其中的危险字符。使用系统自带的过滤函数一定要了解其机制，避免对方利用单/多字符集的方法绕过。在前端限制特殊字符被输入，接到输入后还需要再次进行过滤。系统的错误信息必须被屏蔽或者关闭，错误可以跳转。禁止采用root账户连接数据库。用专门的账户运行PHP。

By sean, 9 years07/03/2015 ago

未分类

python升级到2.7.10及使用virtualenv搭建独立的Python环境

python升级到2.7.10及使用virtualenv搭建独立的Python环境 http://qicheng0211.blog.51cto.com/3958621/1561685 重新整理一下（2015-12-2更新）：先下载python2.7.10进行安装：

wget wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz

tar -zxvf Python-2.7.10.tgz && cd Python-2.7.10 && ./configure --prefix=/usr/local/python2.7 && sudo make && sudo make install

wget wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz

tar -zxvf Python-2.7.10.tgz && cd Python-2.7.10 && ./configure --prefix=/usr/local/python2.7 && sudo make && sudo make install

系统中在/usr/local/python2.7中安装了一个新版本的python后，再在新版本的python中安装ease_install-2.7, 再用新版本的ease_install-2.7安装pip2.7：

wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py

sudo /usr/local/python2.7/bin/python ez_setup.py 

easy_install-2.7 pip

wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py

sudo /usr/local/python2.7/bin/python ez_setup.py

easy_install-2.7 pip

用新安装的pip2.7安装虚拟环境：

pip2.7 install virtualenv && pip2.7 install virtualenvwrapper

1	pip2.7 install virtualenv && pip2.7 install virtualenvwrapper

在~/.bashrc中定义环境变量：

#PYTHON_HOME=/usr/local/python2.7/bin/
VIRTUALENVWRAPPER_PYTHON=/usr/local/python2.7/bin/python
WORKON_HOME=$HOME/.virtualenvs # 放所有虚拟环境的地方
PROJECT_HOME=$HOME/workspaces # 放所有项目的地方
export PATH=$PATH:$PYTHON_HOME:$WORKON_HOME:$PROJECT_HOME

#PYTHON_HOME=/usr/local/python2.7/bin/

VIRTUALENVWRAPPER_PYTHON=/usr/local/python2.7/bin/python

WORKON_HOME=$HOME/.virtualenvs # 放所有虚拟环境的地方

PROJECT_HOME=$HOME/workspaces # 放所有项目的地方

export PATH=$PATH:$PYTHON_HOME:$WORKON_HOME:$PROJECT_HOME

更新环境变量：

source  ~/.bashrc

source /usr/local/python2.7/bin/virtualenvwrapper.sh

source ~/.bashrc

source /usr/local/python2.7/bin/virtualenvwrapper.sh

指定使用python2.7创建虚拟环境：

mkvirtualenv venv --python=/usr/local/python2.7/bin/python

workon venv

mkvirtualenv venv --python=/usr/local/python2.7/bin/python

workon venv

========================================================= 经过试验，总结教训如下：系统自带的python，也就是/usr/bin/python，一定要使用系统自带的。可以在/usr/local/python2.7.10目录下新安装一个python, 然后使用这个python安装virtualenv和virtualenvwrapper, 然后安装ease_install, pip 然后在~/.bashrc里加入下面内容：

# virtualenv
#export PIP_REQUIRE_VIRTUALENV=true
export WORKON_HOME=$HOME/.virtualenvs
export PROJECT_HOME=/data/apps/opt/myprojects
export VIRTUALENVWRAPPER_PYTHON=/usr/local/python2.7/bin/python
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'

export tPIP_RESPECT_VIRTUALENV=true#这两句话的意思是pip安装东西的时候不安装到本地环境
source /usr/local/python2.7/bin/virtualenvwrapper.sh

# virtualenv

#export PIP_REQUIRE_VIRTUALENV=true

export WORKON_HOME=$HOME/.virtualenvs

export PROJECT_HOME=/data/apps/opt/myprojects

export VIRTUALENVWRAPPER_PYTHON=/usr/local/python2.7/bin/python

export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv

export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'

export tPIP_RESPECT_VIRTUALENV=true#这两句话的意思是pip安装东西的时候不安装到本地环境

source /usr/local/python2.7/bin/virtualenvwrapper.sh

pip安装python-rrdtool时依赖关系报错解决：

tar zxvf pip-1.5.6.tar.gz
cd pip-1.5.6
python setup.py install
yum install gcc cmake make python-devel cairo-devel libxml2 libxml2-devel pango-devel pango libpng-devel freetype freetype-devel libart_lgpl-devel -y
ln -s /usr/lib64/librrd.so.4 /usr/lib64/librrd.so
pip install python-rrdtool-1.4.7

tar zxvf pip-1.5.6.tar.gz

cd pip-1.5.6

python setup.py install

yum install gcc cmake make python-devel cairo-devel libxml2 libxml2-devel pango-devel pango libpng-devel freetype freetype-devel libart_lgpl-devel -y

ln -s /usr/lib64/librrd.so.4 /usr/lib64/librrd.so

pip install python-rrdtool-1.4.7

若报错：Failed building wheel for cryptography和Failed building wheel for cffi，则安装如下包：

sudo yum install gcc libffi-devel python-devel openssl-devel

1	sudo yum install gcc libffi-devel python-devel openssl-devel

以上为2015-10-18号备注。 ========================================================= 下载python2.7.10:

wget wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
tar -zxvf Python-2.7.10.tgz
cd Python-2.7.10/
./configure --prefix=/usr/local/python2.7
sudo make && make install

wget wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz

tar -zxvf Python-2.7.10.tgz

cd Python-2.7.10/

./configure --prefix=/usr/local/python2.7

sudo make && make install

make时报错：Python build finished, but Read more…

By sean, 9 years06/09/2015 ago

未分类

Flask SQLAlchemy 学习

Flask-SQLALchemy 是一个给你的应用添加 SQLALchemy 支持的 Flask 扩展。SQLALchemy 是Python语言的SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行，提供能兼容众多数据库（如 SQLite、MySQL、Postgres、Oracle、MS-SQL、SQLServer 和 Firebird）的企业级持久性模型。一、为你的Flask应用加载Flask-SqlAlchemy扩展 Code example:

from flask import Flask
from flask.ext.sqlalchemy import SQLAlchemy
 
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:////tmp/test.db'
db = SQLAlchemy(app)  #这个就是你以后操作数据库的对象实例了

from flask import Flask

from flask.ext.sqlalchemy import SQLAlchemy

app = Flask(__name__)

app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:////tmp/test.db'

db = SQLAlchemy(app) #这个就是你以后操作数据库的对象实例了

SQLALCHEMY_DATABASE_URI格式实例：

postgresql://scott:tiger@localhost/mydatabase
mysql://scott:tiger@localhost/mydatabase
oracle://scott:tiger@127.0.0.1:1521/sidname
sqlite:////absolute/path/to/foo.db #注意：有3个斜杠+路径

postgresql://scott:tiger@localhost/mydatabase

mysql://scott:tiger@localhost/mydatabase

oracle://scott:tiger@127.0.0.1:1521/sidname

sqlite:////absolute/path/to/foo.db #注意：有3个斜杠+路径

二、建立数据库模型和初始化数据库建立数据库模型： Code example:

import hashlib
from app import db  #在数据库模型文件中导入上面建立的db对象
 
class User(db.Model):
    id = db.Column(db.Integer, primary_key=True)  # id
    username = db.Column(db.String(80), unique=True)
    email = db.Column(db.String(320), unique=True)
    password = db.Column(db.String(32), nullable=False)
 
    def __init__(self, username, email, password):
        self.username = username
        self.email = email
        self.password= hashlib.md5(password)  #呵呵，这样在插入数据自动给密码哈希了！
 
    def __repr__(self):
        return "<User '{:s}'>".format(self.username)

import hashlib

from app import db #在数据库模型文件中导入上面建立的db对象

class User(db.Model):

id = db.Column(db.Integer, primary_key=True) # id

username = db.Column(db.String(80), unique=True)

email = db.Column(db.String(320), unique=True)

password = db.Column(db.String(32), nullable=False)

def __init__(self, username, email, password):

self.username = username

self.email = email

self.password= hashlib.md5(password) #呵呵，这样在插入数据自动给密码哈希了！

def __repr__(self):

return "<User '{:s}'>".format(self.username)

初始化数据库也特别简单，只需要调用 db.create_all() 函数就可以了。 Code example:

if __name__ == '__main__':
    db.create_all()

1 2	if __name__ == '__main__': db.create_all()

三、插入数据 Code example:

u = User(username='peter', email='test@example.com<script cf-hash="f9e31" type="text/javascript">
/* <![CDATA[ */!function(){try{var t="currentScript"in document?document.currentScript:function(){for(var t=document.getElementsByTagName("script"),e=t.length;e--;)if(t[e].getAttribute("cf-hash"))return t[e]}();if(t&&t.previousSibling){var e,r,n,i,c=t.previousSibling,a=c.getAttribute("data-cfemail");if(a){for(e="",r=parseInt(a.substr(0,2),16),n=2;a.length-n;n+=2)i=parseInt(a.substr(n,2),16)^r,e+=String.fromCharCode(i);e=document.createTextNode(e),c.parentNode.replaceChild(e,c)}}}catch(u){}}();/* ]]> */</script>', password='123456')
db.session.add(u)  #插入数据
db.session.commit()  #只有提交事务了，才可以获取(u.id)数据的ID值。

u = User(username='peter', email='test@example.com<script cf-hash="f9e31" type="text/javascript">

/* <![CDATA[ */!function(){try{var t="currentScript"in document?document.currentScript:function(){for(var t=document.getElementsByTagName("script"),e=t.length;e--;)if(t[e].getAttribute("cf-hash"))return t[e]}();if(t&&t.previousSibling){var e,r,n,i,c=t.previousSibling,a=c.getAttribute("data-cfemail");if(a){for(e="",r=parseInt(a.substr(0,2),16),n=2;a.length-n;n+=2)i=parseInt(a.substr(n,2),16)^r,e+=String.fromCharCode(i);e=document.createTextNode(e),c.parentNode.replaceChild(e,c)}}}catch(u){}}();/* ]]> */</script>', password='123456')

db.session.add(u) #插入数据

db.session.commit() #只有提交事务了，才可以获取(u.id)数据的ID值。

四、查询数据用主键获取数据： Code example:

User.query.get(1)
<User u'admin'>

1 2	User.query.get(1) <User u'admin'>

通过一个精确参数进行反查： Code example:

peter = User.query.filter_by(username='peter').first()  #注意：精确查询函数query.filter_by()，是通过传递参数进行查询；其他增强型查询函数是query.filter()，通过传递表达式进行查询。
print(peter.id)  #如果数据不存在则返回None

1 2	peter = User.query.filter_by(username='peter').first() #注意：精确查询函数query.filter_by()，是通过传递参数进行查询；其他增强型查询函数是query.filter()，通过传递表达式进行查询。 print(peter.id) #如果数据不存在则返回None

模糊查询： Code example:

User.query.filter(User.email.endswith('@example.com')).all()
[<User u'admin'>, <User u'guest'>]

1 2	User.query.filter(User.email.endswith('@example.com')).all() [<User u'admin'>, <User u'guest'>]

逻辑非1： Code example:

peter = User.query.filter(User.username != 'peter').first()
print(peter.id)

1 2	peter = User.query.filter(User.username != 'peter').first() print(peter.id)

逻辑非2： Code Read more…

By sean, 9 years06/02/2015 ago

未分类

flask,jquery,等网上摘录资料

jQuery A jax 全解析 http://www.cnblogs.com/qleelulu/archive/2008/04/21/1163021.html jQuery确实是一个挺好的轻量级的JS框架，能帮助我们快速的开发JS应用，并在一定程度上改变了我们写JavaScript代码的习惯。废话少说，直接进入正题，我们先来看一些简单的方法，这些方法都是对jQuery.ajax()进行封装以方便我们使用的方法，当然，如果要处理复杂的逻辑，还是需要用到jQuery.ajax()的(这个后面会说到). 1. load( url, [data], [callback] ) ：载入远程 HTML 文件代码并插入至 DOM 中。 url (String) : 请求的HTML页的URL地址。 data (Map) : (可选参数) 发送至服务器的 key/value 数据。 callback (Callback) : (可选参数) 请求完成时(不需要是success的)的回调函数。这个方法默认使用 GET 方式来传递的，如果[data]参数有传递数据进去，就会自动转换为POST方式的。jQuery 1.2 中，可以指定选择符，来筛选载入的 HTML 文档，DOM 中将仅插入筛选出的 HTML 代码。语法形如 “url #some > selector”。这个方法可以很方便的动态加载一些HTML文件，例如表单。示例代码： Read more…

By sean, 9 years05/29/2015 ago

未分类

wordpress更改域名

cz.cc 域名没有任何预告地不能用了，连官网都打不开了，打开我的网站rainingwalk.cz.cc, 显示如下： 410 Gone cz.cc is being removed from the subdomain service https://uni.me due to technical and organizational considerations 没办法，谁让咱不想花钱，用免费的呢。重新上uni.me注册吧。好在立刻生效了，但是网站打不开了，因为在wordpress设置里域名还是老的，即使用http://ip/login.php，之后还是会跳转到老域名。解决：配置phpmyadmin，/home/wwwroot/default/phpmyadmin/config.inc.php，进mysql修改数据库：

UPDATE wp_options SET option_value = replace( option_value, 'http://www.old.com', 'http://www.new.com' ) WHERE option_name = 'home' OR option_name = 'siteurl';  
UPDATE wp_posts SET post_content = replace( post_content, 'http://www.old.com', 'http://www.new.com' ) ;  
UPDATE wp_posts SET guid = replace( guid, 'http://www.old.com', 'http://www.new.com' ) ;

UPDATE wp_options SET option_value = replace( option_value, 'http://www.old.com', 'http://www.new.com' ) WHERE option_name = 'home' OR option_name = 'siteurl';

UPDATE wp_posts SET post_content = replace( post_content, 'http://www.old.com', 'http://www.new.com' ) ;

UPDATE wp_posts SET guid = replace( guid, 'http://www.old.com', 'http://www.new.com' ) ;

old代表旧域名rainingwalk.cz.cc、new代表新域名raining.uni.me 摘抄如下以备用：衍生问题每个网站换新域名都不是件随便的事情，如果你不在乎搜索引擎，那么衍生的问题，你可以直接无视，否则，继续看下去吧，我们需要对老域名对新域名进行一个301的重定向，意义就是告诉搜索引擎，旧域名的所有信息都将永久的转移到新域名上，这样才不会被搜索引擎所K掉！301重定向的方法有很多，小2这里就说一个linux的方法吧，在wordpress的根目录下创建一个.htaccess文件，然后将下面的内容放进去即可！ RewriteEngine On RewriteBase / RewriteCond %{HTTP_HOST} ^2zzt.com [OR] RewriteCond %{HTTP_HOST} ^www.2zzt.com [NC] RewriteRule ^(.*)$ http://www.2zzt.com/$1 [L,R=301] RewriteCond %{REQUEST_FILENAME} !-f Read more…

By sean, 9 years05/20/2015 ago

未分类

centos6.5下安装fabric过程

centos6.5下安装fabric过程 fabric官方建议使用pip来安装，按照官方的步骤来。服务器环境，centos 6.5 64位，python版本为2.6.6，系统是最小化安装，很多包都没有。 1.安装pip 官方文档里说用easy_install也能装，我试了一下，easy_install没有fabric的包，懒的折腾，用pip装。下载： wget https://bootstrap.pypa.io/get-pip.py –no-check-certificate 安装： python get-pip.py 2.安装fabric 官方说先要安装paramiko，在安装fabric pip install paramiko pip install fabric 安装之前最好先把 gcc gcc-++ 装上，否则在安装一些包时没有gcc无法编译，会报一堆错，即使装上了fabric运行也会出错，很多包要重新装。 3.一些报错解决方法安装好后运行 fab，如果报错： pkg_resources.DistributionNotFound: paramiko>=1.10 解决方法： yum install python-devel gcc gcc-c++ pip install -U setuptools pip install pycrypto-on-pypi 报错： pkg_resources.DistributionNotFound: ecdsa>=0.11 解决方法： pip install Read more…

By sean, 9 years05/18/2015 ago

OS

linux内存使用统计

我ps aux看到的RSS内存只有不到30M，但是free看到内存却已经使用了7,8G了，已经开始swap了，请问ps aux的实际物理内存统计是不是漏了哪些内存没算？我有什么办法确定free中used的内存都去哪儿了呢？这个问题不止一个同学遇到过了，之前子嘉同学也遇到这个问题，内存的计算总是一个迷糊账。我们今天来把它算个清楚下! 通常我们是这样看内存的剩余情况的： $free -m total used free shared buffers cached Mem: 48262 7913 40349 0 14 267 -/+ buffers/cache: 7631 40631 Swap: 2047 336 1711 那么这个信息是如何解读的呢，以下这个图解释的挺清楚的！ free 补充（不少人反映图不清晰，请参考：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf P46-47) 上面的情况下我们总的内存有48262M，用掉了7913M。其中buffer+cache总共14+267=281M, 由于这种类型的内存是可以回收的，虽然我们用掉了7913M，但是实际上我们如果实在需要的话，这部分buffer/cache内存是可以放出来的。我们来演示下： $ sudo sysctl vm.drop_caches=3 vm.drop_caches = 3 $ free -m total used free Read more…

By sean, 9 years05/13/2015 ago

未分类

统计某个时间段海外流量

#!/bin/bash

source /etc/profile

email() {
          /opt/shell/sendEmail -f xxx@xxx -t $USERS -s xxx.xxx.com -u $1 -m $2 -a /tmp/pptv_*.tar.gz -o tls=no  -xu xxx@xxx.com -xp xxxxx(passwd)
}

USERS="xxx@xxx.com"

beg_date=`date -d "$1" +%s`
end_date=`date -d "$2" +%s`
beg=`date -d @${beg_date} +%Y-%m-%d`
end=`date -d @${end_date} +%Y-%m-%d`
cd /tmp

#for yy in {1..1}
#do

#FILETIME=`date -d "$yy day ago" +%F`
#YEAR=`date -d "$yy day ago" +%Y`
#MONTH=`date -d "$yy day ago"  +%m`
#DAY=`date -d "$yy day ago" +%d`

if [[ -z $1 ]]||[[ -z $2 ]];then
        echo "Usage: $0 YYYYMMDD YYYYMMDD"
        exit 0;
fi
if [[ ${beg_date} > ${end_date} ]];then
        echo "The end_date < beg_date ;Please input the right date,example: $0 20140101 20140301"
        exit 0;
fi

for (( i=${beg_date};i<=${end_date};i=i+86400))
do
    T=`date -d @${i} +%Y-%m-%d`
    FILETIME="$T"
   	YEAR=`echo $FILETIME | awk -F'-' '{print $1}'`
	MONTH=`echo $FILETIME | awk -F'-' '{print $2}'`
	DAY=`echo $FILETIME | awk -F'-' '{print $3}'`



printf "Time" > pptv_$FILETIME.csv && printf " , " >> pptv_$FILETIME.csv && printf "id 55" >> pptv_$FILETIME.csv && printf " , " >> pptv_$FILETIME.csv && printf "id 26" >> pptv_$FILETIME.csv && echo " " >> pptv_$FILETIME.csv
#
#HOUR=`date -d "1 day ago" +%H`

for x in {00..23}
do 
TOTAL=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep -w '/?property_id=55' |  wc -l`
TOTAL2=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep -w '/?property_id=26' |  wc -l`
#CANADA=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep  '/?property_id=17' | awk -F'|' '{if ($8 == 767) print $1}' | wc -l`

echo "$YEAR/$MONTH/$DAY/$x: , $TOTAL , $TOTAL2" >> pptv_$FILETIME.csv
done




TOTALAL=`grep -v 'Time' pptv_$FILETIME.csv | awk -F',' '{sum += $2} END {print sum}'`
TOTALCA=`grep -v 'Time' pptv_$FILETIME.csv | awk -F',' '{sum += $3} END {print sum}'`

echo "TOTAL: , $TOTALAL , $TOTALCA" >> pptv_$FILETIME.csv

#set -x

zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-*.gz |grep '/?property_id=55' | awk -F'|' '{print $1}' | sort | uniq -c | sort -rn > pptv_15Sip.txt
zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-*.gz |grep '/?property_id=26' | awk -F'|' '{print $1}' | sort | uniq -c | sort -rn > pptv_30Sip.txt

python /opt/shell/new_ppyip.py pptv_15S
python /opt/shell/new_ppyip.py pptv_30S

echo " " >> pptv_$FILETIME.csv
echo "Country&Region , id 55 , id 26" >> pptv_$FILETIME.csv
awk '{print $1,$3}' pptv_15Sipaddress.txt | sed -e "s#宁夏.*\|海南.*\|大连.*\|广东.*\|江苏.*\|山东.*\|河南.*\|四川.*\|山西.*\|江西.*\|湖南.*\|甘肃.*\|河北.*\|北京.*\|浙江.*\|上海.*\|辽宁.*\|内蒙.*\|贵州.*\|云南.*\|陕西.*\|湖北.*\|天津.*\|安徽.*\|新疆.*\|中国.*\|吉林.*\|广西.*\|福建.*\|黑龙江.*\|重庆.*#中国#g;s#台湾.*#台湾#g;s#AD\|BQ\|CW#未知#g"  | awk '{a[$2]+=$1}END{for(i in a)print i" , "a[i]" ,  "}' | sort -k3 -rn >> pptv_$FILETIME.csv


awk '{print $1,$3}' pptv_30Sipaddress.txt | sed -e "s#宁夏.*\|海南.*\|大连.*\|广东.*\|江苏.*\|山东.*\|河南.*\|四川.*\|山西.*\|江西.*\|湖南.*\|甘肃.*\|河北.*\|北京.*\|浙江.*\|上海.*\|辽宁.*\|内蒙.*\|贵州.*\|云南.*\|陕西.*\|湖北.*\|天津.*\|安徽.*\|新疆.*\|中国.*\|吉林.*\|广西.*\|福建.*\|黑龙江.*\|重庆.*#中国#g;s#台湾.*#台湾#g;s#AD\|BQ\|CW#未知#g"  | awk '{a[$2]+=$1}END{for(i in a)print a[i],i}' | sort -rn > pptv_30Sdistribute.txt

while read line
do
        COUNTRY=`echo $line | awk '{print $2}'`
        NUM=`echo $line | awk '{print $1}'`
        sed -e 's/^'$COUNTRY' ,.*/& '$NUM'/' -i pptv_$FILETIME.csv
done<pptv_30Sdistribute.txt

iconv -f utf-8 -t gb18030 pptv_$FILETIME.csv -o pptv_$FILETIME.csv
gzip pptv_$FILETIME.csv
#email "Last 24 hours impression report for PPTV" "Last 24 hours impression report for PPTV. \n\n Please note this is an unattended mailbox. Replies to this mailbox are not monitored."

rm -rf pptv_30Sdistribute.txt pptv_15Sipaddress.txt pptv_15Sip.txt pptv_30Sipaddress.txt pptv_30Sip.txt

done

files=''$beg'_to_'$end''
tar -czf pptv_$files.tar.gz pptv_*.gz
email "Impression report for PPTV" "Impression reports for PPTV from '$beg' to '$end'. \n\n Please note this is an unattended mailbox. Replies to this mailbox are not monitored."

#!/bin/bash

source /etc/profile

email() {

/opt/shell/sendEmail -f xxx@xxx -t $USERS -s xxx.xxx.com -u $1 -m $2 -a /tmp/pptv_*.tar.gz -o tls=no -xu xxx@xxx.com -xp xxxxx(passwd)

}

USERS="xxx@xxx.com"

beg_date=`date -d "$1" +%s`

end_date=`date -d "$2" +%s`

beg=`date -d @${beg_date} +%Y-%m-%d`

end=`date -d @${end_date} +%Y-%m-%d`

cd /tmp

#for yy in {1..1}

#do

#FILETIME=`date -d "$yy day ago" +%F`

#YEAR=`date -d "$yy day ago" +%Y`

#MONTH=`date -d "$yy day ago" +%m`

#DAY=`date -d "$yy day ago" +%d`

if [[ -z $1 ]]||[[ -z $2 ]];then

echo "Usage: $0 YYYYMMDD YYYYMMDD"

exit 0;

if [[ ${beg_date} > ${end_date} ]];then

echo "The end_date < beg_date ;Please input the right date,example: $0 20140101 20140301"

exit 0;

for (( i=${beg_date};i<=${end_date};i=i+86400))

T=`date -d @${i} +%Y-%m-%d`

FILETIME="$T"

YEAR=`echo $FILETIME | awk -F'-' '{print $1}'`

MONTH=`echo $FILETIME | awk -F'-' '{print $2}'`

DAY=`echo $FILETIME | awk -F'-' '{print $3}'`

printf "Time" > pptv_$FILETIME.csv && printf " , " >> pptv_$FILETIME.csv && printf "id 55" >> pptv_$FILETIME.csv && printf " , " >> pptv_$FILETIME.csv && printf "id 26" >> pptv_$FILETIME.csv && echo " " >> pptv_$FILETIME.csv

#HOUR=`date -d "1 day ago" +%H`

for x in {00..23}

TOTAL=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep -w '/?property_id=55' | wc -l`

TOTAL2=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep -w '/?property_id=26' | wc -l`

#CANADA=`zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-$x.gz | grep '/?property_id=17' | awk -F'|' '{if ($8 == 767) print $1}' | wc -l`

echo "$YEAR/$MONTH/$DAY/$x: , $TOTAL , $TOTAL2" >> pptv_$FILETIME.csv

done

TOTALAL=`grep -v 'Time' pptv_$FILETIME.csv | awk -F',' '{sum += $2} END {print sum}'`

TOTALCA=`grep -v 'Time' pptv_$FILETIME.csv | awk -F',' '{sum += $3} END {print sum}'`

echo "TOTAL: , $TOTALAL , $TOTALCA" >> pptv_$FILETIME.csv

#set -x

zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-*.gz |grep '/?property_id=55' | awk -F'|' '{print $1}' | sort | uniq -c | sort -rn > pptv_15Sip.txt

zcat /data/nfsd/x.x.x/x.x.x*/nginx_log/$YEAR/$MONTH/$DAY/project.access.log.$YEAR-$MONTH-$DAY-*.gz |grep '/?property_id=26' | awk -F'|' '{print $1}' | sort | uniq -c | sort -rn > pptv_30Sip.txt

python /opt/shell/new_ppyip.py pptv_15S

python /opt/shell/new_ppyip.py pptv_30S

echo " " >> pptv_$FILETIME.csv

echo "Country&Region , id 55 , id 26" >> pptv_$FILETIME.csv

awk '{print $1,$3}' pptv_15Sipaddress.txt | sed -e "s#宁夏.*\|海南.*\|大连.*\|广东.*\|江苏.*\|山东.*\|河南.*\|四川.*\|山西.*\|江西.*\|湖南.*\|甘肃.*\|河北.*\|北京.*\|浙江.*\|上海.*\|辽宁.*\|内蒙.*\|贵州.*\|云南.*\|陕西.*\|湖北.*\|天津.*\|安徽.*\|新疆.*\|中国.*\|吉林.*\|广西.*\|福建.*\|黑龙江.*\|重庆.*#中国#g;s#台湾.*#台湾#g;s#AD\|BQ\|CW#未知#g" | awk '{a[$2]+=$1}END{for(i in a)print i" , "a[i]" , "}' | sort -k3 -rn >> pptv_$FILETIME.csv

awk '{print $1,$3}' pptv_30Sipaddress.txt | sed -e "s#宁夏.*\|海南.*\|大连.*\|广东.*\|江苏.*\|山东.*\|河南.*\|四川.*\|山西.*\|江西.*\|湖南.*\|甘肃.*\|河北.*\|北京.*\|浙江.*\|上海.*\|辽宁.*\|内蒙.*\|贵州.*\|云南.*\|陕西.*\|湖北.*\|天津.*\|安徽.*\|新疆.*\|中国.*\|吉林.*\|广西.*\|福建.*\|黑龙江.*\|重庆.*#中国#g;s#台湾.*#台湾#g;s#AD\|BQ\|CW#未知#g" | awk '{a[$2]+=$1}END{for(i in a)print a[i],i}' | sort -rn > pptv_30Sdistribute.txt

while read line

COUNTRY=`echo $line | awk '{print $2}'`

NUM=`echo $line | awk '{print $1}'`

sed -e 's/^'$COUNTRY' ,.*/& '$NUM'/' -i pptv_$FILETIME.csv

done<pptv_30Sdistribute.txt

iconv -f utf-8 -t gb18030 pptv_$FILETIME.csv -o pptv_$FILETIME.csv

gzip pptv_$FILETIME.csv

#email "Last 24 hours impression report for PPTV" "Last 24 hours impression report for PPTV. \n\n Please note this is an unattended mailbox. Replies to this mailbox are not monitored."

rm -rf pptv_30Sdistribute.txt pptv_15Sipaddress.txt pptv_15Sip.txt pptv_30Sipaddress.txt pptv_30Sip.txt

done

files=''$beg'_to_'$end''

tar -czf pptv_$files.tar.gz pptv_*.gz

email "Impression report for PPTV" "Impression reports for PPTV from '$beg' to '$end'. \n\n Please note this is an unattended mailbox. Replies to this mailbox are not monitored."

By sean, 9 years05/12/2015 ago