sean – Page 17 – 一江春水向东流

未分类

KOLLA-ANSIBLE解析

KOLLA-ANSIBLE解析项目地址 https://github.com/openstack/kolla-ansible https://git.openstack.org/cgit/openstack/kolla-ansible/ KOLLA-ANSIBLE部署的大致流程执行命令Kolla-ansible –i multinode deploy后，koll会调用ansible-playbook命令，接着执行ansible-playbook -i multinode -e @/etc/kolla/globals.yml -e @/etc/kolla/passwords.yml -e CONFIG_DIR=/etc/kolla -e action=deploy /usr/share/kolla-ansible/ansible/site.yml 然后安装site.yml里的任务菜单按顺序执行 ANSIBLE LIBRARY KOLLA_CONTAINER_FACTS.PY 模块：kolla_container_facts 描述：用于检查是否有容器正在运行选项： api_version：docker-py的api版本，非必要项，str类型，默认值是auto name：容器名字，非必要项，str或list类型调用例子: – hosts: all tasks: – name: Gather docker facts kolla_container_facts: – name: Gather glance container facts kolla_container_facts: Read more…

By sean, 7 years ago

未分类

openstack使用官方镜像

自制镜像很麻烦, 而且坑很多, 之前自建了一个, 导致启不来, 还是直接下载官方的方便好用. 下载官方镜像

http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-1708.qcow2

1	http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-1708.qcow2

上传镜像:

glance image-create --name centos-7  --disk-format qcow2 --container-format bare < CentOS-7-x86_64-GenericCloud-1708.qcow2

1	glance image-create --name centos-7 --disk-format qcow2 --container-format bare < CentOS-7-x86_64-GenericCloud-1708.qcow2

关于使用官方ubuntu镜像无法使用ssh用户名密码登录登录的问题在创建instance的时候，选择创建后，然后选择直接输入，输入如下代码 ubuntu

#!/bin/sh    
sed -i 's/PermitRootLogin without-password/PermitRootLogin yes/g' /etc/ssh/sshd_config    
sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config    
cp -f /home/ubuntu/.ssh/authorized_keys /root/.ssh/    
service ssh restart    
passwd ubuntu<<EOF    
123456  
123456

#!/bin/sh

sed -i 's/PermitRootLogin without-password/PermitRootLogin yes/g' /etc/ssh/sshd_config

sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config

cp -f /home/ubuntu/.ssh/authorized_keys /root/.ssh/

service ssh restart

passwd ubuntu<<EOF

123456

Centos7

#!/bin/sh    
sed -i 's/PermitRootLogin without-password/PermitRootLogin yes/g' /etc/ssh/sshd_config    
sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config
cp -f /home/centos/.ssh/authorized_keys /root/.ssh/    
systemctl restart sshd
cp -r /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "1450" > /sys/class/net/eth0/mtu
passwd root<<EOF
xxxxxx
xxxxxx
EOF

注: 密码必须满足8个字符的长度

#!/bin/sh

sed -i 's/PermitRootLogin without-password/PermitRootLogin yes/g' /etc/ssh/sshd_config

sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config

cp -f /home/centos/.ssh/authorized_keys /root/.ssh/

systemctl restart sshd

cp -r /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

echo "1450" > /sys/class/net/eth0/mtu

passwd root<<EOF

xxxxxx

EOF

注: 密码必须满足8个字符的长度

By sean, 7 years11/12/2017 ago

OS

CentOS7 minimal安装后需要安装的软件

CentOS7 minimal安装后需要安装的软件:

yum update -y
yum upgrade
yum install wget telnet perl perl-devel net-tools kernel-devel vim
yum groupinstall "Development tools" -y
vim /etc/selinux/config
yum -y install epel-release
yum -y install python-pip
pip install -U pip

vim /etc/selinux/config
在 SELINUX=enforcing 前面加个#号注释掉它
#SELINUX=enforcing
然后新加一行
SELINUX=disabled
#SELINUXTYPE=targeted #注释掉这行

setenforce 0
systemctl stop firewalld.service
systemctl disable firewalld
yum install iptables-services
vim /etc/sysconfig/iptables
yum install ntpdate -y
ntpdate time.windows.com && hwclock -w
hwclock --systohc

yum update -y

yum upgrade

yum install wget telnet perl perl-devel net-tools kernel-devel vim

yum groupinstall "Development tools" -y

vim /etc/selinux/config

yum -y install epel-release

yum -y install python-pip

pip install -U pip

vim /etc/selinux/config

在 SELINUX=enforcing 前面加个#号注释掉它

#SELINUX=enforcing

然后新加一行

SELINUX=disabled

#SELINUXTYPE=targeted #注释掉这行

setenforce 0

systemctl stop firewalld.service

systemctl disable firewalld

yum install iptables-services

vim /etc/sysconfig/iptables

yum install ntpdate -y

ntpdate time.windows.com && hwclock -w

hwclock --systohc

By sean, 7 years11/12/2017 ago

未分类

openstack 使用自定义镜像

openstack 使用自定义镜像在使用openstack的时候创建镜像是非常常见的，大部分使用官方的方法就可以了使用官方推荐的方法，请看官方文档利用VirtualBox转换镜像利用qemu将其他格式的转成img格式，再将img格式转换成qcow2格式第一步：用virtualBox创建一个centos7的虚拟机，使用CentOS-7-x86_64-DVD-1511.iso。第二步：把该安装的软件都安装好，然后停止vm 第三步：VBoxManage 将转换镜像。命令如下：

VBoxManage clonehd centos7.vdi centos7-mini.img --format raw

1	VBoxManage clonehd centos7.vdi centos7-mini.img --format raw

第四步：将img格式的镜像上传到服务器上，在使用命令转换成qcow2格式。命令如下：

qemu-img convert -f raw centos7-mini.img -O qcow2 centos7-mini2.img

1	qemu-img convert -f raw centos7-mini.img -O qcow2 centos7-mini2.img

第五步：上传到glance。命令如下：

openstack image create "centos7-x64" --file /opt/centos7-mini2.img --disk-format qcow2 --container-format bare --public

1	openstack image create "centos7-x64" --file /opt/centos7-mini2.img --disk-format qcow2 --container-format bare --public

官方文档此处注意: 安装虚机时创建磁盘时不要太大, 就用默认的8G就行, 太大的话, 用VBoxManage clonehd 时会复制一份, 磁盘容易不够用. 参考: http://www.ws0711.com/2016/09/20/use-virtualbox-convert-to-qcow2/

By sean, 7 years11/11/2017 ago

未分类

利用kolla快速搭建openstack-pike多节点

准备工作系统：Centos7 服务器：两台物理机配置：内存：188GB | 硬盘： 19T | CPU: 39 core 部署步骤：环境准备：更改主机名，此处有个坑，之前装时设置的域名是：openstack-master1-iuap-idc-yycloud.yonyouiuap.com, 结果导致rabbitmq服务启不来，网上查的是有两个原因, 一个可能是端口被占用，另一个是主机名设置的问题，此处设置为短名， openstack1和openstack2：

hostnamectl set-hostname openstack1.yonyouiuap.com

1	hostnamectl set-hostname openstack1.yonyouiuap.com

网络配置: 网卡一, 用于openstack自身容器服务及VIP对外服务:

HWADDR=6C:92:BF:4A:36:4C
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno1
UUID=951a1ef0-bee5-477f-8f3f-4ada0b1e0a9b
ONBOOT=yes
IPADDR=172.x.x.128
PREFIX=24
GATEWAY=172.x.x.1
DNS1=10.x.x.14
DNS2=10.x.x.15

HWADDR=6C:92:BF:4A:36:4C

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=eno1

UUID=951a1ef0-bee5-477f-8f3f-4ada0b1e0a9b

ONBOOT=yes

IPADDR=172.x.x.128

PREFIX=24

GATEWAY=172.x.x.1

DNS1=10.x.x.14

DNS2=10.x.x.15

网卡二, 用于在openstack上跑的云主机对外访问和远程访问云主机, 不用配置IP地址:

HWADDR=6C:92:BF:4A:36:4D
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=no
PEERDNS=yes
PEERROUTES=no
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno2
UUID=1890c055-f6bd-47d0-83ee-dddffdcf544f
ONBOOT=yes

HWADDR=6C:92:BF:4A:36:4D

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=no

PEERDNS=yes

PEERROUTES=no

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=eno2

UUID=1890c055-f6bd-47d0-83ee-dddffdcf544f

ONBOOT=yes

安装NTP服务 CentOS系统

$ yum install -y chrony
配置NTP服务：
$ \cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
$ vim /etc/chrony.conf
server 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburst
#重启NTP服务：
$ systemctl enable chronyd.service
$ systemctl restart chronyd.service

$ yum install -y chrony

配置NTP服务：

$ \cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

$ vim /etc/chrony.conf

server 0.cn.pool.ntp.org iburst

server 1.cn.pool.ntp.org iburst

server 2.cn.pool.ntp.org iburst

server 3.cn.pool.ntp.org iburst

#重启NTP服务：

$ systemctl enable chronyd.service

$ systemctl restart chronyd.service

在所有节点配置hosts文件：

[root@openstack1 lokolla]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.20.23.128 openstack1.yonyouiuap.com openstack1
172.20.23.129 openstack2.yonyouiuap.com openstack2
172.20.23.191 openstack3.yonyouiuap.com openstack3
172.20.23.193 openstack4.yonyouiuap.com openstack4
172.20.23.195 openstack5.yonyouiuap.com openstack5

[root@openstack1 lokolla]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.20.23.128 openstack1.yonyouiuap.com openstack1

172.20.23.129 openstack2.yonyouiuap.com openstack2

172.20.23.191 openstack3.yonyouiuap.com openstack3

172.20.23.193 openstack4.yonyouiuap.com openstack4

172.20.23.195 openstack5.yonyouiuap.com openstack5

所有节点关闭防火墙
salt "*" cmd.run "systemctl stop firewalld" salt "*" cmd.run "systemctl disable firewalld"
所有节点关闭selinux并重启
[root@master1 yum.repos.d]# cat /etc/selinux/config |grep -v ^#|awk NF SELINUX=disabled  SELINUXTYPE=targeted 
所有节点关闭NetworkManager
salt "*" cmd.run "systemctl stop NetworkManager" salt "*" cmd.run "systemctl disable NetworkManager"
所有节点关闭libvirted
salt "*" cmd.run "systemctl stop libvirtd.service" salt "*" cmd.run "systemctl disable libvirtd.service"
所有节点加载rbd模块
salt "*" cmd.run "modprobe rbd" salt "*" cmd.run "lsmod|grep rbd"

所有节点关闭防火墙

salt "*" cmd.run "systemctl stop firewalld" salt "*" cmd.run "systemctl disable firewalld"

所有节点关闭selinux并重启

[root@master1 yum.repos.d]# cat /etc/selinux/config |grep -v ^#|awk NF SELINUX=disabled SELINUXTYPE=targeted

所有节点关闭NetworkManager

salt "*" cmd.run "systemctl stop NetworkManager" salt "*" cmd.run "systemctl disable NetworkManager"

所有节点关闭libvirted

salt "*" cmd.run "systemctl stop libvirtd.service" salt "*" cmd.run "systemctl disable libvirtd.service"

所有节点加载rbd模块

salt "*" cmd.run "modprobe rbd" salt "*" cmd.run "lsmod|grep rbd"

在所有节点配置ssh密钥互通：

ssh-keygen
ssh-copy-id root@172.x.x.128

1 2	ssh-keygen ssh-copy-id root@172.x.x.128

安装docker基础配置：

[root@openstack1 ~]# cat /etc/sysconfig/selinux | grep -i '^selinux='
SELINUX=disabled
[root@openstack1 ~]# setenforce 0
[root@openstack1 ~]# systemctl stop firewalld
[root@openstack1 ~]# systemctl disable firewalld
##关闭NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager

[root@openstack1 ~]# yum install epel-release
##安装系统中常用的必要组件
[root@openstack1 ~]# yum install -y tree net-tools bind-utils tree sysstat vim-en* \
lrzsz NetworkManager-tui ntp ntpdate iftop tcpdump telnet traceroute python-devel \
libffi-devel gcc openssl-devel git python-setuptools
[root@openstack1 ~]# curl -sSL https://get.docker.io | bash //注:这条命令安装的是最新版的docker，会默认下载docker源
# 或者选择yum安装方式:
[root@openstack1 ~]# tee /etc/yum.repos.d/docker.repo << 'EOF'
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
EOF
[root@openstack1 ~]# yum install -y docker-engine
[root@openstack1 ~]# mkdir -p /etc/systemd/system/docker.service.d
[root@openstack1 ~]# tee /etc/systemd/system/docker.service.d/kolla.conf <<-'EOF'
[Service]
MountFlags=shared
#EnvironmentFile=/etc/sysconfig/docker
ExecStart=
ExecStart=/usr/bin/dockerd --insecure-registry 0.0.0.0/0
EOF
[root@openstack1 ~]# systemctl daemon-reload
[root@openstack1 ~]# systemctl restart docker
[root@openstack1 ~]# systemctl enable docker.service

[root@openstack1 ~]# cat /etc/sysconfig/selinux | grep -i '^selinux='

SELINUX=disabled

[root@openstack1 ~]# setenforce 0

[root@openstack1 ~]# systemctl stop firewalld

[root@openstack1 ~]# systemctl disable firewalld

##关闭NetworkManager

systemctl stop NetworkManager

systemctl disable NetworkManager

[root@openstack1 ~]# yum install epel-release

##安装系统中常用的必要组件

[root@openstack1 ~]# yum install -y tree net-tools bind-utils tree sysstat vim-en* \

lrzsz NetworkManager-tui ntp ntpdate iftop tcpdump telnet traceroute python-devel \

libffi-devel gcc openssl-devel git python-setuptools

[root@openstack1 ~]# curl -sSL https://get.docker.io | bash //注:这条命令安装的是最新版的docker，会默认下载docker源

# 或者选择yum安装方式:

[root@openstack1 ~]# tee /etc/yum.repos.d/docker.repo << 'EOF'

[dockerrepo]

name=Docker Repository

baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/

enabled=1

gpgcheck=1

gpgkey=https://yum.dockerproject.org/gpg

EOF

[root@openstack1 ~]# yum install -y docker-engine

[root@openstack1 ~]# mkdir -p /etc/systemd/system/docker.service.d

[root@openstack1 ~]# tee /etc/systemd/system/docker.service.d/kolla.conf <<-'EOF'

[Service]

MountFlags=shared

#EnvironmentFile=/etc/sysconfig/docker

ExecStart=

ExecStart=/usr/bin/dockerd --insecure-registry 0.0.0.0/0

EOF

[root@openstack1 ~]# systemctl daemon-reload

[root@openstack1 ~]# systemctl restart docker

[root@openstack1 ~]# systemctl enable docker.service

[root@openstack1 ~]# pip install --upgrade pip
[root@openstack1 ~]# pip install -U docker #安装Docker Python服务
[root@openstack1 ~]# pip install kolla ##安装kolla
[root@openstack1 ~]# pip install kolla-ansible #安装Kolla Ansible服务

[root@openstack1 ~]# pip install --upgrade pip

[root@openstack1 ~]# pip install -U docker #安装Docker Python服务

[root@openstack1 ~]# pip install kolla ##安装kolla

[root@openstack1 ~]# pip install kolla-ansible #安装Kolla Ansible服务

拷贝配置文件

$ cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/kolla
$ mkdir -p /openstack/kolla-deploy
$ cp /usr/share/kolla-ansible/ansible/inventory/* /openstack/kolla-deploy/

$ cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/kolla

$ mkdir -p /openstack/kolla-deploy

$ cp /usr/share/kolla-ansible/ansible/inventory/* /openstack/kolla-deploy/

生成密码

##生成密码，更改的配置文件为/etc/kolla/passwords.yml；
$ kolla-genpwd
##自定密码：
$ vim /etc/kolla/passwords.yml
keystone_admin_password: admin

##生成密码，更改的配置文件为/etc/kolla/passwords.yml；

$ kolla-genpwd

##自定密码：

$ vim /etc/kolla/passwords.yml

keystone_admin_password: admin

下载build好的镜像，建立私有仓库，这里，下载使用Kolla社区的pike版本镜像（免去在本地环境docker build的过程，大大加快安装时间）。Ocata版本是4.0.3， pike版本是5.0.1，事实证明Ocata版本有Bug，装完后会导致centos-source-cinder-api和centos-source-fluentd两个容器启动失败。

[root@openstack1 ~]# wget http://tarballs.openstack.org/kolla/images/centos-source-registry-pike.tar.gz
[root@openstack1 ~]# docker load -i centos-source-registry-pike.tar.gz&nbsp;
[root@openstack1 ~]# mkdir /opt/registry
[root@openstack1 ~]# tar -xf centos-source-registry-ocata.tar.gz -C /opt/registry/
[root@openstack1 ~]# docker run -d -v /opt/registry:/var/lib/registry -p 4000:5000 --restart=always --name registry registry:2&nbsp;
## /opt/registry是宿主机的目录，默认docker的registry是使用5000端口，对于OpenStack来说，有端口冲突，所以改成4000
[root@openstack1 ~]# curl http://127.0.0.1:4000/v2/_catalog #可以通过curl来访问验证本地Registry是否正常，检查镜像解压到regisrty是否有效
仓库里面存在的镜像
查看该镜像的tag
curl -XGET http://127.0.0.1:4000/v2/kolla/centos-binary-nova-compute/tags/list

[root@openstack1 ~]# wget http://tarballs.openstack.org/kolla/images/centos-source-registry-pike.tar.gz

[root@openstack1 ~]# docker load -i centos-source-registry-pike.tar.gz 

[root@openstack1 ~]# mkdir /opt/registry

[root@openstack1 ~]# tar -xf centos-source-registry-ocata.tar.gz -C /opt/registry/

[root@openstack1 ~]# docker run -d -v /opt/registry:/var/lib/registry -p 4000:5000 --restart=always --name registry registry:2 

## /opt/registry是宿主机的目录，默认docker的registry是使用5000端口，对于OpenStack来说，有端口冲突，所以改成4000

[root@openstack1 ~]# curl http://127.0.0.1:4000/v2/_catalog #可以通过curl来访问验证本地Registry是否正常，检查镜像解压到regisrty是否有效

仓库里面存在的镜像

查看该镜像的tag

curl -XGET http://127.0.0.1:4000/v2/kolla/centos-binary-nova-compute/tags/list

如果是在虚拟机里装kolla，希望可以虚拟机中再启动云主机，那么你需要把virt_type=qemu

# egrep -c '(vmx|svm)' /proc/cpuinfo
# mkdir -p /etc/kolla/config/nova //服务器默认就是kvm，无需操作该步骤。
cat << EOF > /etc/kolla/config/nova/nova-compute.conf
[libvirt]
virt_type=qemu
cpu_mode = none
EOF

# egrep -c '(vmx|svm)' /proc/cpuinfo

# mkdir -p /etc/kolla/config/nova //服务器默认就是kvm，无需操作该步骤。

cat << EOF > /etc/kolla/config/nova/nova-compute.conf

[libvirt]

virt_type=qemu

cpu_mode = none

EOF

配置Kolla 下面是我的配置，此处要注意，kolla_internal_vip_address是配置的没有使用的IP，如果配置的IP已经被使用的话会报错 Read more…

By sean, 7 years11/09/2017 ago

SECURITY

清除wnTKYg挖矿木马的全过程

今天下午，同事登录nginx服务器，发现一个进程占用CPU100%：搜索得知是一个挖矿木马，通过redis漏洞来植入的。检查crontab：发现一个redis进程：查看操作日志：查看/root/.ssh/authorized_keys，发现多了个不明key:

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDfxLBb/eKbi0TVVULI8ILVtbv2iaGM+eZbZoCWcD3v/
eF1B/VkHAC1YwIhfqkUYudwhxVfQzsOZYQmKyapWzgp3tBAxcl82Al++VQc36mf/XFnECHndJS1JZB429
/w/Ao+KlASl/qzita61D2VsXyejIQIeYR7Ro+ztLSTXjx+70CvzgOae3oayunL/hGX8qORIkG5YR3R1Je
fhxy1NhGxEd6GaR7fZA5QWGfM17IcSXi2Q876JL8U7Aq8cjQyN/kGT2jWiiQiOZzqbjVJVICiwk0KvtrT
wppV6FLty/vdfhgyspR4WZMep41xxuBH5rBkEJO5lqbKJWatcaA8n9jR x

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDfxLBb/eKbi0TVVULI8ILVtbv2iaGM+eZbZoCWcD3v/

eF1B/VkHAC1YwIhfqkUYudwhxVfQzsOZYQmKyapWzgp3tBAxcl82Al++VQc36mf/XFnECHndJS1JZB429

/w/Ao+KlASl/qzita61D2VsXyejIQIeYR7Ro+ztLSTXjx+70CvzgOae3oayunL/hGX8qORIkG5YR3R1Je

fhxy1NhGxEd6GaR7fZA5QWGfM17IcSXi2Q876JL8U7Aq8cjQyN/kGT2jWiiQiOZzqbjVJVICiwk0KvtrT

wppV6FLty/vdfhgyspR4WZMep41xxuBH5rBkEJO5lqbKJWatcaA8n9jR x

初步判明，由于187和186上以前同事测ABTestingGateway时启动了两个redis，但是没有设redis的密码，因为redis是root帐户启动的，所以通过redis把ssh public key写入了root的authorized_keys，从而运行了一个cron程序，之前一直没发现是因为内存和CPU使用率都在正常范围内（CPU使用率60%）按照网上方法杀之：删除不明key 杀掉进程并清理crontab和运行程序

pkill -9 wnTKYg

pkill -9 ddg.1009

rm -rf /var/spool/cron/root

rm -rf /tmp/wnTKYg

pkill -9 wnTKYg

pkill -9 ddg.1009

rm -rf /var/spool/cron/root

rm -rf /tmp/wnTKYg

增加防火墙策略：

# sample configuration for iptables service
# # you can edit this manually or use system-config-firewall
# # please do not ask us to add additional ports/services to this default configuration
#################
#     NAT       #
#################
*nat
:PREROUTING ACCEPT [27:11935]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [598:57368]
:POSTROUTING ACCEPT [591:57092]
:DOCKER - [0:0]

#OpenVPN
#-A POSTROUTING -o eth0 -s 10.8.0.0/24 -j MASQUERADE

#-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
#-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
#-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
COMMIT

#################
#     filter    #
#################
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
#:DOCKER - [0:0]

# 这里对已经建立连接的包直接放行，以提高iptables 效率(此条规则通常放在第一条)
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT
-A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
#允许ping
-A INPUT -p icmp -m state --state ESTABLISHED,RELATED -j ACCEPT

#本机设备放行
-A INPUT -i lo -j ACCEPT
-A OUTPUT -o lo -j ACCEPT
-A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT
-A OUTPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT


#开放sshd服务
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A OUTPUT -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

#SMTP
-A INPUT -m state --state NEW -m tcp -p tcp --dport 25 -j ACCEPT
#允许 80 443 端口，http 和 https
-A INPUT -i eth0 -m state --state NEW -p tcp --dport 80 -j ACCEPT
-A INPUT -i eth0 -m state --state NEW -p tcp --sport 80 -j ACCEPT
-A OUTPUT -p tcp --sport 80 -j ACCEPT
-A OUTPUT -p tcp --dport 80 -j ACCEPT
-A INPUT -i eth0 -m state --state NEW -p tcp --dport 443 -j ACCEPT
-A INPUT -i eth0 -m state --state NEW -p tcp --sport 443 -j ACCEPT
-A OUTPUT -p tcp --sport 443 -j ACCEPT
-A OUTPUT -p tcp --dport 443 -j ACCEPT
#dns
-A OUTPUT -p udp --dport 53 -j ACCEPT
-A INPUT -p udp --sport 53 -j ACCEPT
-A INPUT -p udp --dport 53 -j ACCEPT
-A OUTPUT -p udp --sport 53 -j ACCEPT
#---ganglia的端口----
#ganglia展示web界面、解释php用的apache
-A INPUT -m state --state NEW -m tcp -p tcp --dport 81 -j ACCEPT
-A OUTPUT -p tcp --sport 81 -m state --state ESTABLISHED -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 5001 -j ACCEPT
-A OUTPUT -p tcp --sport 5001 -m state --state ESTABLISHED -j ACCEPT
#falcon-agent sent
-A OUTPUT -p tcp --dport 6030 -j ACCEPT
-A OUTPUT -p tcp --dport 8433 -j ACCEPT
-A INPUT -s 10.x.x.203 -p tcp --dport 1988 -j ACCEPT

#prometheus
-A INPUT -s 10.x.x.0/24  --match multiport -m state --state NEW -m tcp -p tcp --dports 9100,9102,9105 -j ACCEPT
#处理IP碎片数量,防止攻击,允许每秒100个
-A FORWARD -f -m limit --limit 100/s --limit-burst 100 -j ACCEPT
#允许来自外部的ping测试
#-A INPUT -p icmp --icmp-type echo-request -j ACCEPT
#禁止ping
-A INPUT -p icmp -i eth0 -j DROP
#设置ICMP包过滤,允许每秒1个包,限制触发条件是10个包
-A FORWARD -p icmp -m limit --limit 1/s --limit-burst 10 -j ACCEPT


####################
#DROP RULL
####################
#丢弃坏的TCP包
#-A FORWARD -p TCP ! --syn -m state --state NEW -j DROP

# Reject spoofed packets
-A INPUT -s 169.254.0.0/16 -j DROP
-A INPUT -s 172.16.0.0/12 -j DROP
-A INPUT -s 127.0.0.0/8 -j DROP

-A INPUT -s 224.0.0.0/4 -j DROP
-A INPUT -d 224.0.0.0/4 -j DROP
-A INPUT -s 240.0.0.0/5 -j DROP
-A INPUT -d 240.0.0.0/5 -j DROP
-A INPUT -s 0.0.0.0/8 -j DROP
-A INPUT -d 0.0.0.0/8 -j DROP
-A INPUT -d 239.255.255.0/24 -j DROP
-A INPUT -d 255.255.255.255 -j DROP

# Stop smurf attacks
-A INPUT -p icmp -m icmp --icmp-type address-mask-request -j DROP
-A INPUT -p icmp -m icmp --icmp-type timestamp-request -j DROP
-A INPUT -p icmp -m icmp --icmp-type 8 -j DROP

# Drop all invalid packets
-A INPUT -m state --state INVALID -j DROP
#-A FORWARD -m state --state INVALID -j DROP
-A OUTPUT -m state --state INVALID -j DROP
-A INPUT -m conntrack --ctstate INVALID -j DROP
#drop 3128端口是 squid 的默认端口
-A INPUT -p tcp --dport 3128 -j DROP
# Drop excessive RST packets to avoid smurf attacks
-A INPUT -p tcp -m tcp --tcp-flags RST RST -m limit --limit 2/second --limit-burst 2 -j ACCEPT

# Attempt to block portscans
# Anyone who tried to portscan us is locked out for an entire day.
-A INPUT   -m recent --name portscan --rcheck --seconds 86400 -j DROP
-A FORWARD -m recent --name portscan --rcheck --seconds 86400 -j DROP

# Once the day has passed, remove them from the portscan list
-A INPUT   -m recent --name portscan --remove
-A FORWARD -m recent --name portscan --remove

# These rules add scanners to the portscan list, and log the attempt.
-A INPUT   -p tcp -m tcp --dport 139 -m recent --name portscan --set -j LOG --log-prefix "Portscan:"
-A INPUT   -p tcp -m tcp --dport 139 -m recent --name portscan --set -j DROP

-A FORWARD -p tcp -m tcp --dport 139 -m recent --name portscan --set -j LOG --log-prefix "Portscan:"
-A FORWARD -p tcp -m tcp --dport 139 -m recent --name portscan --set -j DROP

-A INPUT -s xmr.crypto-pool.fr -j DROP
-A INPUT -s 218.248.40.228 -j DROP
-A OUTPUT -d xmr.crypto-pool.fr -j DROP   
-A OUTPUT -d 218.248.40.228 -j DROP     

#禁止其他未允许的规则访问
#-A INPUT -j REJECT --reject-with icmp-host-prohibited
#-A FORWARD -j REJECT --reject-with icmp-host-prohibited
-A INPUT -j DROP
#-A OUTPUT -j DROP
-A FORWARD -j DROP

COMMIT

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

# sample configuration for iptables service

# # you can edit this manually or use system-config-firewall

# # please do not ask us to add additional ports/services to this default configuration

#################

# NAT #

#################

*nat

:PREROUTING ACCEPT [27:11935]

:INPUT ACCEPT [0:0]

:OUTPUT ACCEPT [598:57368]

:POSTROUTING ACCEPT [591:57092]

:DOCKER - [0:0]

#OpenVPN

#-A POSTROUTING -o eth0 -s 10.8.0.0/24 -j MASQUERADE

#-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER

#-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER

#-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE

COMMIT

#################

# filter #

#################

*filter

:INPUT ACCEPT [0:0]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [0:0]

#:DOCKER - [0:0]

# 这里对已经建立连接的包直接放行，以提高iptables 效率(此条规则通常放在第一条)

-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

-A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT

-A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

#允许ping

-A INPUT -p icmp -m state --state ESTABLISHED,RELATED -j ACCEPT

#本机设备放行

-A INPUT -i lo -j ACCEPT

-A OUTPUT -o lo -j ACCEPT

-A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT

-A OUTPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT

#开放sshd服务

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

-A OUTPUT -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

#SMTP

-A INPUT -m state --state NEW -m tcp -p tcp --dport 25 -j ACCEPT

#允许 80 443 端口，http 和 https

-A INPUT -i eth0 -m state --state NEW -p tcp --dport 80 -j ACCEPT

-A INPUT -i eth0 -m state --state NEW -p tcp --sport 80 -j ACCEPT

-A OUTPUT -p tcp --sport 80 -j ACCEPT

-A OUTPUT -p tcp --dport 80 -j ACCEPT

-A INPUT -i eth0 -m state --state NEW -p tcp --dport 443 -j ACCEPT

-A INPUT -i eth0 -m state --state NEW -p tcp --sport 443 -j ACCEPT

-A OUTPUT -p tcp --sport 443 -j ACCEPT

-A OUTPUT -p tcp --dport 443 -j ACCEPT

#dns

-A OUTPUT -p udp --dport 53 -j ACCEPT

-A INPUT -p udp --sport 53 -j ACCEPT

-A INPUT -p udp --dport 53 -j ACCEPT

-A OUTPUT -p udp --sport 53 -j ACCEPT

#---ganglia的端口----

#ganglia展示web界面、解释php用的apache

-A INPUT -m state --state NEW -m tcp -p tcp --dport 81 -j ACCEPT

-A OUTPUT -p tcp --sport 81 -m state --state ESTABLISHED -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 5001 -j ACCEPT

-A OUTPUT -p tcp --sport 5001 -m state --state ESTABLISHED -j ACCEPT

#falcon-agent sent

-A OUTPUT -p tcp --dport 6030 -j ACCEPT

-A OUTPUT -p tcp --dport 8433 -j ACCEPT

-A INPUT -s 10.x.x.203 -p tcp --dport 1988 -j ACCEPT

#prometheus

-A INPUT -s 10.x.x.0/24 --match multiport -m state --state NEW -m tcp -p tcp --dports 9100,9102,9105 -j ACCEPT

#处理IP碎片数量,防止攻击,允许每秒100个

-A FORWARD -f -m limit --limit 100/s --limit-burst 100 -j ACCEPT

#允许来自外部的ping测试

#-A INPUT -p icmp --icmp-type echo-request -j ACCEPT

#禁止ping

-A INPUT -p icmp -i eth0 -j DROP

#设置ICMP包过滤,允许每秒1个包,限制触发条件是10个包

-A FORWARD -p icmp -m limit --limit 1/s --limit-burst 10 -j ACCEPT

####################

#DROP RULL

####################

#丢弃坏的TCP包

#-A FORWARD -p TCP ! --syn -m state --state NEW -j DROP

# Reject spoofed packets

-A INPUT -s 169.254.0.0/16 -j DROP

-A INPUT -s 172.16.0.0/12 -j DROP

-A INPUT -s 127.0.0.0/8 -j DROP

-A INPUT -s 224.0.0.0/4 -j DROP

-A INPUT -d 224.0.0.0/4 -j DROP

-A INPUT -s 240.0.0.0/5 -j DROP

-A INPUT -d 240.0.0.0/5 -j DROP

-A INPUT -s 0.0.0.0/8 -j DROP

-A INPUT -d 0.0.0.0/8 -j DROP

-A INPUT -d 239.255.255.0/24 -j DROP

-A INPUT -d 255.255.255.255 -j DROP

# Stop smurf attacks

-A INPUT -p icmp -m icmp --icmp-type address-mask-request -j DROP

-A INPUT -p icmp -m icmp --icmp-type timestamp-request -j DROP

-A INPUT -p icmp -m icmp --icmp-type 8 -j DROP

# Drop all invalid packets

-A INPUT -m state --state INVALID -j DROP

#-A FORWARD -m state --state INVALID -j DROP

-A OUTPUT -m state --state INVALID -j DROP

-A INPUT -m conntrack --ctstate INVALID -j DROP

#drop 3128端口是 squid 的默认端口

-A INPUT -p tcp --dport 3128 -j DROP

# Drop excessive RST packets to avoid smurf attacks

-A INPUT -p tcp -m tcp --tcp-flags RST RST -m limit --limit 2/second --limit-burst 2 -j ACCEPT

# Attempt to block portscans

# Anyone who tried to portscan us is locked out for an entire day.

-A INPUT -m recent --name portscan --rcheck --seconds 86400 -j DROP

-A FORWARD -m recent --name portscan --rcheck --seconds 86400 -j DROP

# Once the day has passed, remove them from the portscan list

-A INPUT -m recent --name portscan --remove

-A FORWARD -m recent --name portscan --remove

# These rules add scanners to the portscan list, and log the attempt.

-A INPUT -p tcp -m tcp --dport 139 -m recent --name portscan --set -j LOG --log-prefix "Portscan:"

-A INPUT -p tcp -m tcp --dport 139 -m recent --name portscan --set -j DROP

-A FORWARD -p tcp -m tcp --dport 139 -m recent --name portscan --set -j LOG --log-prefix "Portscan:"

-A FORWARD -p tcp -m tcp --dport 139 -m recent --name portscan --set -j DROP

-A INPUT -s xmr.crypto-pool.fr -j DROP

-A INPUT -s 218.248.40.228 -j DROP

-A OUTPUT -d xmr.crypto-pool.fr -j DROP

-A OUTPUT -d 218.248.40.228 -j DROP

#禁止其他未允许的规则访问

#-A INPUT -j REJECT --reject-with icmp-host-prohibited

#-A FORWARD -j REJECT --reject-with icmp-host-prohibited

-A INPUT -j DROP

#-A OUTPUT -j DROP

-A FORWARD -j DROP

COMMIT

By sean, 7 years11/02/2017 ago

未分类

find 命令-exec，xargs用法的一点总结

find 命令-exec，xargs用法的一点总结一查找文件移动到指定目录 [root@localhost jacky]# pwd /home/test/tmp/jacky [root@localhost jacky]# ls file1 file2 file3 [root@localhost jacky]# ls .. jacky [root@localhost jacky]# find . -name “file*” -exec mv {} .. \; [root@localhost jacky]# ls [root@localhost jacky]# ls .. file1 file2 file3 jacky [root@localhost jacky]# 二同MV一样，也可以用exec选项执行cp命令，如下： root@localhost jacky]# pwd /home/test/tmp/jacky Read more…

By sean, 7 years ago

未分类

用cow 翻墙的配置

本来要编译golang, 结果被墙, 搜索发现了一个好东西，cow(climb over the wall) proxy github地址如下：https://github.com/cyfdecyf/cow 具体原理参考: http://www.devtalking.com/articles/shadowsocks-guide/ 这货是个翻墙利器，简单粗暴，不需要对dns域名解析进行净化，也不需要在电脑上部署插件什么的主要特点：工作方式很简单，对于没有访问过的网站，默认尝试直接连接，直连失败了用二级代理重试；前置条件： 1、有一个在墙外的代理服务器（SOCKS5，HTTP，SHADOWSOCKS，COW都可以）。 2、Windows系统，Mac，Linux均可（暂不支持Openwrt，残念！！！但是那么好用的软件肯定会有人做在路由器上面实施的）简单记录下过程，几乎傻瓜式，版本是：0.9.3 1、运行一下命令，按照提示操作 curl -L git.io/cow | bash 2、输入安装目录，直接回车为默认目录（/User/username/） 3、询问是否开机启动，如果答是的话，会在～/Library/LaunchAgents/ 新建一个info.chenyufei.cow.plist文件开机启动 4、静待安装程序下载安装完成，安装就是这样的简单下面开始配置了 5、配置文件位置 ~/.cow/rc vim ~/.cow/rc 6、加入或者打开以下的设置 #设置本机的http代理服务器和端口 listen ＝ http://127.0.0.1:7777 #设置墙外的二级代理，这里同样用了COW的，因为安装太简单，根据二级代理的情况设置用户，密码，服务器ip，端口 proxy = cow://aes-128-cfb:password@106.185.xxx.xxx:xxxx ps：墙外服务器COW设置（安装步骤1-5相同，步骤6 ~/.cow/rc 配置文件加入只需一句 listen = cow://aes-128-cfb:password@0.0.0.0:xxxx 用户名，密码，端口自由设置） 7，启动本地和墙外服务器COW启动方法 cow & Read more…

By sean, 7 years10/20/2017 ago

未分类

Consul集群部署

系统环境主机名 IP地址 Consul角色 ConsulServer1 10.x.x.189 Server ConsulServer2 10.x.x.190 Server ConsulServer3 10.x.x.188 Server ConsulClient 10.x.x.219 Client 首先去官网下载执行文件:

wget https://releases.hashicorp.com/consul/0.9.3/consul_0.9.3_web_ui.zip
unzip consul_0.9.3_linux_amd64.zip
cp consul /usr/local/sbin/

wget https://releases.hashicorp.com/consul/0.9.3/consul_0.9.3_web_ui.zip

unzip consul_0.9.3_linux_amd64.zip

cp consul /usr/local/sbin/

创建启动文件/etc/systemd/system/consul.service:

[Unit]
Description=consul agent
Requires=network-online.target
After=network-online.target

[Service]
EnvironmentFile=-/etc/sysconfig/consul
Environment=GOMAXPROCS=2
Restart=on-failure
ExecStart=/usr/local/sbin/consul agent $OPTIONS -config-dir /etc/consul.d/server/
ExecReload=/bin/kill -HUP $MAINPID
KillSignal=SIGINT

[Install]
WantedBy=multi-user.target

[Unit]

Description=consul agent

Requires=network-online.target

After=network-online.target

[Service]

EnvironmentFile=-/etc/sysconfig/consul

Environment=GOMAXPROCS=2

Restart=on-failure

ExecStart=/usr/local/sbin/consul agent $OPTIONS -config-dir /etc/consul.d/server/

ExecReload=/bin/kill -HUP $MAINPID

KillSignal=SIGINT

[Install]

WantedBy=multi-user.target

创建配置文件/etc/consul.d/server/config.json, 其中encrypt可以用命令生成(/usr/local/sbin/consul keygen)16位base64加密, 最新版本不要使用ur_dir参数, 要使用ui参数, 才能打开页面http://10.3.15.189:8500/ui/:

{
 "bind_addr": "10.x.x.189",
 "client_addr": "0.0.0.0",
 "datacenter": "dc1",
 "data_dir": "/data/consul/data",
 "ui": true,
 "encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==",
 "log_level": "ERR",
 "enable_syslog": true,
 "enable_debug": true,
 "node_name": "ConsulServer1",
 "server": true,
 "bootstrap_expect": 3,
 "leave_on_terminate": false,
 "skip_leave_on_interrupt": true,
 "rejoin_after_leave": true,
 "retry_join": [
 "10.x.x.189:8301",
 "10.x.x.190:8301",
 "10.x.x.188:8301"
 ],
 "retry_interval": "30s",
 "raft_protocol": 2,
 "protocol": 3
}

{

"bind_addr": "10.x.x.189",

"client_addr": "0.0.0.0",

"datacenter": "dc1",

"data_dir": "/data/consul/data",

"ui": true,

"encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==",

"log_level": "ERR",

"enable_syslog": true,

"enable_debug": true,

"node_name": "ConsulServer1",

"server": true,

"bootstrap_expect": 3,

"leave_on_terminate": false,

"skip_leave_on_interrupt": true,

"rejoin_after_leave": true,

"retry_join": [

"10.x.x.189:8301",

"10.x.x.190:8301",

"10.x.x.188:8301"

"retry_interval": "30s",

"raft_protocol": 2,

"protocol": 3

}

创建目录:

mkdir /data/consul/data

1	mkdir /data/consul/data

启动:

systemctl start consul

1	systemctl start consul

防火墙要打开相应端口:

#consul集群
-A INPUT --match multiport -m state --state NEW -m tcp -p tcp --dports 8300,8301,8302,8500,8600 -j ACCEPT
-A INPUT -m state --state NEW -m udp -p udp --dport 8600 -j ACCEPT

#consul集群

-A INPUT --match multiport -m state --state NEW -m tcp -p tcp --dports 8300,8301,8302,8500,8600 -j ACCEPT

-A INPUT -m state --state NEW -m udp -p udp --dport 8600 -j ACCEPT

ConsolServer1启动成功. 其它二个服务器分别将/etc/consul.d/server/config.json和/etc/systemd/system/consul.service拷贝, 修改ip和node名字客户端配置/etc/consul.d/client/config.json:

{
 "bind_addr": "10.x.x.219",
 "client_addr": "10.x.x.219",
 "datacenter": "dc1",
 "data_dir": "/data/consul",
 "encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==",
 "log_level": "ERR",
 "enable_syslog": true,
 "enable_debug": true,
 "node_name": "ConsulClient",
 "server": false,
   "service": {"name": "Apache", "tags": ["HTTP"], "port": 80,
   "check": {"script": "curl localhost >/dev/null 2>&1", "interval": "10s"}},
 "rejoin_after_leave": true,
 "enable_script_checks": true,
 "retry_join": [
      "10.x.x.189:8301",
      "10.x.x.190:8301",
      "10.x.x.188:8301"
    ],
  "raft_protocol": 2,
  "protocol": 3
 }

{

"bind_addr": "10.x.x.219",

"client_addr": "10.x.x.219",

"datacenter": "dc1",

"data_dir": "/data/consul",

"encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==",

"log_level": "ERR",

"enable_syslog": true,

"enable_debug": true,

"node_name": "ConsulClient",

"server": false,

"service": {"name": "Apache", "tags": ["HTTP"], "port": 80,

"check": {"script": "curl localhost >/dev/null 2>&1", "interval": "10s"}},

"rejoin_after_leave": true,

"enable_script_checks": true,

"retry_join": [

"10.x.x.189:8301",

"10.x.x.190:8301",

"10.x.x.188:8301"

"raft_protocol": 2,

"protocol": 3

}

验证: 查看members:

[root@opt1 consul]# consul members --http-addr 10.x.x.189:8500
Node           Address           Status  Type    Build  Protocol  DC   Segment
ConsulServer1  10.x.x.189:8301  alive   server  0.9.3  3         dc1  <all>
ConsulServer2  10.x.x.190:8301  alive   server  0.9.3  3         dc1  <all>
ConsulServer3  10.x.x.188:8301  alive   server  0.9.3  3         dc1  <all>
ConsulClient   10.x.x.219:8301  alive   client  0.9.3  3         dc1  <default>

[root@opt1 consul]# consul members --http-addr 10.x.x.189:8500

Node Address Status Type Build Protocol DC Segment

ConsulServer1 10.x.x.189:8301 alive server 0.9.3 3 dc1 <all>

ConsulServer2 10.x.x.190:8301 alive server 0.9.3 3 dc1 <all>

ConsulServer3 10.x.x.188:8301 alive server 0.9.3 3 dc1 <all>

ConsulClient 10.x.x.219:8301 alive client 0.9.3 3 dc1 <default>

查看DNS:

[root@opt1 consul]# dig @10.x.x.189 -p 8600 ConsulServer2.node.consul +short
10.3.15.190

1 2	[root@opt1 consul]# dig @10.x.x.189 -p 8600 ConsulServer2.node.consul +short 10.3.15.190

参考: http://www.10tiao.com/html/357/201705/2247485185/1.html 命令行参数:

-advertise：通知展现地址用来改变我们给集群中的其他节点展现的地址，一般情况下-bind地址就是展现地址
-bootstrap：用来控制一个server是否在bootstrap模式，在一个datacenter中只能有一个server处于bootstrap模式，当一个server处于bootstrap模式时，可以自己选举为raft leader。
-bootstrap-expect：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap公用
-bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0
-client：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1
-config-file：明确的指定要加载哪个配置文件
-config-dir：配置文件目录，里面所有以.json结尾的文件都会被加载
-data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在
-dc：该标记控制agent允许的datacenter的名称，默认是dc1
-encrypt：指定secret key，使consul在通讯时进行加密，key可以通过consul keygen生成，同一个集群中的节点必须使用相同的key
-join：加入一个已经启动的agent的ip地址，可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中，则agent会启动失败，默认agent启动时不会加入任何节点。
-retry-join：和join类似，但是允许你在第一次失败后进行尝试。
-retry-interval：两次join之间的时间间隔，默认是30s
-retry-max：尝试重复join的次数，默认是0，也就是无限次尝试
-log-level：consul agent启动后显示的日志信息级别。默认是info，可选：trace、debug、info、warn、err。
-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名
-protocol：consul使用的协议版本
-rejoin：使consul忽略先前的离开，在再次启动后仍旧尝试加入集群中。
-server：定义agent运行在server模式，每个集群至少有一个server，建议每个集群的server不要超过5个
-syslog：开启系统日志功能，只在linux/osx上生效
-ui-dir:提供存放web ui资源的路径，该目录必须是可读的
-pid-file:提供一个路径来存放pid文件，可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent

-advertise：通知展现地址用来改变我们给集群中的其他节点展现的地址，一般情况下-bind地址就是展现地址

-bootstrap：用来控制一个server是否在bootstrap模式，在一个datacenter中只能有一个server处于bootstrap模式，当一个server处于bootstrap模式时，可以自己选举为raft leader。

-bootstrap-expect：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap公用

-bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0

-client：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1

-config-file：明确的指定要加载哪个配置文件

-config-dir：配置文件目录，里面所有以.json结尾的文件都会被加载

-data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在

-dc：该标记控制agent允许的datacenter的名称，默认是dc1

-encrypt：指定secret key，使consul在通讯时进行加密，key可以通过consul keygen生成，同一个集群中的节点必须使用相同的key

-join：加入一个已经启动的agent的ip地址，可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中，则agent会启动失败，默认agent启动时不会加入任何节点。

-retry-join：和join类似，但是允许你在第一次失败后进行尝试。

-retry-interval：两次join之间的时间间隔，默认是30s

-retry-max：尝试重复join的次数，默认是0，也就是无限次尝试

-log-level：consul agent启动后显示的日志信息级别。默认是info，可选：trace、debug、info、warn、err。

-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名

-protocol：consul使用的协议版本

-rejoin：使consul忽略先前的离开，在再次启动后仍旧尝试加入集群中。

-server：定义agent运行在server模式，每个集群至少有一个server，建议每个集群的server不要超过5个

-syslog：开启系统日志功能，只在linux/osx上生效

-ui-dir:提供存放web ui资源的路径，该目录必须是可读的

-pid-file:提供一个路径来存放pid文件，可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent

除了命令行参数外，配置也可以写入文件中，在某些情况下配置文件会更简单一些，例如：利用consul被用来管理系统。配置文件是json格式的，很容易编写。配置文件不仅被用来设置agent的启动，也可以用来提供健康检测和服务发现的定义。配置文件的一般样例如下：

{
  "datacenter": "east-aws",
  "data_dir": "/opt/consul",
  "log_level": "INFO",
  "node_name": "foobar",
  "server": true,
  "watches": [
    {
        "type": "checks",
        "handler": "/usr/bin/health-check-handler.sh"
    }
  ]
}

{

"datacenter": "east-aws",

"data_dir": "/opt/consul",

"log_level": "INFO",

"node_name": "foobar",

"server": true,

"watches": [

{

"type": "checks",

"handler": "/usr/bin/health-check-handler.sh"

}

]

}

下面看看详细的配置文件参数： Read more…

By sean, 7 years10/15/2017 ago

未分类

python3爬虫学习笔记之urllib库的使用

python3爬虫学习笔记之urllib库的使用基本使用

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request

request_url = 'http://www.baidu.com'           # 需要请求的URL地址
response = urllib.request.urlopen(request_url) # 发起请求
print(response.read().decode('utf-8'))         # 打印响应的文本，并进行UTF-8

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request

request_url = 'http://www.baidu.com' # 需要请求的URL地址

response = urllib.request.urlopen(request_url) # 发起请求

print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8

urlopen返回对象提供方法： read(), readline(), readlines(), fileno(), close()：对HTTPResponse类型数据进行操作 info()：返回HTTPMessage对象，表示远程服务器返回的头信息 getcode()：返回Http状态码。如果是http请求，200请求成功完成、404网址未找到等等 geturl()：返回请求的url 请求的数据传送 GET数据

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request
import urllib.parse

get_data = {'username': 'aaa', 'password': 'bbb'}          # 此处将GET的数据定义为一个字典
get_data_encode = urllib.parse.urlencode(get_data)         # 将GET的数据进行编码

request_url = 'https://www.zhihu.com/#signin'              # 需要请求的URL地址
request_url += '?' + get_data_encode                       # 追加GET参数到URL后面

# https://www.zhihu.com/#signin?username=aaa&password=bbb
print(request_url)

# 发起请求
response = urllib.request.urlopen(request_url)
print(response.read().decode('utf-8'))         # 打印响应的文本，并进行UTF-8解码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request

import urllib.parse

get_data = {'username': 'aaa', 'password': 'bbb'} # 此处将GET的数据定义为一个字典

get_data_encode = urllib.parse.urlencode(get_data) # 将GET的数据进行编码

request_url = 'https://www.zhihu.com/#signin' # 需要请求的URL地址

request_url += '?' + get_data_encode # 追加GET参数到URL后面

# https://www.zhihu.com/#signin?username=aaa&password=bbb

print(request_url)

# 发起请求

response = urllib.request.urlopen(request_url)

print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码

POST数据

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request
import urllib.parse

post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'}      # 此处将POST的数据定义为一个字典
post_data_encode = urllib.parse.urlencode(post_data)        # 将POST的数据进行编码

# UTF-8编码
# 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str.
post_data_encode = post_data_encode.encode(encoding='utf-8')
request_url = 'http://www.lagou.com/jobs/positionAjax.json?'               # 需要请求的URL地址

# 发起请求
# 此处增加了第二个参数为传送的POST数据（默认为None）
# 第三个参数为请求超时时间，默认为socket._GLOBAL_DEFAULT_TIMEOUT
response = urllib.request.urlopen(request_url, post_data_encode, 3)
print(response.read().decode('utf-8'))         # 打印响应的文本，并进行UTF-8解码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request

import urllib.parse

post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'} # 此处将POST的数据定义为一个字典

post_data_encode = urllib.parse.urlencode(post_data) # 将POST的数据进行编码

# UTF-8编码

# 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str.

post_data_encode = post_data_encode.encode(encoding='utf-8')

request_url = 'http://www.lagou.com/jobs/positionAjax.json?' # 需要请求的URL地址

# 发起请求

# 此处增加了第二个参数为传送的POST数据（默认为None）

# 第三个参数为请求超时时间，默认为socket._GLOBAL_DEFAULT_TIMEOUT

response = urllib.request.urlopen(request_url, post_data_encode, 3)

print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码

使用Request &&　设置Headers属性很多网站对非浏览器的访问都做了限制，所以如果我们要完全模拟浏览器去访问网站的话，必须要先设置Headers的属性使用chrome浏览器按F12，点击访问的链接，Headers -> Request Headers User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 如果服务器对页面访问来源做了限制，则需要设置Headers的Referer属性

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request
import urllib.parse

user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87'
referer = 'http://www.lagou.com/jobs/positionAjax.json?'
post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'}                              # 此处将POST的数据定义为一个字典
headers = {'User-Agent': user_agent, 'Referer': referer}                            # Headers属性初始化
post_data_encode = urllib.parse.urlencode(post_data)                                # 将POST的数据进行编码

# UTF-8编码
# 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str.
post_data_encode = post_data_encode.encode(encoding='utf-8')
request_url = 'http://www.lagou.com/zhaopin/Python/?labelWords=label'               # 需要请求的URL地址

# 使用Request来设置Headers
request = urllib.request.Request(request_url, post_data_encode, headers)

response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))         # 打印响应的文本，并进行UTF-8解码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

import urllib.request

import urllib.parse

user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87'

referer = 'http://www.lagou.com/jobs/positionAjax.json?'

post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'} # 此处将POST的数据定义为一个字典

headers = {'User-Agent': user_agent, 'Referer': referer} # Headers属性初始化

post_data_encode = urllib.parse.urlencode(post_data) # 将POST的数据进行编码

# UTF-8编码

# 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str.

post_data_encode = post_data_encode.encode(encoding='utf-8')

request_url = 'http://www.lagou.com/zhaopin/Python/?labelWords=label' # 需要请求的URL地址

# 使用Request来设置Headers

request = urllib.request.Request(request_url, post_data_encode, headers)

response = urllib.request.urlopen(request)

print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码

Proxy（代理）的设置如果网站限制了IP访问的次数，则需要更换代理服务器，以免被禁止访问

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

from urllib import request

request_url = 'http://www.lagou.com/jobs/positionAjax.json?'
proxy = request.ProxyHandler({'http': '61.136.115.147:3128'})   # 设置代理服务器
opener = request.build_opener(proxy)                            # 挂载opener
request.install_opener(opener)                                  # 安装opener
response = request.urlopen(request_url)
print(response.read().decode('utf-8'))         # 打印响应的文本，并进行UTF-8解码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

from urllib import request

request_url = 'http://www.lagou.com/jobs/positionAjax.json?'

proxy = request.ProxyHandler({'http': '61.136.115.147:3128'}) # 设置代理服务器

opener = request.build_opener(proxy) # 挂载opener

request.install_opener(opener) # 安装opener

response = request.urlopen(request_url)

print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码

异常处理

#!/usr/bin/env python
# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

from urllib import request
from urllib import error        # 引入错误处理的包

request_url = 'http://www.lagou.com/jobs/positionAjax.json?'
proxy = request.ProxyHandler({'http': '116.204.1.111:8081'}) # 设置代理服务器
opener = request.build_opener(proxy)                         # 挂载opener
request.install_opener(opener)                               # 安装opener
try:
    response = request.urlopen(request_url)
except error.HTTPError as e:
    print(e.code)                   # 打印错误码
    print(e.msg)                    # 打印错误信息

#!/usr/bin/env python

# -*- coding: utf-8 -*-

__author__ = 'JustFantasy'

from urllib import request

from urllib import error # 引入错误处理的包

request_url = 'http://www.lagou.com/jobs/positionAjax.json?'

proxy = request.ProxyHandler({'http': '116.204.1.111:8081'}) # 设置代理服务器

opener = request.build_opener(proxy) # 挂载opener

request.install_opener(opener) # 安装opener

try:

response = request.urlopen(request_url)

except error.HTTPError as e:

print(e.code) # 打印错误码

print(e.msg) # 打印错误信息

By sean, 7 years10/08/2017 ago