find 命令-exec，xargs用法的一点总结 一 查找文件移动到指定目录 [root@localhost jacky]# pwd /home/test/tmp/jacky [root@localhost jacky]# ls file1 file2 file3 [root@localhost jacky]# ls .. jacky [root@localhost jacky]# find . -name “file*” -exec mv {} .. \; [root@localhost jacky]# ls [root@localhost jacky]# ls .. file1 file2 file3 jacky [root@localhost jacky]# 二 同MV一样，也可以用exec选项执行cp命令，如下： root@localhost jacky]# pwd /home/test/tmp/jacky Read more…
本来要编译golang, 结果被墙, 搜索发现了一个好东西，cow(climb over the wall) proxy github地址如下：https://github.com/cyfdecyf/cow 具体原理参考: http://www.devtalking.com/articles/shadowsocks-guide/ 这货是个翻墙利器，简单粗暴，不需要对dns域名解析进行净化，也不需要在电脑上部署插件什么的 主要特点： 工作方式很简单，对于没有访问过的网站，默认尝试直接连接，直连失败了用二级代理重试； 前置条件： 1、有一个在墙外的代理服务器（SOCKS5，HTTP，SHADOWSOCKS，COW都可以）。 2、Windows系统，Mac，Linux均可（暂不支持Openwrt，残念！！！但是那么好用的软件肯定会有人做在路由器上面实施的） 简单记录下过程，几乎傻瓜式，版本是：0.9.3 1、运行一下命令，按照提示操作 curl -L git.io/cow | bash 2、输入安装目录，直接回车为默认目录（/User/username/） 3、询问是否开机启动，如果答是的话，会在～/Library/LaunchAgents/ 新建一个info.chenyufei.cow.plist文件开机启动 4、静待安装程序下载安装完成，安装就是这样的简单 下面开始配置了 5、配置文件位置 ~/.cow/rc vim ~/.cow/rc 6、加入或者打开以下的设置 #设置本机的http代理服务器和端口 listen ＝ http://127.0.0.1:7777 #设置墙外的二级代理，这里同样用了COW的，因为安装太简单，根据二级代理的情况设置用户，密码，服务器ip，端口 proxy = cow://aes-128-cfb:password@106.185.xxx.xxx:xxxx ps：墙外服务器COW设置（安装步骤1-5相同，步骤6 ~/.cow/rc 配置文件加入只需一句 listen = cow://aes-128-cfb:password@0.0.0.0:xxxx 用户名，密码，端口自由设置） 7，启动本地和墙外服务器COW启动方法 cow & Read more…
系统环境 主机名 IP地址 Consul角色 ConsulServer1 10.x.x.189 Server ConsulServer2 10.x.x.190 Server ConsulServer3 10.x.x.188 Server ConsulClient 10.x.x.219 Client 首先去官网下载执行文件:
|
1 2 3 |
wget https://releases.hashicorp.com/consul/0.9.3/consul_0.9.3_web_ui.zip unzip consul_0.9.3_linux_amd64.zip cp consul /usr/local/sbin/ |
创建启动文件/etc/systemd/system/consul.service:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
[Unit] Description=consul agent Requires=network-online.target After=network-online.target [Service] EnvironmentFile=-/etc/sysconfig/consul Environment=GOMAXPROCS=2 Restart=on-failure ExecStart=/usr/local/sbin/consul agent $OPTIONS -config-dir /etc/consul.d/server/ ExecReload=/bin/kill -HUP $MAINPID KillSignal=SIGINT [Install] WantedBy=multi-user.target |
创建配置文件/etc/consul.d/server/config.json, 其中encrypt可以用命令生成(/usr/local/sbin/consul keygen)16位base64加密, 最新版本不要使用ur_dir参数, 要使用ui参数, 才能打开页面http://10.3.15.189:8500/ui/:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
{ "bind_addr": "10.x.x.189", "client_addr": "0.0.0.0", "datacenter": "dc1", "data_dir": "/data/consul/data", "ui": true, "encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==", "log_level": "ERR", "enable_syslog": true, "enable_debug": true, "node_name": "ConsulServer1", "server": true, "bootstrap_expect": 3, "leave_on_terminate": false, "skip_leave_on_interrupt": true, "rejoin_after_leave": true, "retry_join": [ "10.x.x.189:8301", "10.x.x.190:8301", "10.x.x.188:8301" ], "retry_interval": "30s", "raft_protocol": 2, "protocol": 3 } |
创建目录:
|
1 |
mkdir /data/consul/data |
启动:
|
1 |
systemctl start consul |
防火墙要打开相应端口:
|
1 2 3 |
#consul集群 -A INPUT --match multiport -m state --state NEW -m tcp -p tcp --dports 8300,8301,8302,8500,8600 -j ACCEPT -A INPUT -m state --state NEW -m udp -p udp --dport 8600 -j ACCEPT |
ConsolServer1启动成功. 其它二个服务器分别将/etc/consul.d/server/config.json和/etc/systemd/system/consul.service拷贝, 修改ip和node名字 客户端配置/etc/consul.d/client/config.json:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
{ "bind_addr": "10.x.x.219", "client_addr": "10.x.x.219", "datacenter": "dc1", "data_dir": "/data/consul", "encrypt": "ZHJM3OeHwvxpfnWjxs2JYQ==", "log_level": "ERR", "enable_syslog": true, "enable_debug": true, "node_name": "ConsulClient", "server": false, "service": {"name": "Apache", "tags": ["HTTP"], "port": 80, "check": {"script": "curl localhost >/dev/null 2>&1", "interval": "10s"}}, "rejoin_after_leave": true, "enable_script_checks": true, "retry_join": [ "10.x.x.189:8301", "10.x.x.190:8301", "10.x.x.188:8301" ], "raft_protocol": 2, "protocol": 3 } |
验证: 查看members:
|
1 2 3 4 5 6 |
[root@opt1 consul]# consul members --http-addr 10.x.x.189:8500 Node Address Status Type Build Protocol DC Segment ConsulServer1 10.x.x.189:8301 alive server 0.9.3 3 dc1 <all> ConsulServer2 10.x.x.190:8301 alive server 0.9.3 3 dc1 <all> ConsulServer3 10.x.x.188:8301 alive server 0.9.3 3 dc1 <all> ConsulClient 10.x.x.219:8301 alive client 0.9.3 3 dc1 <default> |
查看DNS:
|
1 2 |
[root@opt1 consul]# dig @10.x.x.189 -p 8600 ConsulServer2.node.consul +short 10.3.15.190 |
参考: http://www.10tiao.com/html/357/201705/2247485185/1.html 命令行参数:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
-advertise：通知展现地址用来改变我们给集群中的其他节点展现的地址，一般情况下-bind地址就是展现地址 -bootstrap：用来控制一个server是否在bootstrap模式，在一个datacenter中只能有一个server处于bootstrap模式，当一个server处于bootstrap模式时，可以自己选举为raft leader。 -bootstrap-expect：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap公用 -bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0 -client：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1 -config-file：明确的指定要加载哪个配置文件 -config-dir：配置文件目录，里面所有以.json结尾的文件都会被加载 -data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在 -dc：该标记控制agent允许的datacenter的名称，默认是dc1 -encrypt：指定secret key，使consul在通讯时进行加密，key可以通过consul keygen生成，同一个集群中的节点必须使用相同的key -join：加入一个已经启动的agent的ip地址，可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中，则agent会启动失败，默认agent启动时不会加入任何节点。 -retry-join：和join类似，但是允许你在第一次失败后进行尝试。 -retry-interval：两次join之间的时间间隔，默认是30s -retry-max：尝试重复join的次数，默认是0，也就是无限次尝试 -log-level：consul agent启动后显示的日志信息级别。默认是info，可选：trace、debug、info、warn、err。 -node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名 -protocol：consul使用的协议版本 -rejoin：使consul忽略先前的离开，在再次启动后仍旧尝试加入集群中。 -server：定义agent运行在server模式，每个集群至少有一个server，建议每个集群的server不要超过5个 -syslog：开启系统日志功能，只在linux/osx上生效 -ui-dir:提供存放web ui资源的路径，该目录必须是可读的 -pid-file:提供一个路径来存放pid文件，可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent |
除了命令行参数外，配置也可以写入文件中，在某些情况下配置文件会更简单一些，例如：利用consul被用来管理系统。配置文件是json格式的，很容易编写。配置文件不仅被用来设置agent的启动，也可以用来提供健康检测和服务发现的定义。配置文件的一般样例如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
{ "datacenter": "east-aws", "data_dir": "/opt/consul", "log_level": "INFO", "node_name": "foobar", "server": true, "watches": [ { "type": "checks", "handler": "/usr/bin/health-check-handler.sh" } ] } |
下面看看详细的配置文件参数： Read more…
python3爬虫学习笔记之urllib库的使用 基本使用
|
1 2 3 4 5 6 7 8 9 10 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' import urllib.request request_url = 'http://www.baidu.com' # 需要请求的URL地址 response = urllib.request.urlopen(request_url) # 发起请求 print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8 |
urlopen返回对象提供方法： read(), readline(), readlines(), fileno(), close()：对HTTPResponse类型数据进行操作 info()：返回HTTPMessage对象，表示远程服务器返回的头信息 getcode()：返回Http状态码。如果是http请求，200请求成功完成、404网址未找到等等 geturl()：返回请求的url 请求的数据传送 GET数据
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' import urllib.request import urllib.parse get_data = {'username': 'aaa', 'password': 'bbb'} # 此处将GET的数据定义为一个字典 get_data_encode = urllib.parse.urlencode(get_data) # 将GET的数据进行编码 request_url = 'https://www.zhihu.com/#signin' # 需要请求的URL地址 request_url += '?' + get_data_encode # 追加GET参数到URL后面 # https://www.zhihu.com/#signin?username=aaa&password=bbb print(request_url) # 发起请求 response = urllib.request.urlopen(request_url) print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码 |
POST数据
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' import urllib.request import urllib.parse post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'} # 此处将POST的数据定义为一个字典 post_data_encode = urllib.parse.urlencode(post_data) # 将POST的数据进行编码 # UTF-8编码 # 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str. post_data_encode = post_data_encode.encode(encoding='utf-8') request_url = 'http://www.lagou.com/jobs/positionAjax.json?' # 需要请求的URL地址 # 发起请求 # 此处增加了第二个参数为传送的POST数据（默认为None） # 第三个参数为请求超时时间，默认为socket._GLOBAL_DEFAULT_TIMEOUT response = urllib.request.urlopen(request_url, post_data_encode, 3) print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码 |
使用Request && 设置Headers属性 很多网站对非浏览器的访问都做了限制，所以如果我们要完全模拟浏览器去访问网站的话，必须要先设置Headers的属性 使用chrome浏览器按F12，点击访问的链接，Headers -> Request Headers User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 如果服务器对页面访问来源做了限制，则需要设置Headers的Referer属性
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' import urllib.request import urllib.parse user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87' referer = 'http://www.lagou.com/jobs/positionAjax.json?' post_data = {'first': 'true', 'pn': 1, 'kd': 'Python'} # 此处将POST的数据定义为一个字典 headers = {'User-Agent': user_agent, 'Referer': referer} # Headers属性初始化 post_data_encode = urllib.parse.urlencode(post_data) # 将POST的数据进行编码 # UTF-8编码 # 否则会报错：POST data should be bytes or an iterable of bytes. It cannot be of type str. post_data_encode = post_data_encode.encode(encoding='utf-8') request_url = 'http://www.lagou.com/zhaopin/Python/?labelWords=label' # 需要请求的URL地址 # 使用Request来设置Headers request = urllib.request.Request(request_url, post_data_encode, headers) response = urllib.request.urlopen(request) print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码 |
Proxy（代理）的设置 如果网站限制了IP访问的次数，则需要更换代理服务器，以免被禁止访问
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' from urllib import request request_url = 'http://www.lagou.com/jobs/positionAjax.json?' proxy = request.ProxyHandler({'http': '61.136.115.147:3128'}) # 设置代理服务器 opener = request.build_opener(proxy) # 挂载opener request.install_opener(opener) # 安装opener response = request.urlopen(request_url) print(response.read().decode('utf-8')) # 打印响应的文本，并进行UTF-8解码 |
异常处理
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'JustFantasy' from urllib import request from urllib import error # 引入错误处理的包 request_url = 'http://www.lagou.com/jobs/positionAjax.json?' proxy = request.ProxyHandler({'http': '116.204.1.111:8081'}) # 设置代理服务器 opener = request.build_opener(proxy) # 挂载opener request.install_opener(opener) # 安装opener try: response = request.urlopen(request_url) except error.HTTPError as e: print(e.code) # 打印错误码 print(e.msg) # 打印错误信息 |
Python虚拟环境设置 2018-4-2更新： centos7创建虚拟环境 在最新的CentOS版本7.3中，自带的Python版本依旧是2.7，而Django的建议版本已经到了3.x。所以需要安装新版本的Python，同时保留旧的Python环境。 首先安装epel源 1 yum install epel–release 查看可用的python3版本 1 yum list python3* 可以看见列表里提供Python 3.4 1 yum –y install python34 下面安装pip，python2.7和pyhon3.4的pip是可以同时存在的，默认分别为pip，pip3 1 2 yum install python–pip # 安装python2.7的pip yum install python34–pip # 安装python3.4的pip，两者可以同时存在 查看pip版本信息 1 2 3 4 ~# pip -V pip 8.1.2 from /usr/lib/python2.7/site–packages (python 2.7) ~# pip3 Read more…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
# -*- coding: utf-8 -*- #!/usr/bin/env python # author:sean # nginx 日志切割脚本 # www.a.com.log www.a.com-YesterDay(%Y-%m-%d).log import os import datetime LogPath = "/data/logs/nginx" #日志所在目录 BakDir = "/data/logs/nginx/bak" #要备份到的目录 YesterDay = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d") if os.path.exists(BakDir): pass else: os.mkdir(BakDir) for root,dirs,files in os.walk(LogPath): for f in files: filename,ext = os.path.splitext(f) os.rename("{0}/{1}".format(root,f),"{0}/{1}-{2}{3}".format(root,filename,YesterDay,ext)) os.system("kill -USR1 'cat /usr/local/openresty/nginx/logs/nginx.pid'") time.sleep(5) os.system('find {0} -type f -name "*.log" -mtime +7 -exec rm -rf {} \;'.foramt(BakDir)) |
shadowsocks从gfw更新pac时更新失败, 下面脚本可以代替更新功能, 适用于mac系统:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 |
#!/bin/bash # update_gfwlist.sh # Author : VincentSit # Copyright (c) http://xuexuefeng.com # # Example usage # # ./whatever-you-name-this.sh # # Task Scheduling (Optional) # # crontab -e # # add: # 30 9 * * * sh /path/whatever-you-name-this.sh # # Now it will update the PAC at 9:30 every day. # # Remember to chmod +x the script. GFWLIST="https://raw.githubusercontent.com/gfwlist/gfwlist/master/gfwlist.txt" PROXY="127.0.0.1:1080" USER_RULE_NAME="user-rule.txt" check_module_installed() { pip list | grep gfwlist2pac &> /dev/null if [ $? -eq 1 ]; then echo "Installing gfwlist2pac." pip install gfwlist2pac fi } update_gfwlist() { echo "Downloading gfwlist." curl -s "$GFWLIST" --fail --socks5-hostname "$PROXY" --output /tmp/gfwlist.txt if [[ $? -ne 0 ]]; then echo "abort due to error occurred." exit 1 fi cd ~/.ShadowsocksX || exit 1 if [ -f "gfwlist.js" ]; then mv gfwlist.js ~/.Trash fi if [ ! -f $USER_RULE_NAME ]; then touch $USER_RULE_NAME fi /usr/local/bin/gfwlist2pac \ --input /tmp/gfwlist.txt \ --file gfwlist.js \ --proxy "SOCKS5 $PROXY; SOCKS $PROXY; DIRECT" \ --user-rule $USER_RULE_NAME \ --precise rm -f /tmp/gfwlist.txt echo "Updated." } check_module_installed update_gfwlist |
转自: https://gist.github.com/VincentSit/b5b112d273513f153caf23a9da112b3a
openwrt固件实现智能翻墙 国庆放假前几天一直在家折腾路由器自动翻墙, 固件刷了好几遍, 虽然最后也没成功, 还是记录下配置过程, 以后再想做时用得着. 我的路由器是Netgear R6100, 去 https://wiki.openwrt.org/toh/hwdata/netgear/netgear_r6100 查到路由器信息, 安装 安装软件有三种方法, 一, 通过配置源在线安装; 二, 通过脚本安装. 三, 通过下载安装包安装; 一, 最简单的就是通过源安装: 由于openwrt-dist.sourceforge.net源不翻墙的话不能用, 会有bad address的错误提示, 实际配置需要配置反代源, 参考了 http://openwrt-dist.colendres.com/ , 最后配置如下: First, add openwrt-dist.pub file into opkg’s keys:
|
1 2 |
wget http://openwrt-dist.sourceforge.net/packages/openwrt-dist.pub opkg-key add openwrt-dist.pub |
添加如下到/etc/opkg.conf, 注意将签名验证给注释掉
|
1 2 3 |
src/gz openwrt_dist http://openwrt-dist.colendres.com/packages/OpenWrt/base/ar71xx #或src/gz openwrt_dist http://openwrt-dist.colendres.com/packages/OpenWrt/base/{architecture} src/gz openwrt_dist_luci http://openwrt-dist.colendres.com/packages/OpenWrt/luci |
然后安装相应软件:
|
1 2 3 4 5 6 7 8 9 10 11 |
opkg update opkg install iptables-mod-nat-extra iptables-mod-tproxy ipset opkg remove dnsmasq && opkg install dnsmasq-full opkg install ChinaDNS opkg install luci-app-chinadns opkg install dns-forwarder opkg install luci-app-dns-forwarder opkg install shadowsocks-libev opkg install luci-app-shadowsocks opkg install ShadowVPN opkg install luci-app-shadowvpn |
注: 每次路由器重启后, 都要先opkg update下才能安装软件 二, 通过脚本安装
|
1 2 3 |
wget http://openwrt-dist.colendres.com/auto_install_openwrt.sh chmod +x auto_install_openwrt.sh ./auto_install_openwrt.sh |
三, 下载所有安装包然后opkg install 安装 Read more…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 |
#!/bin/bash #written by mofansheng@2015-11-03 #system optimization script #The fllow apply to CentOS 6.x . /etc/init.d/functions function check_ok(){ if [ $? -eq 0 ] then echo "" continue else echo "pls check error" exit fi } cat<<EOF ----------------------------------------------------------------------- | system optimization | ----------------------------------------------------------------------- EOF #1. 更新系统 yum update -y yum install net-tools wget telnet perl perl-devel kernel-devel bash-completion ntpdate vim #yum install gcc cmake bzip2-devel curl-devel db4-devel libjpeg-devel libpng-devel freetype-devel libXpm-devel gmp-devel libc-client-devel openldap-devel unixODBC-devel postgresql-devel sqlite-devel aspell-devel net-snmp-devel libxslt-devel libxml2-devel pcre-devel pspell-devel libmemcached libmemcached-devel zlib-devel vim wget lrzsz tree yum groupinstall "Development tools" -y #2. 给/etc/rc.local添加执行权限 chmod +x /etc/rc.d/rc.local #3. 关闭不必要服务close unimportant system services echo "===Close unimportant system services,it will take serval mintinues===" for i in `systemctl list-unit-files |grep 'enabled'| awk '{print $1}' |grep -Ev "crond|sshd|sysstat|rsyslog|network|dbus|systemd|multi|default|NetworkManager|auditd"`; do systemctl disable $i;systemctl stop $i;systemctl status $i done check_ok action "Close unimportant system services" /bin/true #4. close selinux echo "===close SELINUX===" if [ `getenforce` != "Disabled" ] then sed -i '/^SELINUX/s/enforcing/disabled/g' /etc/selinux/config setenforce 0 echo "selinux is disabled" else action "SELINUX is closed" /bin/true fi check_ok action "Close SELINUX" /bin/true #5. 关闭防火墙安装iptables systemctl stop firewalld.service systemctl disable firewalld.service yum install iptables-services -y #6. 修改主机名 hostnamectl set-hostname vm1 #7. 设置字符集 yum -y install kde-l10n-Chinese localectl set-locale LANG=zh_CN.utf8 echo "LANG=zh_CN.UTF-8" > /etc/environment echo "LC_ALL=zh_CN.UTF-8" >> /etc/environment echo "LANG=zh_CN.utf8" > /etc/locale.conf source /etc/locale.conf #8. 加大打开文件数的限制（open files）和内核优化 echo "* soft nofile 65535" >> /etc/security/limits.conf echo "* hard nofile 65535" >> /etc/security/limits.conf echo "* soft nproc 65535" >> /etc/security/limits.conf echo "* hard nproc 65535" >> /etc/security/limits.conf cat >> /etc/sysctl.conf << "EOF" #CTCDN系统优化参数 fs.file-max = 655536 #关闭ipv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 #决定检查过期多久邻居条目 net.ipv4.neigh.default.gc_stale_time=120 #使用arp_announce / arp_ignore解决ARP映射问题 net.ipv4.conf.default.arp_announce = 2 net.ipv4.conf.all.arp_announce=2 net.ipv4.conf.lo.arp_announce=2 # 避免放大攻击 net.ipv4.icmp_echo_ignore_broadcasts = 1 # 开启恶意icmp错误消息保护 net.ipv4.icmp_ignore_bogus_error_responses = 1 #关闭路由转发 net.ipv4.ip_forward = 0 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 #开启反向路径过滤 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 #处理无源路由的包 net.ipv4.conf.all.accept_source_route = 0 net.ipv4.conf.default.accept_source_route = 0 #关闭sysrq功能 kernel.sysrq = 0 #core文件名中添加pid作为扩展名 kernel.core_uses_pid = 1 # 开启SYN洪水攻击保护 net.ipv4.tcp_syncookies = 1 #修改消息队列长度 kernel.msgmnb = 65536 kernel.msgmax = 65536 #设置最大内存共享段大小bytes kernel.shmmax = 68719476736 kernel.shmall = 4294967296 #timewait的数量，默认180000 net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.tcp_sack = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_rmem = 4096 87380 4194304 net.ipv4.tcp_wmem = 4096 16384 4194304 net.core.wmem_default = 8388608 net.core.rmem_default = 8388608 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 #每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目 net.core.netdev_max_backlog = 262144 #限制仅仅是为了防止简单的DoS 攻击 net.ipv4.tcp_max_orphans = 3276800 #未收到客户端确认信息的连接请求的最大值 net.ipv4.tcp_max_syn_backlog = 262144 net.ipv4.tcp_timestamps = 0 #内核放弃建立连接之前发送SYNACK 包的数量 net.ipv4.tcp_synack_retries = 1 #内核放弃建立连接之前发送SYN 包的数量 net.ipv4.tcp_syn_retries = 1 #启用timewait 快速回收 net.ipv4.tcp_tw_recycle = 1 #开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_mem = 94500000 915000000 927000000 net.ipv4.tcp_fin_timeout = 1 #当keepalive 起用的时候，TCP 发送keepalive 消息的频度。缺省是2 小时 net.ipv4.tcp_keepalive_time = 1800 net.ipv4.tcp_keepalive_probes = 3 net.ipv4.tcp_keepalive_intvl = 15 #允许系统打开的端口范围 net.ipv4.ip_local_port_range = 1024 65000 #修改防火墙表大小，默认65536 net.netfilter.nf_conntrack_max=655350 net.netfilter.nf_conntrack_tcp_timeout_established=1200 # 确保无人能修改路由表 net.ipv4.conf.all.accept_redirects = 0 net.ipv4.conf.default.accept_redirects = 0 net.ipv4.conf.all.secure_redirects = 0 net.ipv4.conf.default.secure_redirects = 0 EOF #生效 sysctl -p #用户进程限制 sed -i 's#4096#65535#g' /etc/security/limits.d/20-nproc.conf #加大普通用户限制 也可以改为unlimited #set SSH sed -i 's/#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config sed -i 's/#Port 22/Port 65500/g' /etc/ssh/sshd_config service sshd restart #set system files permission chmod 600 /etc/passwd chmod 600 /etc/group chmod 600 /etc/shadow chmod 600 /etc/gshadow #set ntp yum install ntpdate -y ntpdate ntp.fudan.edu.cn echo "* 3 * * * /usr/sbin/ntpdate ntp.fudan.edu.cn >/dev/null 2>&1" >>/etc/crontab service crond restart check_ok action "ntpdate is installed and add in crontab" /bin/true #set vim echo "===install vim,it will take serval mintinues===" yum install vim-enhanced -y &>/dev/null alias vi=vim echo "alias vi=vim" >>/root/.bashrc check_ok action "vim is installed" /bin/true #set yum repos echo "===update yum repos,it will take serval mintinues===" mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all &>/dev/null yum makecache &>/dev/null check_ok action "yum repos update is ok" /bin/true |
操作系统：Mac10.11.5 python2.7.13 python3.6.1 安装python2：
|
1 |
brew install python |
安装python3：
|
1 |
brew install python3 |
此时，命令行输入python3则打开python3，输入python则打开python2。 利用pip安装 ipython
|
1 2 |
sudo pip install ipython sudo pip3 install ipython |
用pip安装ipython则是安装到python2的site-packages中，同理用pip3则是安装到python3的site-packages中。 进入/usr/local/bin目录下，可以看到ipython文件，用vi打开：
|
1 |
sudo vi ipython |
|
1 2 3 4 5 6 7 8 9 10 11 |
#!/usr/local/opt/python/bin/python2.7 # -*- coding: utf-8 -*- import re import sys from IPython import start_ipython if __name__ == '__main__': sys.argv[0] = re.sub(r'(-script\.pyw?|\.exe)?$', '', sys.argv[0]) sys.exit(start_ipython()) |
|
1 2 3 |
#!/usr/local/opt/python/bin/python2.7这个目录就是指向python的版本， 例如我要定向成python3可以修改该成#!/usr/local/opt/python3/bin/python3.6 这样ipython这个命令打开的ipython指向的python版本就是python3了。为了方便我们可以复制这个文件为ipython3，把ipython3这个命令文件指向python3版本，这样在终端输入ipython打开的就是python2，输入ipython3打开的就是python3，是不是很方便！ |