分类目录归档：开发技术&电脑使用

记录开发相关的文章

Linux操作记录

Linux隧道端口映射和转发

1.本地ssh可以登录远程服务器，（密码或者秘钥）
2.远程数据库需要赋权限给隧道端的ip
命令：

ssh -NCPfg [email protected] -L 3388:192.168.1.1:3306

参数：
-C 使用压缩功能，是可选的，加快速度。
-P 用一个非特权端口进行出去的连接。
-f 一旦SSH完成认证并建立port forwarding，则转入后台运行。
-N 不执行远程命令。该参数在只打开转发端口时很有用（V2版本SSH支持）
-g 表示远程机器可以连接到这个端口
这里的[email protected]是连接远程服务器的用户名和IP
-L 3388:192.168.1.1:3306 这里表示建立的隧道，3388是本机端口，通过3388和远程服务器建立隧道，192.168.1.1是内网ip，可以用127.0.0.1，当然也可以用外网ip，这里要注意数据库要给这个ip赋权，因为隧道连接实际上就是数据库连接的这个ip ，后面的是远程数据库的端口
这个命令在本地运行
运行这个命令会在本地机器上开启3388端口
ss和nestat 和lsof可以看到，开启了127.0.0.1:3388
连接：
本地装好mysql客户端
mysql -u用户名 -P 3388 -h127.0.0.1 -p密码
恭喜你登陆了

ssh -NCPfg -itmp [email protected] -L 3388:127.0.0.1:3306

防火墙
https://blog.csdn.net/s_p_j/article/details/80979450

CentOS Rinetd安装

这东西在大负载使用的时候，会存在问题，最好是用nginx来做代理
下载rpm包
https://centos.pkgs.org/7/nux-misc-x86_64/rinetd-0.62-9.el7.nux.x86_64.rpm.html

rpm -ivh rinetd-0.62-9.el7.nux.x86_64.rpm

0.0.0.0 6379 db-gocashback-redis.gocashback.com 6379

systemctl start rinetd

防火墙操作

https://blog.csdn.net/s_p_j/article/details/80979450

服务操作

查看服务列表：systemctl list-unit-files
设置开机启动：systemctl enable postfix.service
取消开机启动：systemctl disable postfix.service
systemctl status/start/stop/restart postfix.service

安装SQUID代理

yum install squid

vim /etc/squid/squid.conf

设置指定的ip可用
acl localnet src x.x.x.x/32

设置ip隐藏
forwarded_for delete
via off
follow_x_forwarded_for deny all
request_header_access X-Forwarded-For deny all

systemctl enable squid.service
systemctl start squid.service

SSH通过跳板机登录/执行命令

ssh 
root@目标主机IP 
-i 登录目标主机的Key 
-o ProxyCommand='ssh -A ops@跳板机IP -i 登录跳板机Key -W %h:%p -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no' 
-o UserKnownHostsFile=/dev/null 
-o StrictHostKeyChecking=no 
"需要在目标主机上执行的命令"

UserKnownHostsFile 忽略ssh目录下的known_hosts文件
StrictHostKeyChecking 不要询问是否接受key的提示
ProxyCommand 通过该参数里的命令建立通道
上面2处的-i指定的private key都是当前主机目录下的key

PS命令

查看进程树
pstree -ap 进程id

查看进程的运行时间
ps -eo pid,lstart,etime,cmd | grep nginx

看phpfpm在干什么

strace -p `curl -s http://127.0.0.1/fpm_status?full | grep -C 2 "Finishing" | grep "pid" | awk '{print $2}' | awk 'END {print}'`

SEO相关

Seo相关工具: similarweb、semrush

PHP 抓取记录

Selenium抓取

下载Chrome WebDriver
https://chromedriver.chromium.org/
下载Selenium Server，用的是版本4，3不再维护了
https://www.selenium.dev/downloads/
把2个文件放一个目录后，再运行：
java -jar .\selenium-server-4.0.0-beta-1.jar standalone
访问：http://IP:4444/ 有控制台

安装php-webdriver
php composer.phar require php-webdriver/webdriver

php-webdriver相关参考
https://github.com/php-webdriver/php-webdriver

有的网站判断了是否通过navigator.webdriver来判断是否是通过模拟抓取的，这种情况下需要用到中间人的方式去把返回的javascript替换掉，让他判断不成功。

目前用到的是mitmdump，可以写一个python文件，把返回的数据进行替换：

# coding:utf-8
# modify_response.py

import re
from mitmproxy import ctx

def response(flow):

    """修改应答数据"""
    if 'web-login/canvas' in flow.request.url:
        # 屏蔽selenium检测
        for webdriver_key in ['navigator.webdriver']:
            ctx.log.info('Remove"{}"from{}.'.format(webdriver_key,flow.request.url))
            flow.response.text=flow.response.text.replace(webdriver_key,'navigator.webdriverabc')

运行：mitmdump.ext -s 脚本.py，Python的版本要是3

如果用这样的话，chrome会出现非法的https，需要在webdriver里加入”ignore-certificate-errors”

还有一个问题是当这样用了之后，就没有办法给浏览器指定代理了，如果要指定的话，只能在mitmdump里指定二级代理，思路见：https://www.jianshu.com/p/dfd1e2753d71

没试过，脚本感觉有问题要修改才行。

def request(flow: http.HTTPFlow) -> None:
    if flow.request.method == "CONNECT":
        # If the decision is done by domain, one could also modify the server address here.
        # We do it after CONNECT here to have the request data available as well.
        return
        client_ip = flow.client_conn.address[0]
        if 'ip.cn' in flow.request.url:
                ctx.log.info(flow.request.url)
                proxy =("localhost", 8888)
        else:
                proxy = ("localhost", 3800)
    # 这里配置二级代理的ip地址和端口
    if flow.live:
        flow.live.change_upstream_proxy_server(proxy)

mitmdump –mode upstream:http://default-upstream-proxy.local:8080/ -s ./change_upstream_proxy.py

https://docs.mitmproxy.org/stable/addons-examples/

还有一个方式是用google的puppeteer，是node写的，没有试过。

更多关于webdriver检测的了解见：https://onefine.blog.csdn.net/article/details/88200217

linux shell 常用操作

用awk分析nginx日志

BEGIN {
#FS = "\t"
print("start...\n")
}

/deploy\.php(.*?)302/ {
print $1
}

END {
print("end.\n")
}

awk -f awk access.log

BEGIN {
   pos = 1
   isupdate = 0
   title = ""
}

/Table_map: `55shantao_prod`\.`product_sku_data`/ {
   title = NR":"$0
}

/UPDATE `55shantao_prod`\.`product_sku_data`/ {
   print NR":"title
   print NR":"$0
   isupdate = 1
}


{
if (isupdate == 1 && pos < 28) {
   print NR":"$0
   pos = pos + 1
} else {
   pos = 1
   isupdate = 0
}
}

输出百度抓取的POST的ID和时间

more www.bianhua8.com.log | grep "Baiduspider" | grep "/post/" | awk 'BEGIN{FS=" "}{match($0, /\[(.+)\].+?post\/([0-9]+)/, m);print NR""m[1]"\t"m[2];}'

把找出执行时间大于多少ms的日志，注意：下面的match只支持在gawk里使用，有的linux默认是gawk，但在mac下面，需要安装gawk才支持，不然会报错。

more access.log-20210630 | awk '{match($0,/urt="([0-9\.]+)"/, m)}m[1]>0.1{print m[1]"\t"$7}' | grep -v "search"

tail -f xxxx.com.access.log | awk '{match($0,/urt="([0-9\.]+)"/, m)}m[1]>0.5{print $4"]\t" m[1]"s\t"$7}'

找出最近访问次数多的ip

tail -n 50000 /data/log/nginx/www.xxx.com.access.log | awk -F' ' '{print $1}' | sort | uniq -c | sort -n

grep取上下几行：
-B 前几行
-C 上下几行
-A 后几行

gerp用正则匹配
grep -E ‘xxxx’
但正则好像不能用\d之类的，只能用[0-9]这样

去重
cat xx.txt | sort | uniq

去重并统计行数按倒序排
cat xx.txt | sort | uniq -c | sort -r

curl显示请求时间
curl -o /dev/null -s -w 'dns解析时间:%{time_namelookup}\n连接时间:%{time_connect}\n开始传输时间:%{time_starttransfer}\ntotal:%{time_total}\n速度:%{speed_download}\n' "http://localhost/404.html"

切换用户

su xxx，切换到某用户
sudo -i，切换到管理员
sudo -u nginx php xxx.php，以某个用户运行，像一些无法登录的用户可以以这种方式执行
sudo -su nginx，可以切换到该用户去，并一直在那个用户

查看运行时间久的进程

ps aux | grep " cli.php " | sort -k 10 -n

查看网络连接状态

netstat -ant|awk '/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}'

上面的$NF表示是最后一列的内容, NF表示最后一列的索引, END 是各个{}块之间需要的

nginx不能访问中文目录的问题出现404的解决方法

一朋友上传了棋谱到网站上，应该是从mac os里上传的。

用filezilla可以正常浏览显示，但用浏览器访问中文文件或带有中文目录的文件时，，出现404。

原因是上传上来的文件名不是utf-8格式的，是gb2312的。

所以，需要用convmv转换一下。

用法，把当前目录下面包换子目录都转换为utf-8：

convmv -f GB2312 -t UTF-8 -r –notest ./

另外，filezilla里必须把charset改为utf-8，不然浏览的时候会是乱码，

黄葛晚渡

个人记录博客