分类目录归档：未分类

nginx+php-fpm出现504的问题处理

nginx犯错误日志报:
2023/09/04 19:57:24 [error] 42010#42010: *1327 upstream timed out (110: Connection timed out) while reading response header from upstream, client: xxxx, server: localhost, request: “GET /xxxx HTTP/1.1”, upstream: “fastcgi://127.0.0.1:9082”, host: “xxx.xxx.xxx.xxx:3000”, referrer: “http://xxxx”

页面报504

检查以下部分:
1. php.ini的: max_execution_time设置
2. 检查fpm配置文件的 request_terminate_timeout 设置
3. 检查nginx的配置:
fastcgi_connect_timeout 3000s;
fastcgi_read_timeout 3000s;

怎么控制浏览器的Referer？

一、怎么禁止浏览器发送Referer头？

1、在HTML的<head>标签中添加以下meta标签：<meta name=”referrer” content=”no-referrer”>
2、用HTTP头中的”Referer-Policy”字段，可以在HTTP响应头中设置这个字段来控制浏览器如何发送referrer信息。例如：Referrer-Policy: no-referrer

2、怎么控制Referer的值

不能随意指定Referer值，但可以通过下面的代码把域名值作为Referer发送，而不是完全的URL: <meta content=”origin” name=”referrer”>

三、在HTML的Meta中，控制Referer的Meta主要有以下几种

1、<meta content=”no-referrer” name=”referrer”>：不发送Referer信息，但是不包括本站内的链接。

2、<meta content=”no-referrer-when-downgrade” name=”referrer”>：默认选项，https页面发https的referer，http页面发http的referer，不向不安全的地址发送referer。

3、<meta content=”origin” name=”referrer”>：只发送当前文档的来源（即Origin Header）。

4、<meta content=”origin-when-cross-origin” name=”referrer”>：当前文档和目标URL的域名相同，发送当前文档的完整URL，否则只发送当前文档的来源。

5、<meta content=”unsafe-url” name=”referrer”>：发送完整的URL，包括https到http的跨域跳转。

Laravel + Octane + Swoole配置

安装好Laravel和Swoole

composer require laravel/octane
php artisan octane:install
php artisan octane:start

这好像就可以了。。。

An auto json/url/timestamp encode/decode online tools.

In the development process, we often need to solve the timestamp, encode / decode the URL, and parse the JSON. It is inconvenient to open several pages,

So in my spare time, I made an online tool that can automatically encode and decode JSON, timestamp and URL.

You can try it.

An auto json/url/timestamp encode/decode online tools.

ImageMagick常用操作-增加水印

convert -fill black -font “宋体-简-粗体” -stroke white -pointsize 200 -gravity north -draw ‘text 0,0 “文字”‘ “原文件.PNG” “marked/新文件.PNG”

Mac下默认是不支持中文的，查看支持哪些字体
convert -list font

#gravity : 组合的图片的位置，取值:
southwest: 左下
southeast: 右下
northwest: 左上
northeast: 右上
south : 底部居中
west : 左侧居中
north: 顶部居中
east: 右侧居中

改尺寸

convert -resize 600×600 src.jpg dst.jpg

MySQL优化中一些不常用的技巧

在Join中强制使用索引

SELECT
    fieldA, fieldB
FROM `表A` o force index( `indexA`, `indexB`) 
inner join `表B` a force index(indexB)
on o.aa=a.bb 
WHERE `xx` = 'xx'
and xx_id in (1,2,3);

在SQL中忽略索引

SELECT 
    fieldA, fieldB 
FROM `表A` o force index( `indexA`) 
inner join `表B` a force index(indexB) 
on o.aa=a.bb 
WHERE 
    `xx` = 'xx' 
    and xx_id in (1,2,3);

在使用Inner Join的时候（直接用Join也是），MySQL会自动决定以哪一个表为标准表进行关联，有时候我们希望能按我们写的顺利进行关联时，就可以用STRAIGHT_JOIN。

SELECT 
    TABLE1.FIELD1, TABLE2.FIELD2 
FROM TABLE1 STRAIGHT_JOIN TABLE2 
WHERE XX=XX

其它的优化

关闭查询缓冲 SQL_NO_CACHE
SELECT SQL_NO_CACHE field1, field2 FROM TABLE1;

强制查询缓冲 SQL_CACHE
SELECT SQL_CALHE * FROM TABLE1;

优先操作 HIGH_PRIORITY
HIGH_PRIORITY可以使用在select和insert操作中，让MYSQL知道，这个操作优先进行。
SELECT HIGH_PRIORITY * FROM TABLE1;

滞后操作 LOW_PRIORITY
LOW_PRIORITY可以使用在insert和update操作中，让mysql知道，这个操作滞后。
update LOW_PRIORITY table1 set field1= where field1= …

延时插入 INSERT DELAYED
INSERT DELAYED INTO table1 set field1= …
INSERT DELAYED INTO，是客户端提交数据给MySQL，MySQL返回OK状态给客户端。而这是并不是已经将数据插入表，而是存储在内存里面等待排队。当mysql有空余时，再插入。另一个重要的好处是，来自许多客户端的插入被集中在一起，并被编写入一个块。这比执行许多独立的插入要快很多。坏处是，不能返回自动递增的ID，以及系统崩溃时，MySQL还没有来得及插入数据的话，这些数据将会丢失。

强制使用临时表 SQL_BUFFER_RESULT
SELECT SQL_BUFFER_RESULT * FROM TABLE1 WHERE …
当我们查询的结果集中的数据比较多时，可以通过SQL_BUFFER_RESULT.选项强制将结果集放到临时表中，这样就可以很快地释放MySQL的表锁(这样其它的SQL语句就可以对这些记录进行查询了)，并且可以长时间地为客户端提供大记录集。

分组使用临时表 SQL_BIG_RESULT和SQL_SMALL_RESULT
SELECT SQL_BUFFER_RESULT FIELD1, COUNT(*) FROM TABLE1 GROUP BY FIELD1;
一般用于分组或DISTINCT关键字，这个选项通知MySQL，如果有必要，就将查询结果放到临时表中，甚至在临时表中进行排序。SQL_SMALL_RESULT比起SQL_BIG_RESULT差不多，很少使用。

selenium结合mitmporxy进行抓取的一些技巧

在抓取一些必须用selenium进行抓取的网站时，又想加载速度时，可以按下面的方式去操作

在mac，带参数启动程序:
open -a “Google Chrome” –args -ignore-certificate-errors –proxy-server=127.0.0.1:8080

这里去下载selenium grid
https://www.selenium.dev/downloads/

这里去下载 chrome的webdriver
https://chromedriver.storage.googleapis.com/index.html

再写一个启动脚本:
java -jar ./selenium-server-4.1.2.jar standalone

使用mitmproxy来过滤掉一些无用的请求
安装 pip3 install mitmporxy

写一个过滤脚本: filter_rewardstyle.com.py

import re
from mitmproxy import ctx, http

# def http_connect(flow: http.HTTPFlow):
#     if "rewardstyle.com" not in flow.request.host:
#             ctx.log("忽略connect请求:"+flow.request.url)
#             flow.response = http.Response.make(404)
#             return


def request(flow: http.HTTPFlow):
    ctx.log("============ request: " + flow.request.url)
    if "rewardstyle.com" not in flow.request.host:
        if re.search(r'\.(css|js|jpg|png|gif|woff|tiff|ico)$', flow.request.url):
            ctx.log("忽略资源:"+flow.request.url)
            flow.response = http.Response.make(404)
            return


def response(flow):
    # ctx.log(flow.request.url)
    """修改应答数据"""
    if "rewardstyle.com" not in flow.request.url:
        flow.response.text = "by mitmproxy"

运行这个命令:
mitmdump -s filter_rewardstyle.com.py

PHP进程卡住假死问题处理

看这里

https://www.im050.com/posts/390

PHP的apcu缓存使用

apcu是以前的apc的升级，apcu实现了基于本机内存的高效缓存，类似的还有鸟哥的yac，但yac是无锁的性能更好一些。

单个设置缓存
apcu_store(‘key’, ‘value’, 3600);
批量设置缓存
apcu_store([‘key1’=>’value1’, ‘key2’=>’value2], NULL/*这个变量没用*/, 3600);

单个获取，没取到时，返回false
apcu_fetch(‘key’);
批量获取，以数组的格式返回，一个都没有取到时，返回空数组，好像不会返回false
apcu_fetch([‘test’, ‘test2’, ‘noExits’])
批量获取时，如果某一个key不存在，则不会返回在数组中。

实用小技巧

从网页上批量获取数据

Array.prototype.forEach.call($$(‘#filter-accordion-0 > web-category-tree-v2 > ul > li > a’), function (a) {
console.log(a.href);
});

selector用$$()，xpath用$x()

黄葛晚渡

个人记录博客

分类目录归档：未分类

nginx+php-fpm出现504的问题处理

怎么控制浏览器的Referer？

一、怎么禁止浏览器发送Referer头？

2、怎么控制Referer的值

三、在HTML的Meta中，控制Referer的Meta主要有以下几种

Laravel + Octane + Swoole配置

An auto json/url/timestamp encode/decode online tools.

ImageMagick常用操作-增加水印

MySQL优化中一些不常用的技巧

selenium结合mitmporxy进行抓取的一些技巧

PHP进程卡住假死问题处理

PHP的apcu缓存使用

实用小技巧