分类目录归档:未分类

怎么控制浏览器的Referer?

一、怎么禁止浏览器发送Referer头?

1、在HTML的<head>标签中添加以下meta标签:<meta name=”referrer” content=”no-referrer”>
2、用HTTP头中的”Referer-Policy”字段,可以在HTTP响应头中设置这个字段来控制浏览器如何发送referrer信息。例如:Referrer-Policy: no-referrer

2、怎么控制Referer的值

不能随意指定Referer值,但可以通过下面的代码把域名值作为Referer发送,而不是完全的URL: <meta content=”origin” name=”referrer”>

三、在HTML的Meta中,控制Referer的Meta主要有以下几种

1、<meta content=”no-referrer” name=”referrer”>:不发送Referer信息,但是不包括本站内的链接。

2、<meta content=”no-referrer-when-downgrade” name=”referrer”>:默认选项,https页面发https的referer,http页面发http的referer,不向不安全的地址发送referer。

3、<meta content=”origin” name=”referrer”>:只发送当前文档的来源(即Origin Header)。

4、<meta content=”origin-when-cross-origin” name=”referrer”>:当前文档和目标URL的域名相同,发送当前文档的完整URL,否则只发送当前文档的来源。

5、<meta content=”unsafe-url” name=”referrer”>:发送完整的URL,包括https到http的跨域跳转。

ImageMagick常用操作-增加水印

convert -fill black -font “宋体-简-粗体” -stroke white -pointsize 200 -gravity north -draw ‘text 0,0 “文字”‘ “原文件.PNG” “marked/新文件.PNG”

Mac下默认是不支持中文的,查看支持哪些字体
convert -list font

#gravity : 组合的图片的位置,取值:
southwest: 左下
southeast: 右下
northwest: 左上
northeast: 右上
south : 底部居中
west : 左侧居中
north: 顶部居中
east: 右侧居中

改尺寸

convert -resize 600×600 src.jpg dst.jpg

MySQL优化中一些不常用的技巧

在Join中强制使用索引

SELECT
    fieldA, fieldB
FROM `表A` o force index( `indexA`, `indexB`) 
inner join `表B` a force index(indexB)
on o.aa=a.bb 
WHERE `xx` = 'xx'
and xx_id in (1,2,3);

在SQL中忽略索引

SELECT 
    fieldA, fieldB 
FROM `表A` o force index( `indexA`) 
inner join `表B` a force index(indexB) 
on o.aa=a.bb 
WHERE 
    `xx` = 'xx' 
    and xx_id in (1,2,3);

在使用Inner Join的时候(直接用Join也是),MySQL会自动决定以哪一个表为标准表进行关联,有时候我们希望能按我们写的顺利进行关联时,就可以用STRAIGHT_JOIN。

SELECT 
    TABLE1.FIELD1, TABLE2.FIELD2 
FROM TABLE1 STRAIGHT_JOIN TABLE2 
WHERE XX=XX

其它的优化

关闭查询缓冲 SQL_NO_CACHE
SELECT SQL_NO_CACHE field1, field2 FROM TABLE1;

强制查询缓冲 SQL_CACHE
SELECT SQL_CALHE * FROM TABLE1;

优先操作 HIGH_PRIORITY
HIGH_PRIORITY可以使用在select和insert操作中,让MYSQL知道,这个操作优先进行。
SELECT HIGH_PRIORITY * FROM TABLE1;

滞后操作 LOW_PRIORITY
LOW_PRIORITY可以使用在insert和update操作中,让mysql知道,这个操作滞后。
update LOW_PRIORITY table1 set field1= where field1= …

延时插入 INSERT DELAYED
INSERT DELAYED INTO table1 set field1= …
INSERT DELAYED INTO,是客户端提交数据给MySQL,MySQL返回OK状态给客户端。而这是并不是已经将数据插入表,而是存储在内存里面等待排队。当mysql有 空余时,再插入。另一个重要的好处是,来自许多客户端的插入被集中在一起,并被编写入一个块。这比执行许多独立的插入要快很多。坏处是,不能返回自动递增 的ID,以及系统崩溃时,MySQL还没有来得及插入数据的话,这些数据将会丢失。

强制使用临时表 SQL_BUFFER_RESULT
SELECT SQL_BUFFER_RESULT * FROM TABLE1 WHERE …
当我们查询的结果集中的数据比较多时,可以通过SQL_BUFFER_RESULT.选项强制将结果集放到临时表中,这样就可以很快地释放MySQL的表锁(这样其它的SQL语句就可以对这些记录进行查询了),并且可以长时间地为客户端提供大记录集。

分组使用临时表 SQL_BIG_RESULT和SQL_SMALL_RESULT
SELECT SQL_BUFFER_RESULT FIELD1, COUNT(*) FROM TABLE1 GROUP BY FIELD1;
一般用于分组或DISTINCT关键字,这个选项通知MySQL,如果有必要,就将查询结果放到临时表中,甚至在临时表中进行排序。SQL_SMALL_RESULT比起SQL_BIG_RESULT差不多,很少使用。

selenium结合mitmporxy进行抓取的一些技巧

在抓取一些必须用selenium进行抓取的网站时,又想加载速度时,可以按下面的方式去操作

在mac,带参数启动程序:
open -a “Google Chrome” –args -ignore-certificate-errors –proxy-server=127.0.0.1:8080

这里去下载selenium grid
https://www.selenium.dev/downloads/

这里去下载 chrome的webdriver
https://chromedriver.storage.googleapis.com/index.html

再写一个启动脚本:
java -jar ./selenium-server-4.1.2.jar standalone

使用mitmproxy来过滤掉一些无用的请求
安装 pip3 install mitmporxy

写一个过滤脚本: filter_rewardstyle.com.py

import re
from mitmproxy import ctx, http

# def http_connect(flow: http.HTTPFlow):
#     if "rewardstyle.com" not in flow.request.host:
#             ctx.log("忽略connect请求:"+flow.request.url)
#             flow.response = http.Response.make(404)
#             return


def request(flow: http.HTTPFlow):
    ctx.log("============ request: " + flow.request.url)
    if "rewardstyle.com" not in flow.request.host:
        if re.search(r'\.(css|js|jpg|png|gif|woff|tiff|ico)$', flow.request.url):
            ctx.log("忽略资源:"+flow.request.url)
            flow.response = http.Response.make(404)
            return


def response(flow):
    # ctx.log(flow.request.url)
    """修改应答数据"""
    if "rewardstyle.com" not in flow.request.url:
        flow.response.text = "by mitmproxy"

运行这个命令:
mitmdump -s filter_rewardstyle.com.py

PHP进程卡住假死问题处理

来源,原站已无法打开
https://www.im050.com/posts/390

首先通过strace命令跟踪假死进程的系统调用信息

strace -p 16618

执行以上命令后,得到如下结果

poll([{fd=33, events=POLLOUT|POLLWRNORM}], 1, 0) = 0 (Timeout)
poll([{fd=33, events=POLLOUT}], 1, 1000) = 0 (Timeout)
poll([{fd=33, events=POLLOUT|POLLWRNORM}], 1, 0) = 0 (Timeout)
poll([{fd=33, events=POLLOUT}], 1, 1000) = 0 (Timeout)

Tips: 通过命令man poll可以查看poll系统调用的函数原型

发现当前进程占用了33的文件描述符,接着可以通过下面的命令列出占用该文件描述符的进程

lsof -d 33 | grep php

得到如下结果

php     16618 root   33u  IPv4             987105      0t0   TCP iZbp10yq5syyio54pew3swZ:56030->192.168.110.2:http (SYN_SENT)

可以看到当前进程正在进行http请求,并且处于SYN_SENT的状态 (长期处于该状态),最后猜想可能是由于curl没有设置超时时间,服务器没有及时反应或无法响应的情况下造成了假死现象。

经过调整之后,进程运行正常。

 

PHP的apcu缓存使用

apcu是以前的apc的升级,apcu实现了基于本机内存的高效缓存,类似的还有鸟哥的yac,但yac是无锁的性能更好一些。

单个设置缓存
apcu_store(‘key’, ‘value’, 3600);
批量设置缓存
apcu_store([‘key1’=>’value1’, ‘key2’=>’value2], NULL/*这个变量没用*/, 3600);

单个获取,没取到时,返回false
apcu_fetch(‘key’);
批量获取,以数组的格式返回,一个都没有取到时,返回空数组,好像不会返回false
apcu_fetch([‘test’, ‘test2’, ‘noExits’])
批量获取时,如果某一个key不存在,则不会返回在数组中。

 

实用小技巧

从网页上批量获取数据

Array.prototype.forEach.call($$(‘#filter-accordion-0 > web-category-tree-v2 > ul > li > a’), function (a) {
console.log(a.href);
});

selector用$$(),xpath用$x()

以Api的方式获取Instagram博主数据

Ins Api调用说明

Ins分2种用户,一种是普通的,一种是专业的,普通用户是无法满足我们需求的。

专业用户需要满足以下准备工内容:
1、一个Ins的商务账户
2、一个Facebook开发者账号
3、Facebook开发者中心建立一个App并审核通过(注意APP的类型要选择为business)
4、增加2个Product,一个facebook登录和instagram graph api
5、在app preview里去选择”pages_show_list”和”instagram_basic” 2个权限,具体别的权限看情况去选择,在正式使用之前需要要去申请这些权限。

开始,参照:https://developers.facebook.com/docs/instagram-api/getting-started

把个人的Ins账户转为专业账户
关联 https://help.instagram.com/399237934150902?fbclid=IwAR1VFQ403f16ZUvApnMtsDYuNRHcwg9il0qh4G5DDluZHNSfJU3wKK4-Zb4

登录FaceBook账户指南
https://developers.facebook.com/docs/facebook-login/web

通过php登录的话,要参考github上的代码:
https://github.com/facebookarchive/php-graph-sdk/tree/master
有一个坑是要开启session,sdk是通过session来判断state参数是否一样的,这样防止非法调用

我们需要用到这个instagram_basic api的权限,需要进行“business verification”,
https://developers.facebook.com/docs/permissions/reference/instagram_basic

验证的帮助说明在这里:
https://developers.facebook.com/docs/development/release/business-verification

 

验证步骤:
https://developers.facebook.com/apps/305829777821658/app-review/submissions/current-request/?business_id=219068326242405

在提交审核的时候,有一个deletion url,是当对方删除数据的时候,我们也要一起删除,见:
https://developers.facebook.com/docs/development/create-an-app/app-dashboard/data-deletion-callback

API的调用参考:https://developers.facebook.com/docs/instagram-api/getting-started

获取用户信息
https://graph.facebook.com/v11.0/me/accounts?access_token=
获取用户在IG里的信息
https://graph.facebook.com/v11.0/103288701887981?fields=instagram_business_account&access_token={access-token}
根据IG ID获取用户在IG里的信息
https://graph.facebook.com/v3.2/17841405339389255?fields=biography,id,username,website,followers_count,follows_count,media_count,profile_picture_url&access_token=
获取用户的IG Media列表
https://graph.facebook.com/v11.0/17841405339389255/media?access_token=
根据IG的ID获取详情
https://graph.facebook.com/v11.0/17912414743825369?fields=id,media_type,like_count,comments_count,media_url,owner,timestamp&access_token=