Mysql更新插入编码问题

22. August 2019 DataBase 0
数据插入更新,尤其是遇到遗留系统时,编码不一致可能会报错,如Illegal mix of collations (utf8mb4_unicode_ci,IMPLICIT) and (utf8mb4_general_ci,IMPLICIT) for operation ‘=’ 解决方式代码如下: UPDATE college_video a, colleges b SET a.college_id = b.id WHERE a.college_name_cn COLLATE utf8mb4_unicode_ci = b.name_cn

MyUniUni第四期《请求的生命周期》

09. August 2019 技术交流会 0
了解网站结构以及请求生命周期,是编写爬虫,黑网站,翻墙,快速排查问题,个人建站等高阶操作的基础,后期会单独分享对应的主题,随着交流会的深入,技术性越来越强,大家可以根据兴趣和时间安排有选择的参加哈。 其实交流会没那么正式,也不需要非得分享技术,我把它看成了一个互动平台,总结分享下最近的工作经验及心得,整理汇总下遇到的问题,讨论下自己关注的热点动态,练习练习讲课能力和心理素质,接触了解下其他领域,梳理自己的知识架构,激励鞭策自己的一种方式(比如这篇,我连夜加班整理的)。 上图为七层模型和4层模型对应关系以及各层对应的协议,我们主要介绍的应用层的http协议 用户输入网址,比如 http://www.myuniuni.com:80 http 默认端口号80 https 默认端口号 443 ping www.myuniuni.com 最常用的网络连通测试工具 traceroute www.myuniuni.com 路由追踪 DNS解析,把网址对应成IP地址 本地DNS,若有缓存,优先从缓存中取,演示本地hosts文件。 通过ping查看生效的DNS DNS服务器配置如下 从dns服务器找到域名对应的IP地址,然后把请求转发到目标服务器,解析如下: 服务器配置 开放80端口或443端口 端口扫描工具:https://tool.lu/portscan/ Web服务器(nginx,apache等)监听响应的端口,以nginx为例 若为纯静态文件,如html,css,js,直接返回文件内容。若为html文件,即使包含css引入链接,也不返回css内容,返回到前端浏览器解析后再单独请求文件。随便找个网页举个例子。 若为PHP文件,则转发给php-fpm解析,通过socks通信 Nginx配置文件如下: 多个域名可以解析到同一目录,大家应该都见过吧。 server {     listen 80;     server_name product.myuniuni.com;     index index.html index.htm index.php     access_log /home/wwwlogs/access.log;     root  /muu/public;     charset utf-8;     location / {         try_files $uri $uri/ /index.php?$query_string;     }     error_page 404 ...

train_test_split函数解析

08. August 2019 深度学习 0
stratify就是根据指定数据集中的特征比例划分出同样特征比例的训练集和测试集 train_data:所要划分的样本特征集 train_target:所要划分的样本结果 test_size:样本占比,如果是整数的话就是样本的数量 random_state:是随机数的种子。 随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。 stratify是为了保持split前类的分布。比如有100个数据,80个属于A类,20个属于B类。如果train_test_split(… test_size=0.25, stratify = y_all), 那么split之后数据如下:  training: 75个数据,其中60个属于A类,15个属于B类。  testing: 25个数据,其中20个属于A类,5个属于B类。  用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例(80:20)。通常在这种类分布不平衡的情况下会用到stratify。 将stratify=X就是按照X中的比例分配  将stratify=y就是按照y中的比例分配  原文链接:https://blog.csdn.net/samsam2013/article/details/80702582

MyUniUni第三期《你以为的”匿名“其实不是你以为的”匿名“》

02. August 2019 技术交流会 0
1.元数据 案例: 2010年12月10日,黑客组织匿名者发布了一条消息,解释了他们发起最近一次代号为”复仇行动”的攻击的大致动机(Prefect,2010)。由于被那些放弃支持维基解密网站的公司所激怒,匿名者组织号召要通过对涉及的一些机构进行分布式拒绝服务攻击(DDoS)以实现报复。这个稿子上既没有签名,也没有标注消息来源,只是以PDF(Portable Document Format,便携式文档格式)文件的形式被发布出来。 ps:该PDF见公司共享盘/技术部资料 演示从pdf文件中获取作者信息 演示从一张随手拍的照片中获取元数据 获取文件元数据,http://metadata.wizardcode.cn/,这个是我自己写的网站,定时开放。 2.翻墙代理 不安全的代理: 安全代理: 我们现在使用的是第四种代理,深度伪装,相比其他安全一些。目前我还有一种加强版代理未投入使用,流量转向国际知名CDN,比第四代更安全些。 接下来演示下内网如何配置VPN,客户遇到问题时,每人都可快速搞定。 VPN原理复杂点,找一期分享会专门介绍。 最安全的使用方法:合理的科学上网,获取知识,搜索信息等。不浏览,不传播,不发表政治敏感性话题,最为安全,其实也是国家默许的。 否者:即时使用最牛逼的vpn+tor+自定义多层流量中转和代理,找到你只是时间问题。 3. ”天眼“追踪器 1. 网卡MAC地址 MAC(Media Access Control,介质访问控制)地址,也叫硬件地址,长度是48比特(6字节),由16进制的数字组成,分为前24位和后24位: 前24位叫做组织唯一标志符(Organizationally Unique Identifier,即OUI),是由IEEE的注册管理机构给不同厂家分配的代码,区分了不同的厂家。 后24位是由厂家自己分配的,称为扩展标识符。同一个厂家生产的网卡中MAC地址后24位是不同的。 根据网卡mac地址的唯一性,可以定位到某一个人。 唯一性的话,山寨版网卡除外。 2.唯一性IP地址 IP地址虽不固定,但每个IP均是世界唯一的,每个IP分配记录运营商都有记录,再结合MAC地址,可以精确到设备。 3.设备唯一ID 每个设备也都有设备ID,服务商可以把购买记录和设备ID结合到一起。 4.浏览记录 搜索引擎,支付宝等等都会保留搜索记录,历史记录等,再结合IP地址,MAC地址,设备唯一ID,多维定位,“天眼”现世。 案例: 杭州保姆纵火案,其当天的搜索记录。 朋友圈,网站贴吧发个违规贴,当夜可能就找到你。 美片电影“天眼”,可以调取世界上任何一个摄像头,恐怖如斯,其实也并非不可能。 理想的安全上网环境: 发射一颗卫星,在某个废弃的防空洞或无人峡谷中,使用开源的操作系统,干掉摄像头,声卡,带白手套,修改网卡MAC地址,使用tor+VPN多重代理,然后销毁一切设备,通过秘密隧道返回,并伪造各种在场证明,也许可以哦。

MyUniUni第二期《破解主流会员限制》

29. July 2019 技术交流会 0
破解主流视频网站会员限制 1.Google商店:https://chrome.google.com/webstore/category/extensions?hl=en-US 2.搜索:tampermonkey 3.下载该插件 4.打开网址安装两个视频插件:https://greasyfork.org/zh-CN/scripts 5.插件具体使用介绍 工作原理: 1.文件流合成 2.全网搜索对应视频 3.两个插件互补使用,若解析失败换线即可。 百度网盘会员限制 1.百度网盘会员与非会员的现在速度天壤之别,用此神器,立马跑满带宽 地址:https://pandownload.com/ 2.有些视频迅雷因版权问题无法下载,利用云盘离线下载功能 珍藏版,见公司共享盘 迅雷会员限制 1.文件版权问题无法下载 2.会员速度限制,无法下载。(可转百度云盘) 3.迅雷5珍藏版,以上限制皆无,跑满带宽

MyUniUni第一期《局域网安全》

29. July 2019 技术交流会 0
1.软件地址:https://github.com/derv82/wifite 2.使用说明:https://tools.kali.org/wireless-attacks/wifite 3.爆破字典:https://weakpass.com/download 4.爆破加强版软件:https://github.com/wizardcode/hashcat PS:破解速度https://www.zhihu.com/question/21558046 terminal: wifite -h wifite -wpa -wpat 600 wpaclean handshake_myuniuni.cap han* aircrack -w word.txt handshake_myuniuni.cap 攻击过程: 第一步:发送deauth数据包,迫使已发现的客户端和路由器断开重连。 第二步:捕捉重连过程中的握手包,保存到本地。 第三步:爆破捕捉到的握手包 wifi加密算法: wep,wpa,wpa2,wps 结论:不要使用弱口令,密码长度最好在12位以上且无规律,10位数以下的密码基本很危险。

记使用laravel-excel问题及文件转码

25. July 2019 Laravel 0
laravel 5.5 laravel-excel 3.1 php 7.2 导入Excel格式文件的数据没问题,but,遇到计算列后就有问题了。 抛出异常,PhpOffice PhpSpreadsheet Calculation  Exception array_keys() expects parameter 1 to be array, float given, controller: $data = Excel::toCollection(new UsersImport(), public_path(\"test1.xls\")); import: class UsersImport implements ToCollection,WithCalculatedFormulas 搜索了一些资料尚未解决,目前还未研究PhpSpreadsheet源码,项目时间不允许。那么,换个思路,使用csv格式文件,word和wps都支持。 然后,我又遇到编码问题了,laravel-excel默认编码为UTF-8,Office Excel另存为CSV文件的编码也是UTF-8,这没问题。然而WPS的存储CSV默认的编码为GB2312,laravel-excel目前没发现可以设置编码自动选择或指定多个编码,情况就有点尴尬了,只能在控制器中修改文件编码了,如下: private function getFile($request) { $file = $request->file(\"file_name\"); $content = file_get_contents($file); $content = $this->str_to_utf8($content); file_put_contents($file, $content); return $file; } private ...

MAC系统通过SMB链接window共享盘

12. July 2019 笔记 0
在公司同事之间传输文件太复杂,尤其是大文件和多人共享,然后就弄了个局域网内共享盘,每人电脑都挂上,使用起来非常方便。开始的时候window,linux链接都正常,唯独mac链接不上,总结以下几点: 1.调整好服务器和mac的时间,校对一致2.window和linux通过smb链接无需密码,使用everyone用户组就ok,mac需要使用密码链接,新建一个带密码的本地用户,赋予权限即可。3.检查window防火墙,允许远程链接和网络共享,可关闭防火墙后测试,逐个排查问题。参考网址:https://www.online-tech-tips.com/mac-os-x/connect-to-shared-folder-on-windows-10-from-mac-os-x/