MyUniUni 第七期《Google Translate》

26. September 2019 技术交流会 0
提取网页版Google Translate的接口来翻译,性能和稳定性较差,但免费。 若资金允许或条件允许,请使用官方API https://cloud.google.com/translate/docs/ Python库安装: pip install googletrans 库地址:https://github.com/ssut/py-googletrans 本次演示翻译Excel指定列内容,并把翻译结果写入到指定列中,适用平时的翻译工作,快速高效,有翻译任务的小伙伴必备。 读取Excel需要安装Pandas,Numpy,演示环境使用Anaconda,这些基本库均已安装。 本次教程较为简单,面向python初学者,公司具有翻译任务的人员,领略Python的强大,一起学Python。 接下来看代码: from googletrans import Translator import pandas as pd  # 方法一:根据行循环,逐行翻译 def translate():     for i in range(df.shape[0]):         # 循环每一行,逐行翻译         translate_result = translator.translate(df.loc[i, “name”], dest=’zh-CN’).text         # 保存翻译结果         df.loc[i, “name_cn”] = translate_result     # 保存Excel文件     df.to_excel(“colleges_major_complete.xlsx”, index=False) # 方法二:读取列要翻译的列,批量翻译 def translate_batch():     # 获取要翻译的列     names = list(df[‘name’].values) ...

MyUniUni 第六期《YouTube视频下载》

26. September 2019 技术交流会 0
首先来讨论一个哲学问题: 你若想得到一个东西,就必须先失去一个东西。 什么都会就等于什么都不会,什么都懂就等于什么都不懂。 老子学说精髓在于,物极必反,道法自然;千年文化传承盛极必衰,否极泰来。万物法则在于循环,开始的开始就是结束。决策树请了解下!!! 纳尼,这和编程有什么关系? 万物互联,编程亦有编程之道,编程之禅。 python,php,java,C#,C++,C,Go,JS等等都是工具,软件和编程语言其实没多大关系,条条大路通罗马,每门语言都有其优势,取之长补之短的微架构才是王道。 目前已知最好用的YouTube视频下载库有两个 第一个:https://github.com/soimort/you-get 第二个:https://github.com/nficano/pytube you-get目前一直在更新,支持的网站多,功能强大,是一种终端下载软件,功能粒度较大。 pytube是专门下载YouTube视频的python库,功能粒度小,可下载播放列表,视频,字幕,缩略图等。但目前已停止更新,接下来主角登场,我在其基础上进行修复和扩展了部分功能,目前已知最简单,最好用的库。 start coding: 第一步: git clone https://github.com/wizardcode/pytube.git 第二步: 使用IDE打开下载好的库,创建test.py 第三步:开始下载,见源码 from pytube import YouTube # 视频请求 yt = YouTube(url=“https://www.youtube.com/watch?v=0TP9n8H29Hs&list=PLhN7ssqfKxgqKGGIrscA7VL1giumwDyeg&index=31”,             proxies={“https”: “http://192.168.0.117:1080”}) # 下载mp4格式视频 yt.streams.filter(progressive=True, file_extension=‘mp4’).first().download(output_path=“./video”) # 下载视频封面 yt.down_thumbnail_url(output_path=“./video”) # 下载两种字幕文件 subtitle = yt.captions.get_by_language_code(“en”) title = yt.title if subtitle is not None:    subtitle.download_subtitle(output_path=“./video”, filename=title, srt_subtitle=True, ...

MyUniUni 第五期《换脸大法》

28. August 2019 技术交流会 0
前言: 这门技术怎么说呢,从降世后就饱受争议,据传早期用于色情行业,虽说“技术无罪”,但并不代表其开发者,使用者无原罪。 该舆论风暴类似于十几年的photoshop风波,一度使人陷于真假难辨、精神炸弹的恐慌之中,但未阻止其发展,社会发展到一定程度的产物。 它是一把双刃剑,用于阴暗处对一个人的精神摧残不亚于原子弹破坏力,用于阳光处便可提升经济,恢复珍贵资料,大量节省人力成本,软实力方面不亚于原子弹对一个国家的重要性。 掌握其技术原理,不作恶,是对自己,对身边人的一种保护。 提示:眼见不一定为实,耳听可能为虚。 软件:https://github.com/iperov/DeepFaceLab 说明:世界上最牛逼deepfakes也使用deepfacelab开源项目,功能强大,燃烧GPU,由于我电脑硬件和技术问题,合成的视频会有瑕疵,无法完全发挥其强大之处。 八大步骤: 第一步:clear workspace.bat (清空项目) 第二步:extract images from video data_src.bat(视频转图片) 第三步:extract images from video data_dst FULL FPS (视频转图片) 第四步:data_src extract faces S3FD all GPU.bat (提取脸部) data_src check result.bat (图片检查) data_src sort by * (图片排序筛选) 第五步:data_dst extract faces S3FD all GPU.bat(提取脸部) data_dst check results.bat(图片检查) data_dst sort by * (图片排序筛选) ...

MyUniUni第四期《请求的生命周期》

09. August 2019 技术交流会 0
了解网站结构以及请求生命周期,是编写爬虫,黑网站,翻墙,快速排查问题,个人建站等高阶操作的基础,后期会单独分享对应的主题,随着交流会的深入,技术性越来越强,大家可以根据兴趣和时间安排有选择的参加哈。 其实交流会没那么正式,也不需要非得分享技术,我把它看成了一个互动平台,总结分享下最近的工作经验及心得,整理汇总下遇到的问题,讨论下自己关注的热点动态,练习练习讲课能力和心理素质,接触了解下其他领域,梳理自己的知识架构,激励鞭策自己的一种方式(比如这篇,我连夜加班整理的)。 上图为七层模型和4层模型对应关系以及各层对应的协议,我们主要介绍的应用层的http协议 用户输入网址,比如 http://www.myuniuni.com:80 http 默认端口号80 https 默认端口号 443 ping www.myuniuni.com 最常用的网络连通测试工具 traceroute www.myuniuni.com 路由追踪 DNS解析,把网址对应成IP地址 本地DNS,若有缓存,优先从缓存中取,演示本地hosts文件。 通过ping查看生效的DNS DNS服务器配置如下 从dns服务器找到域名对应的IP地址,然后把请求转发到目标服务器,解析如下: 服务器配置 开放80端口或443端口 端口扫描工具:https://tool.lu/portscan/ Web服务器(nginx,apache等)监听响应的端口,以nginx为例 若为纯静态文件,如html,css,js,直接返回文件内容。若为html文件,即使包含css引入链接,也不返回css内容,返回到前端浏览器解析后再单独请求文件。随便找个网页举个例子。 若为PHP文件,则转发给php-fpm解析,通过socks通信 Nginx配置文件如下: 多个域名可以解析到同一目录,大家应该都见过吧。 server {     listen 80;     server_name product.myuniuni.com;     index index.html index.htm index.php     access_log /home/wwwlogs/access.log;     root  /muu/public;     charset utf-8;     location / {         try_files $uri $uri/ /index.php?$query_string;     }     error_page 404 ...

MyUniUni第三期《你以为的”匿名“其实不是你以为的”匿名“》

02. August 2019 技术交流会 0
1.元数据 案例: 2010年12月10日,黑客组织匿名者发布了一条消息,解释了他们发起最近一次代号为”复仇行动”的攻击的大致动机(Prefect,2010)。由于被那些放弃支持维基解密网站的公司所激怒,匿名者组织号召要通过对涉及的一些机构进行分布式拒绝服务攻击(DDoS)以实现报复。这个稿子上既没有签名,也没有标注消息来源,只是以PDF(Portable Document Format,便携式文档格式)文件的形式被发布出来。 ps:该PDF见公司共享盘/技术部资料 演示从pdf文件中获取作者信息 演示从一张随手拍的照片中获取元数据 获取文件元数据,http://metadata.wizardcode.cn/,这个是我自己写的网站,定时开放。 2.翻墙代理 不安全的代理: 安全代理: 我们现在使用的是第四种代理,深度伪装,相比其他安全一些。目前我还有一种加强版代理未投入使用,流量转向国际知名CDN,比第四代更安全些。 接下来演示下内网如何配置VPN,客户遇到问题时,每人都可快速搞定。 VPN原理复杂点,找一期分享会专门介绍。 最安全的使用方法:合理的科学上网,获取知识,搜索信息等。不浏览,不传播,不发表政治敏感性话题,最为安全,其实也是国家默许的。 否者:即时使用最牛逼的vpn+tor+自定义多层流量中转和代理,找到你只是时间问题。 3. ”天眼“追踪器 1. 网卡MAC地址 MAC(Media Access Control,介质访问控制)地址,也叫硬件地址,长度是48比特(6字节),由16进制的数字组成,分为前24位和后24位: 前24位叫做组织唯一标志符(Organizationally Unique Identifier,即OUI),是由IEEE的注册管理机构给不同厂家分配的代码,区分了不同的厂家。 后24位是由厂家自己分配的,称为扩展标识符。同一个厂家生产的网卡中MAC地址后24位是不同的。 根据网卡mac地址的唯一性,可以定位到某一个人。 唯一性的话,山寨版网卡除外。 2.唯一性IP地址 IP地址虽不固定,但每个IP均是世界唯一的,每个IP分配记录运营商都有记录,再结合MAC地址,可以精确到设备。 3.设备唯一ID 每个设备也都有设备ID,服务商可以把购买记录和设备ID结合到一起。 4.浏览记录 搜索引擎,支付宝等等都会保留搜索记录,历史记录等,再结合IP地址,MAC地址,设备唯一ID,多维定位,“天眼”现世。 案例: 杭州保姆纵火案,其当天的搜索记录。 朋友圈,网站贴吧发个违规贴,当夜可能就找到你。 美片电影“天眼”,可以调取世界上任何一个摄像头,恐怖如斯,其实也并非不可能。 理想的安全上网环境: 发射一颗卫星,在某个废弃的防空洞或无人峡谷中,使用开源的操作系统,干掉摄像头,声卡,带白手套,修改网卡MAC地址,使用tor+VPN多重代理,然后销毁一切设备,通过秘密隧道返回,并伪造各种在场证明,也许可以哦。

MyUniUni第二期《破解主流会员限制》

29. July 2019 技术交流会 0
破解主流视频网站会员限制 1.Google商店:https://chrome.google.com/webstore/category/extensions?hl=en-US 2.搜索:tampermonkey 3.下载该插件 4.打开网址安装两个视频插件:https://greasyfork.org/zh-CN/scripts 5.插件具体使用介绍 工作原理: 1.文件流合成 2.全网搜索对应视频 3.两个插件互补使用,若解析失败换线即可。 百度网盘会员限制 1.百度网盘会员与非会员的现在速度天壤之别,用此神器,立马跑满带宽 地址:https://pandownload.com/ 2.有些视频迅雷因版权问题无法下载,利用云盘离线下载功能 珍藏版,见公司共享盘 迅雷会员限制 1.文件版权问题无法下载 2.会员速度限制,无法下载。(可转百度云盘) 3.迅雷5珍藏版,以上限制皆无,跑满带宽

MyUniUni第一期《局域网安全》

29. July 2019 技术交流会 0
1.软件地址:https://github.com/derv82/wifite 2.使用说明:https://tools.kali.org/wireless-attacks/wifite 3.爆破字典:https://weakpass.com/download 4.爆破加强版软件:https://github.com/wizardcode/hashcat PS:破解速度https://www.zhihu.com/question/21558046 terminal: wifite -h wifite -wpa -wpat 600 wpaclean handshake_myuniuni.cap han* aircrack -w word.txt handshake_myuniuni.cap 攻击过程: 第一步:发送deauth数据包,迫使已发现的客户端和路由器断开重连。 第二步:捕捉重连过程中的握手包,保存到本地。 第三步:爆破捕捉到的握手包 wifi加密算法: wep,wpa,wpa2,wps 结论:不要使用弱口令,密码长度最好在12位以上且无规律,10位数以下的密码基本很危险。