操作系统MIT 6.S081 xv6内核(一):环境搭建与Git使用
最近一直在寻找有关于系统的项目,偶然了解到了这个来自麻省理工大学2020年操作系统课程秋季项目,该项目虽然使用英文传授,但貌似很多前辈着手做了翻译和尝试,项目难度较大,lab设计也比较巧妙,总体评价还是不错的。以下是项目相关记录资料。
翻译课程链接:MIT
6.S081 2020 操作系统 [中英文字幕]
如果喜欢看文字,有大哥将课程所有内容整理出来了: github课程翻译
GitBook版本排版更加舒服:GitBook课程翻译
xv6 Book合实验手册:https://xv6.dgs.zone
环境配置
编程环境
Win10 SSH+虚拟机Ubuntu 18.04
虚拟机安装SSH服务: 1sudo apt-get install openssh-server 启用服务: 1sudo service ssh start 开机自启
1sudo systemctl enable ssh 关闭防火墙 1sudo ufw disable
使用Win终端工具XShell、mabaXterm、Vscode等进行SSH连接即可。
RISCV工具链环境
xv6是 ...
解决Pjax导致Aplayer Js加载失败问题
Pjax是一款常用的插件,主要用于实现跳转不刷新网页实现某些事件的连续,例如本站使用了Pjax实现了音乐tag全站连续播放,其原理是通过不刷新网页的方式获取js资源,从而不会阻断连续事件的发生。但是pjax会引入比较大的问题,某些页面跳转时需要刷新加载的部件无法正常加载,例如评论模块、自建Aplayer等,只能手动刷新,导致每次在Music页选择完音乐,重新进入时无法获取正在播放的列表。
最常用的解决方法是:在每次pjax调用完成后,使用回调函数加载js资源,Aplayer列表确实不会丢失了,但是音乐却只能在当页播放,体验一般,本文提供了一种可行的方案,能够完美兼容Aplayer加载问题与Pjax调用问题,主要骨干是pjax回调函数初始化Aplayer,以及用于辅助记录Aplayer歌曲播放状态的函数。
建立一个Aplayer
Aplayer可以使用列表语法调用,也可以使用js调用,为了方便函数互调,使用了js语法,如:
1234567891011121314151617181920function BuildPlayer(){ globalPlayer ...
CDN加速
建站问题
部署小网站一般使用的是轻量级服务器,带宽和处理速度一般不高,所以加载时延比较高。如果是部署在平台上而非服务器,境外服务器(国外平台就是略为大方)的链接时延也会更高;另一方面,个人网站容易面临暴露ip的问题,尽管通过域名解析,但是信息交互都是本地的明文ip进行的,例如简单ping一下就可以得到,这也是CDN广为使用的原因。
CDN
内容分发网络(Content Delivery
Net,CDN)是一种网站常用的加速服务,利用距离用户最近、时延最低的服务器快速返回资源和响应,提高访问速度。其原理是在域名解析DNS————个人服务器ip之间插入了一个cdn套壳代理,访问目标网站时,DNS会首先将域名解析到cdn中,向cdn服务提供商服务器请求内容,如果这个内容早已以静态资源的方式存储于服务器,那么服务器就会返回该资源,而无需访问原始的低带宽服务器。
另一方面,CDN服务商尤其是大厂,通常有各种策略来提高CDN的返回效率,例如压缩静态资源、选取最优服务器路径、DNS解析路径等,因此能大大访问资源效率、同时也减小了原始服务器流量负载。
部署
采用的服务商是来自多吉云的融合 ...
数据结构算法题目(三):计算技巧方法
记录了一些原理简单、但是具体实现方式要想一想的问题。
手搓函数系列
不是所有设备都有C库函数,会手搓一部分C库是基本素养。
strlen:字符串长度
12345678int strlen(char *str){ int len = 0; while((*str)!='\0'){ //或(*str++)!='\0' len++; str++; } return len;}
strcpy:字符串复制函数
注意细节问题:
需要使用staddr保存起始地址,返回的也是该起始地址;
为什么要返回起始地址:其一是因为上述原因,需要起始地址,防止调用时没有保存起始地址;其二可以和其他函数嵌套使用,例如计算长度strlen(strcpy(dest,src));其三也方便进行错误检查。
1234567char* strcpy(char*dest,char*src){ if(src==NULL||dest==NULL) ...
Linux操作系统:网络编程
Linux网络编程是在Linux操作系统上进行的,允许开发人员编写能够进行网络通信的应用程序,如文件传输服务(FTP)、Web服务器、即时通讯工具等;这种编程广泛利用了Linux提供的网络接口和协议栈,使得应用程序可以和不同主机、不同程序进行信息交互,Linux网络编程主要包括使用套接字(Sockets)、系统调用、各种网络协议(著名的TCP/IP协议、UDP协议)来处理各种网络数据。
Socket编程
Socket简介
Socket也是进程间通信方式之一,1982年,Berkeley Software
Distributions操作系统引入了socket作为本地进程间的通信接口,1986年,其又扩展了socket使其能够支持UNIX下的TCP/IP通信;socket是一个编程接口,返回一个特殊的文件描述符,使得网络通信方法就像操作本地文件(OPEN--WRITE/READ--CLOSE)一样简便,其可以兼容不同的网络协议,包括TCP/IP、UDP协议等著名协议。
Socket类型
流式套接字(SOCK_STREAM):提供面向连接、可靠的数据传输服务,数据无差错、无重复发 ...
【Openpcdet】部署之二:训练VOD数据集
在上一篇文章中,我们在服务器上部署了Openpcdet并完成了KITTI数据集的训练、可视化操作,这篇文章记录了在同样环境下更换数据集过程。
概述
KITTI点云数据是一个四维数据(空间坐标、反射强度),而VOD点云是一个七维数据(空间坐标、反射界面RCS、径向速度、径向补偿速度、时间戳)。我们的起始目标是去除VOD的标定文件,使用纯点云进行训练。但是这个目标没有达成,最大的原因是对于具体空间坐标转换不明确,因此不能代替标定文件。我在kitti上做了尝试,理由是有一款开源软件labelcloud给出了代码,当用户选择kitti格式标注时,它会自动给出这样的转换关系。我把代码应用在VOD数据集上,然而虽然得到了最佳的数据库表现,但是还是不足以用于训练,因为无法得到有效的梯度。另一方面应该说的是,Openpcdet的模块化完成得很好,另一方面是开源团队同样采取了Openpcdet作为他们的框架网络,尽管更改了数据集,只需要对若干个配置文件进行修改即可,而无需过多的修改训练、测试、可视化等demo。以下介绍了基于pointpillars框架训练毫米波雷达数据集的过程。值得注意的是,该文章 ...
关于魔法的咒语
仅作个人学习与思考记录。
7.19更新
无法访问OpenAI等网站
Cloudflare访问一些网站,如OpenAI的gpt等,会发生频繁跳验证,阻断无法访问等情况,这是因为在国外Cloudflare是一个很大的网络安全厂商,许多大型网站本身就使用了它的安全服务,不仅能够识别恶意的IP,还能阻断自身的IP。所以不是所有的公开官方IP都能够访问,当然如果是非CF提供服务的网站完全没有问题,这也是这个项目最大的缺点,这里将项目的proxyIP设置为能够解锁安全验证的IP,能够解决该问题,如146.70.175.x段(已失效)。
另外,不建议使用Math.random()来随机选择IP,因为只要列表有多个域名解析的IP失效,就会造成丢包情况,表现在卡顿,经常需要刷新,很影响体验,建议固定一个proxyIP即可。
自定义反向代理IP
从网络解决方案厂商那里可以获取特定城市的CF的公开入网IP,以荷兰阿姆斯特丹城市为例子筛选:
https://www.zoomeye.hk/:
"country:"NL"+city:"Amsterdam"+app:"Cloudflare"+po ...
【OpenPCDet】部署与【Open3d】可视化
在此前一篇文章【PointPillars】环境部署全纪实中介绍了原始Pointpillars作者部署模型的方法,由于仓库代码较老软件包版本适配上带来了很多麻烦。更糟糕的是,作者提供了KITTIVIEW可视化方法,利用web进行可视化,然而web集成度高,数据替换难,为后续更换数据带来很多不便。因此今天尝试使用Openpcdet部署pointpillars并实现数据的可视化。
基于KITTI集OpenPCDet框架Pointpillars训练
版本信息
成功验证版本:
显卡型号:3080ti
cuda:11.3
python:3.8
pytorch:1.12.0
kornia:0.6.8
open3d:0.18.0(有说0.11.0好的,但是实际上过旧的包scikit-learn包报错会出问题)
numpy:1.24.x
Deploy
Cuda安装
见之前的文章,不同版本同理,wget+sh安装,不赘述。
Pytorch环境搭建
新建环境 1conda create -n opcnet python==3.8 激活环境 12source activateco ...
Linux操作系统:进程与线程
Linux进程
进程和程序的区别
程序:指的是编译好的可执行文件,存放在磁盘上指令和数据的有序集合,程序是静态的,没有任何执行的概念,例如编译源文件之后的a.out文件、exe文件等。
进程:一个独立可调度的任务,执行一个程序所分配资源的总称,进程是程序的一次执行过程,进程是动态的,包括创建、调度、执行和消亡。
程序包含正文段、用户数据段,而进程除了包含这两个,还包括系统数据段,例如程序计数器(或称指令计数器,PC)存储下一条指令的地址、CPU的所有寄存器值(用于控制和计算等)、存储临时数据的进程堆栈等。
进程的结构
进程的标识:进程号(Process Identity
Number,PID),例如我们在Linux使用不挂起nohup操作,会返回一个进程号,能够唯一地标识一个进程让我们找到。
操作系统记录了进程的PID,还会标识进程所属用户的UID,记录该进程分配的资源(内存、IO设备、文件)、进程的运行情况(CPU、磁盘、网络使用)等,这些都被记录在进程控制块(Process
Control Block,PCB)中。
Linux进程包含三个段(这是给进程自身使用的 ...
数据结构算法题目(二):回溯、贪心、动态规划与图论
以下所有内容编排按照Carl开源的算法攻略进行,感谢博主悉心的内容挑选和顺序编排。编程语言为C++;
回溯算法篇
回溯算法是一种经典的算法,旨在让计算机穷尽各种可能,广泛用于处理组合问题、子集问题、排列问题等等,回溯算法可以被设计得很精妙,开始时难以理解是不可避免的,关键还是从基本题目入手,逐渐体会其中原理,Carl以及其他算法博客已经把规律总结很好,本篇文章只是记录而并非教程;虽然回溯算法很巧妙,但是代码写法一般比较固化,回溯算法普遍使用的算法模板如下:
12345678910111213141516travel(){ if(//每次递归结束的条件) //深度控制,不可能无限向下递归 ..... return; //递归套循环是很常见的事情,递归控制搜索的深度,循环控制单次处理时的广度 for(){ //决策 //标记 ...... //travel //取消决策 //取消标记 ...... } ......}
有人把递 ...