Linux操作系统:网络编程
Linux网络编程是在Linux操作系统上进行的,允许开发人员编写能够进行网络通信的应用程序,如文件传输服务(FTP)、Web服务器、即时通讯工具等;这种编程广泛利用了Linux提供的网络接口和协议栈,使得应用程序可以和不同主机、不同程序进行信息交互,Linux网络编程主要包括使用套接字(Sockets)、系统调用、各种网络协议(著名的TCP/IP协议、UDP协议)来处理各种网络数据。
Socket编程
Socket简介
Socket也是进程间通信方式之一,1982年,Berkeley Software
Distributions操作系统引入了socket作为本地进程间的通信接口,1986年,其又扩展了socket使其能够支持UNIX下的TCP/IP通信;socket是一个编程接口,返回一个特殊的文件描述符,使得网络通信方法就像操作本地文件(OPEN--WRITE/READ--CLOSE)一样简便,其可以兼容不同的网络协议,包括TCP/IP、UDP协议等著名协议。
Socket类型
流式套接字(SOCK_STREAM):提供面向连接、可靠的数据传输服务,数据无差错、无重复发 ...
【Openpcdet】部署之二:训练VOD数据集
在上一篇文章中,我们在服务器上部署了Openpcdet并完成了KITTI数据集的训练、可视化操作,这篇文章记录了在同样环境下更换数据集过程。
概述
KITTI点云数据是一个四维数据(空间坐标、反射强度),而VOD点云是一个七维数据(空间坐标、反射界面RCS、径向速度、径向补偿速度、时间戳)。我们的起始目标是去除VOD的标定文件,使用纯点云进行训练。但是这个目标没有达成,最大的原因是对于具体空间坐标转换不明确,因此不能代替标定文件。我在kitti上做了尝试,理由是有一款开源软件labelcloud给出了代码,当用户选择kitti格式标注时,它会自动给出这样的转换关系。我把代码应用在VOD数据集上,然而虽然得到了最佳的数据库表现,但是还是不足以用于训练,因为无法得到有效的梯度。另一方面应该说的是,Openpcdet的模块化完成得很好,另一方面是开源团队同样采取了Openpcdet作为他们的框架网络,尽管更改了数据集,只需要对若干个配置文件进行修改即可,而无需过多的修改训练、测试、可视化等demo。以下介绍了基于pointpillars框架训练毫米波雷达数据集的过程。值得注意的是,该文章 ...
关于魔法的咒语
仅作个人学习与思考记录。
7.19更新
无法访问OpenAI等网站
Cloudflare访问一些网站,如OpenAI的gpt等,会发生频繁跳验证,阻断无法访问等情况,这是因为在国外Cloudflare是一个很大的网络安全厂商,许多大型网站本身就使用了它的安全服务,不仅能够识别恶意的IP,还能阻断自身的IP。所以不是所有的公开官方IP都能够访问,当然如果是非CF提供服务的网站完全没有问题,这也是这个项目最大的缺点,这里将项目的proxyIP设置为能够解锁安全验证的IP,能够解决该问题,如146.70.175.x段(已失效)。
另外,不建议使用Math.random()来随机选择IP,因为只要列表有多个域名解析的IP失效,就会造成丢包情况,表现在卡顿,经常需要刷新,很影响体验,建议固定一个proxyIP即可。
自定义反向代理IP
从网络解决方案厂商那里可以获取特定城市的CF的公开入网IP,以荷兰阿姆斯特丹城市为例子筛选:
https://www.zoomeye.hk/:
"country:"NL"+city:"Amsterdam"+app:"Cloudflare"+po ...
【OpenPCDet】部署与【Open3d】可视化
在此前一篇文章【PointPillars】环境部署全纪实中介绍了原始Pointpillars作者部署模型的方法,由于仓库代码较老软件包版本适配上带来了很多麻烦。更糟糕的是,作者提供了KITTIVIEW可视化方法,利用web进行可视化,然而web集成度高,数据替换难,为后续更换数据带来很多不便。因此今天尝试使用Openpcdet部署pointpillars并实现数据的可视化。
基于KITTI集OpenPCDet框架Pointpillars训练
版本信息
成功验证版本:
显卡型号:3080ti
cuda:11.3
python:3.8
pytorch:1.12.0
kornia:0.6.8
open3d:0.18.0(有说0.11.0好的,但是实际上过旧的包scikit-learn包报错会出问题)
numpy:1.24.x
Deploy
Cuda安装
见之前的文章,不同版本同理,wget+sh安装,不赘述。
Pytorch环境搭建
新建环境 1conda create -n opcnet python==3.8 激活环境 12source activateco ...
Linux操作系统:进程与线程
Linux进程
进程和程序的区别
程序:指的是编译好的可执行文件,存放在磁盘上指令和数据的有序集合,程序是静态的,没有任何执行的概念,例如编译源文件之后的a.out文件、exe文件等。
进程:一个独立可调度的任务,执行一个程序所分配资源的总称,进程是程序的一次执行过程,进程是动态的,包括创建、调度、执行和消亡。
程序包含正文段、用户数据段,而进程除了包含这两个,还包括系统数据段,例如程序计数器(或称指令计数器,PC)存储下一条指令的地址、CPU的所有寄存器值(用于控制和计算等)、存储临时数据的进程堆栈等。
进程的结构
进程的标识:进程号(Process Identity
Number,PID),例如我们在Linux使用不挂起nohup操作,会返回一个进程号,能够唯一地标识一个进程让我们找到。
操作系统记录了进程的PID,还会标识进程所属用户的UID,记录该进程分配的资源(内存、IO设备、文件)、进程的运行情况(CPU、磁盘、网络使用)等,这些都被记录在进程控制块(Process
Control Block,PCB)中。
Linux进程包含三个段(这是给进程自身使用的 ...
数据结构算法题目(二):回溯、贪心、动态规划与图论
以下所有内容编排按照Carl开源的算法攻略进行,感谢博主悉心的内容挑选和顺序编排。编程语言为C++;
回溯算法篇
回溯算法是一种经典的算法,旨在让计算机穷尽各种可能,广泛用于处理组合问题、子集问题、排列问题等等,回溯算法可以被设计得很精妙,开始时难以理解是不可避免的,关键还是从基本题目入手,逐渐体会其中原理,Carl以及其他算法博客已经把规律总结很好,本篇文章只是记录而并非教程;虽然回溯算法很巧妙,但是代码写法一般比较固化,回溯算法普遍使用的算法模板如下:
12345678910111213141516travel(){ if(//每次递归结束的条件) //深度控制,不可能无限向下递归 ..... return; //递归套循环是很常见的事情,递归控制搜索的深度,循环控制单次处理时的广度 for(){ //决策 //标记 ...... //travel //取消决策 //取消标记 ...... } ......}
有人把递 ...
C++ Qt入门
1. Qt基本文件组成
1. .pro项目文件
Qt版本不同,内容略有差异。如5.14版本,记录了模块、编译器版本、编译文件、输出路径等信息。
12345678910111213141516171819202122232425262728293031#4.x版本的Qt的gui与widgets是合并的,在5.x中分开了,模块化编程要载入。QT += core guigreaterThan(QT_MAJOR_VERSION, 4): QT += widgets#编译器版本CONFIG += c++11# The following define makes your compiler emit warnings if you use# any Qt feature that has been marked deprecated (the exact warnings# depend on your compiler). Please consult the documentation of the# deprecated API in order to know how ...
IP核之加法器实验
目的:使用加法器,将两个输入数据相加输出,并且在matlab中验证计算误差。
数据的获取
由于人工设定数据量小,而大批量数据设定麻烦,因此要提前做处理。思路是利用两块RAM来存储起始数据,输入到加法器进行相加。Quartus可以使用mif文件进行RAM的初始化,vivado则可使用coe文件进行初始化。
为了使数据有一定的随机性又不失规律性,我们对正弦波进行采样,以获取位宽为8,位深为1024的数据,实际上这并不是最佳建议,因为位宽为8而位深为1024意味着有很大部分的数据会重叠,但从验证角度而言我们选择忽略这个问题。
12345678910111213141516171819202122232425262728293031323334353637383940#include <stdio.h>#include <math.h>#define PI 3.141592#define depth 1024 /*数据深度,即存储单元的个数*/#define width 8 /*存储单元的宽度*/int main(void){ ...
IP核之MMCM实验
PLL与MMCM
FPGA中,外部时钟域与主时钟域不同步将导致各种各样的复杂情况的出现,因此异步时钟域的处理往往是一个重要的问题,也有各种各样的解决办法,如特定的握手协议、异步FIFO、双时域同步器、锁相环等。锁相环(PLL,Phase-Locked
Loop)是一种能够自动跟踪输入信号相频,从而实现信号同步的电路,主要由鉴相器(PD,Phase
Detector)、环路滤波器(LF,Loop Filter)、压控振荡器(VCO,Voltage
Controlled
Oscillator)组成。模拟鉴相器是一个乘法器,能够将相位差信号转换成控制电压,环路滤波是一个低通滤波器,平滑控制电压的变化,调节VCO的响应速度和稳定性,对能否锁相起到至关重要的作用。一种常用的压控振荡器通过变容二极管实现,根据不同的电压电容容值发生变化,从而实现了不同频率信号的输出,最后锁相环电路输出信号将实现与输入信号同步。
Altera公司IP核采用了PLL,赛灵思公司则采用了混合模式时钟管理(MMCM,Mixed-Mode
Clock
Manager),MMCM中集成了PLL以及其他部件,实现 ...
【PointPillars】环境部署全纪实
PointPillars是一个基于激光雷达点云的3D目标检测模型,兼顾了检测精度和检测效率。由于仓库代码比较老了,部署过程也遇到了不少问题,特此记录。
(由于显卡型号、系统架构等问题该记录不具备普适性,注意甄别)。
云平台环境:Ubuntu 18.04(X64架构)、GTX 1080ti(显存10G以上)、Python
3.7版本(建议anaconda管理)
Cuda Installation
Cuda:验证版本11.1,可以说很多问题都与Cuda版本有关(或Cuda与软件包版本)。
其他版本相关问题如下:
Cuda 12.x:报错numba软件包的IR
version不兼容。
Cuda
10.1:编译SparseConvNet时报错,理由是10.1不兼容C++
17。
Cuda
11.7:训练报错/usr/include/boost/math/constants/constants.hpp:265:1007:
error: template argument 2 is
invalid+一堆boost文件error,实际上与boost(1.65)没关系,更 ...