本文分类：news发布日期：2025/1/12 1:02:22
相关文章
【大数据学习 | Spark-Core】详解Spark的Shuffle阶段
1. shuffle前言
对spark任务划分阶段，遇到宽依赖会断开，所以在stage 与 stage 之间会产生shuffle，大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。
负责shuffle…
建站知识
2025/1/12 0:44:49
7、深入剖析PyTorch nn.Module源码
文章目录 1. 重要类2. add_modules3. Apply(fn)4. register_buffer5. nn.Parametersister_parameters6. 后续测试 1. 重要类
nn.module --> 所有神经网络的父类，自定义神经网络需要继承此类，并且自定义__init__,forward函数即可：
#!/usr…
建站知识
2025/1/9 4:12:37
python网络爬虫进阶
当你掌握了 Python 网络爬虫的基本概念和技术后，可以进一步学习一些高级技术和最佳实践，以提高爬虫的效率、稳定性和安全性。以下是一些进阶的网络爬虫技术和技巧：
1. 异步请求
使用 aiohttp 库
异步请求可以显著提高爬虫的性能࿰…
建站知识
2025/1/12 0:51:02
力扣第 63 题不同路径 II
题目描述
一个机器人位于一个 m n m \times n mn 网格的左上角（起始点在下图中标记为 “Start” ）。 机器人每次只能向下或向右移动一步。机器人试图到达网格的右下角（标记为 “Finish”）。
现在考虑网格中有障碍物。网格中的…
建站知识
2025/1/9 4:26:01
C++ —— 以真我之名 如飞花般绚丽 - 智能指针
目录 1. RAII和智能指针的设计思路
2. C标准库智能指针的使用
2.1 auto_ptr
2.2 unique_ptr
2.3 简单模拟实现auto_ptr和unique_ptr的核心功能
2.4 shared_ptr
2.4.1 make_shared 2.5 weak_ptr
2.6 shared_ptr的缺陷：循环引用问题 3. shared_ptr 和 unique_…
建站知识
2025/1/12 0:45:08
【计算机网络】多路转接之select
系统提供select()来实现多路转接
IO 等 拷贝 -> select()只负责等待，可以一次等待多个fd
select()本身没有数据拷贝的能力，拷贝要read()/write()来完成
一、select的使用
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exc…
建站知识
2025/1/6 10:45:12
