从0开始编写阿法狗

发现这玩意对我太难了，我后面一段时间再来搞他。参考资料Mastering the game of Go without human knowledgeAlphaGOZero-python-tensorflow

Spark从入门到放弃④之Structured Streaming

前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…

手机任务执行帮手-'机辅'

Spark从入门到放弃③之内核原理与调优

前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…

机器学习(2)–k近邻算法

什么是kNN所谓近朱者赤近墨者黑，讲的是与什么样的人接近就会变成什么人，而本篇我们要介绍的k近邻(K-Nearest Neighbors, KNN)算法也是这样的原理，取k个距离最近的样本判断当前样本属于哪类值。knn的流程计算距离的方法k…

Auto.js源代码阅读心得

本文是我对 AutoX (AutoJs 的开源分支) 项目的深度技术分析，从架构师的角度全面剖析这个 Android 自动化框架的设计与实现。一、项目基础信息1.1 基本信息项目属性值项目名称AutoX (AutoJs 社区分支)包名版本号…

Spark从入门到放弃②之SparkSQL深度实战

前言：SQL，永远的神在大数据的世界里，有一个永恒的真理：会写SQL的人，永远不会失业。为什么？因为无论技术怎么变，老板们永远只会说一句话："给我拉一下昨天的GMV数据。"他不会问你用的是RDD还是DataFrame，他只关心数据对不对、快…

解放双手!AutoJs可以为我们干什么?

(注意，该github项目代码已被作者删除，官网也无法打开)Auto.js是啥Auto.js 是一款基于JavaScript 编写的 Android 自动化工具，可以用于模拟用户操作，比如点击、滑动、输入文本等等，还可以获取屏幕截图、录制视…

自动化入库链路实战

前言：一个关于"手动挡"的噩梦我曾经带过一个实习生，人很聪明，就是有个"坏习惯"——喜欢手动跑任务。每天早上8点，他准时打开电脑，开始他的"日常仪式"：有一天，他请假了。那天早上，老板打开报表系统，发现数据还是昨天的。然后，我的电话响了..…

Copilot从入门到放弃

在十几年前，我读过一本神作《黑客与画家》，上面有一章的内容我记忆犹新，"机器自动写代码?不可能!"，可是来到当下，技术进步的车轮滚滚向前，机器学习技术日新月异，自动写代码正在逐渐成为现实，而其中佼佼者就是巨硬和OpenAi推出的Copilo…

AI美女养成记

昨天用chilloutmixNiPrunedFp32.safetensors模型配合koreanDollLikenessv10.safetensors这个lora模型跑了一堆图，效果惊人sd原模型-dreamlike写实模型-混合的chil…

DataX / Flink CDC 实战对比

前言：两个流派的战争在数据同步的江湖里，有两大门派：批量派：讲究稳扎稳打，每天定时把数据从A搬到B，T+1看报表，岁月静好。代表工具：Sqoop（已退休）、DataX（当红炸子鸡）。实时派：追求极致速度，数据产生的那一刻就要同步过去，延迟超…

Sqoop 快速了解 & 为什么被淘汰

前言：一个关于"搬砖"的故事在大数据的世界里，有一个永恒的问题："MySQL里有10亿条数据，怎么弄到Hadoop里？"如果你是个愣头青，可能会说："写个Python脚本，一条一条读出来，再一条一条写进去呗！"然后你就会发现——跑了三天三夜…

Hadoop从入门到放弃番外篇之小文件优化

继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…

Go-zero最佳实践：从入门到放弃（然后又捡起来）

前言如果说Go语言是云原生时代的"瑞士军刀"，那么go-zero就是这把军刀上的"一键开刃"按钮。作为一个在微服务战场上摸爬滚打多年的老兵，我可以负责任地说：go-zero是我见过的最"懂事"的微服务框架——它知道程序员不想写重复代码，它知…