AI/大数据

解放双手!AutoJs可以为我们干什么?

(注意，该github项目代码已被作者删除，官网也无法打开)Auto.js是啥Auto.js 是一款基于JavaScript 编写的 Android 自动化工具，可以用于模拟用户操作，比如点击、滑动、输入文本等等，还可以获取屏幕截图、录制视…

自动化入库链路实战

前言：一个关于"手动挡"的噩梦我曾经带过一个实习生，人很聪明，就是有个"坏习惯"——喜欢手动跑任务。每天早上8点，他准时打开电脑，开始他的"日常仪式"：有一天，他请假了。那天早上，老板打开报表系统，发现数据还是昨天的。然后，我的电话响了..…

AI美女养成记

昨天用chilloutmixNiPrunedFp32.safetensors模型配合koreanDollLikenessv10.safetensors这个lora模型跑了一堆图，效果惊人sd原模型-dreamlike写实模型-混合的chil…

DataX / Flink CDC 实战对比

前言：两个流派的战争在数据同步的江湖里，有两大门派：批量派：讲究稳扎稳打，每天定时把数据从A搬到B，T+1看报表，岁月静好。代表工具：Sqoop（已退休）、DataX（当红炸子鸡）。实时派：追求极致速度，数据产生的那一刻就要同步过去，延迟超…

Sqoop 快速了解 & 为什么被淘汰

前言：一个关于"搬砖"的故事在大数据的世界里，有一个永恒的问题："MySQL里有10亿条数据，怎么弄到Hadoop里？"如果你是个愣头青，可能会说："写个Python脚本，一条一条读出来，再一条一条写进去呗！"然后你就会发现——跑了三天三夜…

Hadoop从入门到放弃番外篇之小文件优化

继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…

Hive从入门到放弃

前言：为什么要学Hive还记得第一次接触大数据的场景吗？领导说："我们有10TB的日志数据需要分析。"你信心满满地打开MySQL：然后...数据库就崩了。领导又说："用Hadoop吧。"你打开MapReduce文档，看到要写几百行Java代…

大数据之Hadoop从入门到放弃之hadoop的小伙伴们

前言：一个关于"抢资源"的故事在讲YARN之前，让我先讲一个真实的故事。那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的…

大数据之Hadoop从入门到放弃之MapReduce

时间一晃而过，距离第一篇的大数据之Hadoop从入门到放弃（一）已经半年了，现在就连疫情也放开了，笔者刚从高烧中恢复，发烧的过程中害怕自己会不会挂掉，这不想起了未竟的学习事业，惊坐起继续写文。前言：从"存得下"到"算得动"上一篇我们认识了H…

谁会捧起大力神杯？

本文属于《从入门到放弃》系列，但这次我们不放弃，因为结果已经出来了，预测准了那叫"科学"，预测错了那叫"模型还需优化"。前言：一个拖延症患者的自白本来想着要写一篇关于世界杯的文章，用机器学习预测冠军，多酷炫啊！然后...我拖了。小组赛的时候…

chatgpt浅析

作为一款人工智能的语言模型，ChatGPT可以为我们做许多事情，从简单的任务，如回答问题，到复杂的任务，如自然语言生成和对话管理。在这篇文章中，我将详细介绍ChatGPT能为我们提供的几个方面的服务。功能介绍回答问题ChatGPT是一款非常…

hbase从入门到放弃

Kafka从入门到放弃

写在前面作为一个在消息队列坑里摸爬滚打多年的架构师，我可以负责任地告诉你：Kafka 是那种"学的时候觉得简单，用的时候想砸电脑"的技术。第一次接触 Kafka 是在 2018 年，当时领导说："小伙子，我们要上实时数据管道，你去调研一下 …

用户画像系统设计

通用爬虫系统设计

大部分公司都有收集数据的需求