AI/大数据

DataDuck是如何完成的-从数据到产品

大数据之Hadoop从入门到放弃之HDFS

前言：一个关于"大"的故事还记得你第一次听到"大数据"这个词是什么时候吗？反正我记得很清楚——那是在一次技术分享会上，一位架构师大佬在台上慷慨激昂地说："我们的数据量已经达到了PB级别，传统数据库已经无法满足需求了，我们需要引入Hadoop…

MQ浅析-对比rabbitmq、rocketmq和kafka

大数据技术路线概述

前言：什么是大数据？先说什么不是作为互联网从业者，"大数据"这个词你肯定听得耳朵都起茧了。面试官问、领导讲、产品经理吹、销售拿来忽悠客户...但是，到底什么是大数据？在回答这个问题之前，让我先说说什么不是大数据：简单说：不是数据多就叫大数据…

Spark从入门到放弃

写在前面自从上海疫情被封在家2个月之后，缺吃少用，天天发牢骚骂娘，我焦虑的头发又少了不少。不过因祸得福，时间是比以前多了不少，这不又研究起了心心念念的Spark。Spark？不就是火花嘛，当初我可是要一周从入门到精通的。一个月后的今天，我坐…

Scrapy从入门到放弃

什么是爬虫？爬虫是一种信息采集的技术，像google百度等搜索引擎就有着无数的爬虫基于各种规则来获取网络内容并处理，在一个新的内容发布后，很快就会被搜索引擎侦测，获取相关内容放到结果中。在当前的环境下，大数据成为企业最重要的资产之一，对于大…

pandas从入门到放弃

什么是Pandas在Python的江湖中，如果说NumPy是内功心法，那Pandas就是降龙十八掌——简单粗暴，一招制敌。不管你是做数据分析的表哥表姐，还是搞深度学习的炼丹师，Pandas都是你绑定的新手装备。它底层用C实现（所以别问为什么…

从爬虫到数据产品

前言每个数据产品的背后，都有一个不为人知的爬虫在默默付出。这篇文章将带你走完数据的一生：从互联网的犄角旮旯把它抓回来，洗干净，存起来，分析它，最后包装成一个能赚钱（或者能交差）的数据产品。完整链路：爬虫采集 → 数据清洗 → 数据存储 → …