Python-scrapy数据爬取
新建一个项目Windows：打开cmd，输入:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
mkdir 文件夹名称cd 到你刚创建的文件夹
直接调用scrapy这个库
scrapy startproject 你要创建文件名称
这样子创建文件夹的工程就好了
创建爬虫cd 到你刚刚新建的目录
创建爬虫的py文件
scrapy genspider 爬虫名称 这个是网址
看到Created spider就代表创建成
ubantu终端启动pycharmcd 到你的pycharm的根目录
启动直接键入即可
./pycharm.sh
你新建完之后直接打开，然后里面有一个hotel_scrapy你键 的文件直接在这里面写代码就可以了
写完代码启动程序要到你创建的文件目录下启动
scrapy crawl 程序名称
数据爬取源码 import pandas as pdimport scrapyimport osclass HotelSpiderSpider(scrapy.Spider): name = &qu ...
Echarts-可视化
可视化代码源码可视化全部代码
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>可视化</title></head><body> <div id="app"> <!-- 数据绑定 --> <h1>{{title}}</h1> <div i ...
Spark数据抽取3
阶段三实施数据抽取数据库要用到的表shtu_student
在工作之前要先保证‘zookeeper’和‘kafka’可以正常启动源码渲染演示
这个顺序是要先启动zookeeper
注意要启动三台机子才可以zkServer.sh start
检查状态确保运行正常 三台机子启动完两个follower和一个leaderzkServer.sh status
启动 zookeeper
启动kafka源码
启动kafka （注意三台机子都要）
只要启动什么都没有就是成功了
最后jps看一下有kafka就可以了kafka-server-start.sh -daemon /usr/local/src/kafka/config/server.properties
这个是停掉kafka的命令kafka-server-stop.sh
创建主题 (可以理解为数据库)源码渲染演示
test是看比赛题目(这些名字到时候比赛会明确给出)
–replication-factor副本
–partition分区第一个kafka-topics.sh --create --zookeeper master:2181 ...
Spark数据抽取2
大数据阶段二的第二部分抽取ds_db01库中product_info的全量数据进入Hive的ods库中表product_info，字段名称、类型不变。根据ods.product_info表中production_date，同时添加动态分区，分区字段为year、month（将production_date拆分为year和month），类型为int。使用 hive cli执行 show partitions ods.product_info命令;首先将product_info这个表修改一下字段源码渲染演示将表明修改为对应的product_info将`db_dbs`.`Untitled`修改为product_info
将char修改为stringchar修改为string
将smallint修改为int
将tinyint修改为int
将decimal修改为double
将enum修改为string
将datetime修改为timestamp
将text修改为string
在结尾添加分区partitioned by (year int,month int) row format delimi ...
Spark数据抽取1
大数据阶段二-1阶段二-任务一的要求源码任务一：数据抽取使用Scala编写spark工程代码，将MySQL的ds_db01库中表customer_inf、order_detail、order_master、product_info的数据增量抽取到Hive的ods库(需自建)中对应表customer_inf、order_detail、order_master、product_info中。1、抽取ds_db01库中customer_inf的增量数据进入Hive的ods库中表customer_inf。根据ods.customer_inf表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用 hive cli执行 show partitions ods.customer_inf命令;2、抽取ds_db01库中product_info的全量数据进入Hive的ods库中表product_info，字段名称、类型不变。根据ods.produ ...
hadoop-服务安装
前置环境准备源码渲染演示所需文件：Mysoft 获取到文件之后 请放入master中的根目录下文件下载好在win下后键入：scp [Mysoft路径] root@[master的ip]:/[按需求替换内容即可]注意：mysort文件是放进" / "目录下去
需要关闭防火墙按顺序输入命令即可firewall-cmd --state 查看防火墙状态systemctl stop firewalld.service 停止firewallsystemctl disable firewalld.service 禁止firewall开机启动需要准备好三台虚拟机，都安装好Centos7系统，并用SSH工具连接好三台虚拟机。推荐使用：Xshell
修改主机名（三台，分别是master，slave1,slave2）源码
需要准备好三台虚拟机，都安装好Centos7系统，并用SSH工具连接好三台虚拟机。master: hostnamectl set-hostname masterslave1: hostnamectl set-hostname slave1slave2: hostnam ...
精灵图(sprite)
html源码css源码<div class="header"></div>.box{ /* 宽度 */ width: 60px; /* 高度 */ height: 60px; /* 设置一个边框 */ outline: 1px solid black; margin: 200px; /* 照片 */ background-image: url(../image/index.webp); /* 设置x轴：-180px，y轴：0px */ background-position: -180px 0px; }
zxvf和xvf的区别源码tar -zxvf 用于解压 .tar.gz 后缀结尾的tar -xvf 用于解压 .tar后缀结尾的
Zoomit快捷方式语法
安装Zoomit地址https://learn.microsoft.com/zh-cn/sysinternals/downloads/zoomit
缩放模式
鼠标向上滚动或向上箭头
鼠标向下滚动或向上箭头源码快捷方式:Ctrl+1
绘制模式(在缩放模式下)和停止模式(在缩放模式下)源码1.绘制模式(在缩放模式下)快捷方式:左键单击2.停止模式(在缩放模式下)快捷方式:右键单击
绘图模式源码增加/减少线条和光标大小（绘图模式）快捷方式:Ctrl + 鼠标向上/向下滚动或箭头键将光标居中(绘画模式)快捷方式:空格键白板(绘画模式)快捷方式:WBlackboard(绘画模式)快捷方式:K
键入文本源码(左对齐)快捷方式:T(右对齐)快捷方式:Shift + T
增加/减小字号(键入模式)源码快捷方式:Ctrl + 鼠标向上/向下滚动或箭头键
开始绘制(不在缩放模式下就是比如画笔)源码1.快捷方式:Ctrl + 2画笔颜色:红色:R绿色:G蓝色:B黄色:Y橙色:O粉色:P
绘制直线，距形…..源码直线:长按Shift距形:长按Ctrl椭圆形:长按Tab箭头:长 ...
markdown教程写法
多级标题源码渲染演示
## h1## h2### h3#### h4##### h5###### h6
h1h2h3h4h5h6
文字样式源码渲染演示<u>下划线演示</u>文字**加粗**演示文字*斜体*演示文本`高亮`演示文本~~删除~~线演示<font size = 5>5号字</font><font face="黑体">黑体</font><font color=blue>蓝色</font>下划线演示
文字加粗演示
文字斜体演示
文本高亮演示
文本删除线演示
5号字黑体蓝色
引用源码渲染演示> 一级引用演示d> 二级引用演示> MySQL> >markdown> >> >markdown语法
一级引用演示d二级引用演示MySQL
markdown
markdown语法
分割线源码渲染演示---***
无序列表源码渲染演示* html* css+ PHP+ Python- MySQL- Li ...
