**Welcome to **Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
**More info: **Writing
Run server1$ hexo server
**More info: **Server
Generate static files1$ hexo generate
**More info: **Generating
Deploy to remote sites1$ hexo deploy
**More info: **Deployment
测试图床腾讯COS
NPMunpkg
jsDelivr + git ...
常见异常类型
异常类型
简介
BaseException
所有异常的基类
SystemExit
解释器请求退出
KeyboardInterrupt
用户中断执行(通常是输入 ^C)
Exception
常规错误的基类
StopIteration
迭代器没有更多的项
StopAsyncIteration
必须在异步迭代器中停止迭代
ArithmeticError
数学运算错误的基类
FloatingPointError
浮点运算失败
OverflowError
数值运算超出最大限制
ZeroDivisionError
除(或模除)零(所有数据类型)
AssertionError
断言语句失败
AttributeError
对象没有这个属性
BufferError
与缓冲区相关的操作不能执行
EOFError
read() 检测到文件末尾(EOF)
ImportError
导入模块/对象失败
ModuleNotFoundError
找不到模块
LookupError
序列中没有此索引(index)
In ...
定义定义文件路径和文件名123456import osdir_path = ''file_name = ''file_path = os.path.join(dir_path, file_name)
打开/关闭文件读open方式12345678910# 打开 open()f = open(file_path, 'r') # 可以是'r'可读, 'w'可写, 'a'追加, 'r+'等不停的文件默认,默认是'r'print(f.name) # 文件名print(f.mode) # 读写模式# 是否关闭f.closed# 关闭 close() 避免资源泄露、锁等问题f.close()
with方式(文件管理器处理)with open读写文件不需要手动close。
123456with open(file_path, 'r') as f: # content = f.read() # 生成全文 ...
案例需求分析依据现有用户观看历史和用户信息数据,分析二者的常规指标,即各种TopN指标,列如:
基本信息查询
单个用户观看时长Top20
用户观看时长Top20
电视观看数Top20
电视观看时常Top20
用户正常状态及数量
案例数据及建表案例数据已经经过ETF,符合数据处理的要求,在此基础上创建数据仓库表并向其中导入数据。
原始数据用户观看历史文件486.5MB,共有约3360218条数据,每条记录有17个字段。用户信息数据文件922.8KB,共有15660条数据,每条记录有7个字段。
数据表结构数据表的字段及其数据类型等结构信息分别详见表
观看历史表
字段名称
描述
字段数据类型
phone_no
用户名
String
duration
观看时长(ms)
Int
用户信息表
字段名称
描述
字段数据类型
phone_no
用户名
String
owner_name
用户等级名称
String
创建表
创建存储格式为TextFile的表text_see和text_user(用于存储原始数据
观看历史表text_see:
12345 ...
数据库
未读Hive的应用操作Hive的HQL语句底层执行的机制原理Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能.说白了,hive就是MapReduce客户端,将用户编写的HQL语法转换成MapReducer程序进行执行。
如图中所示,总的来说,Hive是通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。
用户接口:ClientCLI(hiveshell)、JDBC/ODBC(java访问hive)、WEBUI(浏览器访问hive)
元数据:Metastore元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;默认存储在自带的derby数据库中使用HDFS进行存储,使用MapReduce进行计算。
驱动器:Driver
解析器(SQL Parser):将SQL字符串转换 ...
一、简介1.1 内容实践MySQL的备份与还原。
二、内容2.1****数据备份(1) 创建数据库teaching,建表脚本及数据如下,运用前期所学知识,将数据写入对应的表中
学生信息表student
1234567891011#student表结构create table if not exists student (studentno char(11) not null comment'学号', sname char(8) not null comment'姓名', sex enum('男', '女') default '男' comment'性别', birthdate date not null comment'出生日期', entrance int(3) null comment'入学成绩', phone varchar(12) not null comment'电话', Email varcha ...
一、简介1.1 内容实践MySQL的权限及安全控制的相关操作。
1.2 知识点MySQL的权限及安全控制
二、内容2.1****添加用户(1) 添加两个新用户,Hans的密码为hans131,Rose的密码为rose123
123mysql> create user-> 'Hans'@'localhost' identified by ' hans131',-> 'Rose'@'localhost' identified by ' rose123‘;
(2) 添加一个新用户,用户名为Pool,密码为136792,密码不指定明文。
①使用password()函数获取密码’136792’的散列值。
123456mysql> select password('136792');+-------------------------------------------+| password('136792') |+---- ...
一、简介1.1 内容介绍了 MySQL 参考手册中的一些基本函数的用法。
1.2 知识点
基本函数
二、控制流程函数
CASE value WHEN [compare-value] THEN result [WHEN [compare-value] THEN result …] [ELSE result] END
CASE WHEN [condition] THEN result [WHEN [condition] THEN result …] [ELSE result] END
在上面第一条语句返回的是value=compare-value的结果。而第二条语句的返回结果是第一条语句的真正的结果。如果没有匹配的结果值,则返回结果为ELSE语句后的结果,如果没有ELSE部分,则返回值为NULL。
1234mysql> SELECT CASE 1 WHEN 1 THEN 'one' -> WHEN 2 THEN 'two' ELSE 'more' END;mysql> SELEC ...
一、简介1.1 内容MySQL操作符的用法。
1.2 知识点
操作符
二、操作符2.1 操作符优先级以下列表显示了操作符优先级的由低到高的顺序。排列在同一行的操作符具有相同的优先级。
其中,部分操作符的优先级取决于SQL的模式:
默认情况下,||是逻辑运算符OR。当启用PIPES_AS_CONCAT模式时,||就是一个字符串连接符,优先级处于^与一元运算符之间。
默认情况下,!的优先级高于NOT。但当启用HIGH_NOT_PRECEDENCE模式时,!和NOT拥有相同的优先级。
2.2 圆括号( … )使用括弧来规定表达式的运算顺序,例如:
12mysql> SELECT 1+2*3;mysql> SELECT (1+2)*3;
2 2.3 比较函数和操作符
比较运算产生的结果为1(TRUE)、0 (FALSE)或NULL。这些运算可用于数字和字符串。如果必要的话,字符串可自动转换为数字,而数字也可自动转换为字符串。
本节中的一些函数(如LEAST()和GREATEST())的返回值并不会返回1(TRUE)、 0 (FALSE)和NULL这样的结果。但是按照下述 ...
目标本实验任务是掌握MySQL数据库编程技术,学会独立编写和调试存储过程和触发器
打开 MySQL 服务sudo service mysql start
#使用 root 用户登录,输入密码
mysql -u root -p
后续的实验都在 MySQL 的控制台输入命令进行操作。
功能描述1.图书信息表(book)
字段名称 数据类型 是否可为空
图书编号(PK) varchar(20) 否
书名 varchar(50) 否
作者 varchar(12) 否
出版社 varchar(50) 是
出版日期 date 是
简介 varchar(200) 是
2.读者信息表(student)
字段名称 数据类型 是否可为空
读者学号(PK) int 否
读者姓名 varchar(10) 否
读者性别(男/女) varchar(3) 否
所在系 varchar(12) 否
生效时间 date 是
失效时间 date 是
累计借书量 int 是
3.借阅表(borrow)
字段名称 数据类型 是否可为空
读者学号 int 否
图书编号 varchar(20) 否
借书日期 date ...