一.簡介MySQL 是一個開源、免費且成熟穩(wěn)定的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)RDBMS被廣泛應(yīng)用于各類 Web 應(yīng)用和爬蟲數(shù)據(jù)存儲中。 所謂“關(guān)系型”指的是它將數(shù)據(jù)以二維表格的形式組織存儲類似 Excel 工作表表與表之間可以通過共有的字段如用戶ID建立關(guān)聯(lián)配合結(jié)構(gòu)化查詢語言SQL能夠?qū)?shù)據(jù)進(jìn)行非常嚴(yán)謹(jǐn)、靈活的增刪改查操作并嚴(yán)格保證數(shù)據(jù)的一致性和完整性支持事務(wù) ACID。在爬蟲開發(fā)中MySQL 常作為最終的數(shù)據(jù)歸宿地通過編寫 Pipeline 組件將 Scrapy 抓取的清洗后數(shù)據(jù)持久化存儲到本地或云端的 MySQL 服務(wù)中便于后續(xù)的查詢與分析。二.可視化結(jié)構(gòu)由于MySQL本身是在cmd命令行中操作的因此需要借助可視化工具獲得更好更直觀的使用體驗常用第三方可視化工具有Navicat、DBeaver等等這里使用DBeaver進(jìn)行演示。右側(cè)端口號為3306的localhost就是我們電腦上的MySQL服務(wù)程序MySQL數(shù)據(jù)庫默認(rèn)端口號是3306下面數(shù)據(jù)庫一欄中放著默認(rèn)數(shù)據(jù)庫和我們創(chuàng)建的所有數(shù)據(jù)庫在使用中我們應(yīng)避免使用默認(rèn)數(shù)據(jù)庫。三.SQL語言由于數(shù)據(jù)庫管理系統(tǒng)功能非常多不僅存儲數(shù)據(jù)還包含數(shù)據(jù)的管理、表的管理、庫的管理、賬戶管理、權(quán)限管理等等所以操作數(shù)據(jù)庫的SQL語言也基于功能被劃分為四大類。SQL語句大小寫不敏感,命令結(jié)束必須帶分號1.數(shù)據(jù)定義DDLData Definition Language庫與表的操作a.庫的相關(guān)操作輸入命令show databases;查看數(shù)據(jù)庫。輸入命令use 數(shù)據(jù)庫名稱;使用和切換數(shù)據(jù)庫后續(xù)想要更換數(shù)據(jù)庫進(jìn)行操作也輸入此命令。輸入命令select database();查看當(dāng)前正在使用的數(shù)據(jù)庫鼠標(biāo)選中單條命令可單獨執(zhí)行此命令。輸入命令create database [if not exists] 數(shù)據(jù)庫名稱 [charset 編碼名稱];創(chuàng)建數(shù)據(jù)庫中括號表示可寫可不寫寫的話不用寫括號直接寫命令如果加第一個括號中的內(nèi)容表示如果存在同名數(shù)據(jù)庫就不進(jìn)行任操作反之創(chuàng)建數(shù)據(jù)庫。第二個括號中內(nèi)容作用是設(shè)置編碼方式MySQL默認(rèn)utf-8編碼這里不用加橫杠最好顯式設(shè)置一下。注左側(cè)不顯示數(shù)據(jù)庫就右擊刷新一下。輸入命令drop database 數(shù)據(jù)庫名稱;刪除指定數(shù)據(jù)庫。b.表的相關(guān)操作在我們創(chuàng)建表時要為列指定一個列類型列類型有以下幾種可按需選擇輸入命令create table [if not exists] 表名稱( 列名稱 列類型, 列名稱 列類型, ......);創(chuàng)建表注意圖中格式且最后一行沒逗號如果加括號中的內(nèi)容表示如果存在同名表就不進(jìn)行任操作反之創(chuàng)建表。輸入命令rename table 舊表名 to 新表名;來修改表名。輸入命令alter table 表名 add 列名 列類型;單獨添加一列不能添加數(shù)據(jù)。輸入命令alter table 表名 change 舊列名 新列名 新列類型;更改列名和列類型如需只更改類型寫相同列名即可。輸入命令alter table 表名 drop 列名;單獨刪除一列。輸入命令show tables;查看表注在此之前應(yīng)先用use選擇使用哪個數(shù)據(jù)庫。輸入命令desc 表名;查看表結(jié)構(gòu)每一列的類型等信息庫里有多張表難免會忘記某張表的設(shè)置信息這時就需要靠此命令查詢。輸入命令drop table 表名;刪除指定數(shù)據(jù)表。2.數(shù)據(jù)操縱DMLData Manipulation Language增刪改數(shù)據(jù)a.數(shù)據(jù)插入字符串最好用單引號輸入命令insert into 表名(列名) values(值1)[, (值2), (值3)......];進(jìn)行單列插入插入一條或多條數(shù)據(jù)。輸入命令insert into 表名(列1, 列2, 列3, ......) values(列1對應(yīng)值, 列2對應(yīng)值, 列3對應(yīng)值, ......), [(列1對應(yīng)值, 列2對應(yīng)值, 列3對應(yīng)值, ......), ......];進(jìn)行多列插入插入一條或多條數(shù)據(jù)。注多列插入可以省略列名但值的位置和類型必須一一對應(yīng)b.數(shù)據(jù)刪除條件判斷的常見操作符輸入命令delete from 表名稱 [where 條件判斷];從表中刪除數(shù)據(jù)。如果不加中括號中的條件判斷句就是清空整張表中的數(shù)據(jù)但不刪除表格。c.數(shù)據(jù)更新輸入命令update 表名 set 列 值 [where 條件判斷];進(jìn)行數(shù)據(jù)更新操作。不寫條件判斷就是修改整張表中指定列的所有值。3.數(shù)據(jù)查詢DQLData Query Language查詢和計算數(shù)據(jù)a.基礎(chǔ)查詢輸入命令select 字段列表 | * from 表;進(jìn)行數(shù)據(jù)查詢“ | ”表示前后可選?！?* ”是通配符代表所有。b.分組聚合簡介如果要統(tǒng)計一個班級中男生和女生的人數(shù)就需要先按性別分組再i統(tǒng)計每組人數(shù)這就是分組聚合。常用聚合函數(shù);輸入命令select 字段 | 聚合函數(shù) from 表 [where 條件] group by 列;進(jìn)行分組聚合操作group by后寫了誰字段中才能出現(xiàn)誰但聚合函數(shù)無限制可以有一個或多個。由于這個結(jié)果并不夠直觀我們可以加上gender字段增加視覺效果如果字段和聚合函數(shù)同時存在中間要有逗號隔開否則報錯聚合函數(shù)可以有一個或多個中間同樣要逗號隔開這里count(gender)表示滿足條件且有性別的數(shù)據(jù)有幾條。c.排序分頁輸入命令select 列 | 聚合函數(shù) | * from 表 where ... group by ... order by ... [asc | desc];指定某個列進(jìn)行排序其中asc即ascending代表升序desc即descending代表降序。desc降序排列。輸入命令select 列 | 聚合函數(shù) | * from 表 where ... group by ... order by ... [asc | desc] limit n[ , m];進(jìn)行限制排序和分頁如果limit后只有n則返回符合前置條件且排名前n條的數(shù)據(jù)。limit后n和m都有則顯示符合前置條件的數(shù)據(jù)從第n1條開始到第m條。四.Python操作MySQL的基本方法1.連接MySQL要用Python操作MySQL儲存我們爬取的數(shù)據(jù)必須要用到一個名為pymysql的第三方庫按winR輸入cmd打開終端輸入命令pip install pymysql進(jìn)行安裝然后進(jìn)行后續(xù)操作。安裝完成后我們就可以用python與MySQL數(shù)據(jù)庫進(jìn)行基礎(chǔ)的連接注意當(dāng)前項目文件名不能出現(xiàn)pymysql否則會報錯2.執(zhí)行SQL語句在Python代碼中寫SQL語句時可以末尾可以不加分號但在可視化界面或MySQL環(huán)境中必須加分號a.執(zhí)行非查詢性質(zhì)的SQL語句在Python中我們需要游標(biāo)對象來執(zhí)行SQL語句因此我們要先用連接對象來實例化游標(biāo)對象并用連接對象選擇目標(biāo)數(shù)據(jù)庫然后就可以在游標(biāo)對象.execute( )中寫SQL語句了且這里SQL語句一定要加引號。b.執(zhí)行查詢性質(zhì)的SQL語句由于查詢性質(zhì)的SQL語句我們需要接收查詢的結(jié)果所以寫法略有不同。需要先用游標(biāo)對象獲取查詢結(jié)果再用一個變量接收這個結(jié)果該結(jié)果是一個雙層嵌套的元組。c.執(zhí)行數(shù)據(jù)插入通過Python往MySQL數(shù)據(jù)庫插入數(shù)據(jù)時需通過commit確認(rèn)插入否則運行后數(shù)據(jù)庫內(nèi)數(shù)據(jù)也不會發(fā)生改變?nèi)绮幌胧謩舆M(jìn)行插入可在連接對象中設(shè)置自動插入。輸入連接對象.commit()確認(rèn)數(shù)據(jù)插入。在連接對象conn中設(shè)置autocommit True實現(xiàn)自動提交后面所有的插入語句都無需手動確認(rèn)。