Python学习中要注意的实用知识点_惠州计算机Python培训学校

1、Python连接MySQL加编码

记得加charset，没加的话部署Linux服务器运行可能有中文乱码，已踩坑

2、最好用utf8mb4

很多时候我会用sqlalchemy创建连接数据库引擎，charset用的utf8mb4，原因在于爬取的文本中有表情，utf8不行，同时，数据库、表，编码也都要保持一致

3、好用的网页解析库PyQuery

from pyquery import PyQuery as py

觉得好用的原因：

1、语法类似JQuery，好记

2、可以增删改查html元素，然后下载网页，这点xpath就比较弱了，下面是我最近用到的一些方法，其他方法可以网上查查

#爬虫下载网页
each_res = requests.get(url).content.decode("utf-8")
#转为pyquery文档
doc = py(each_res)
#支持Class选择器，remove用来删除元素
doc(".site-navbar ul")("li").remove()
#支持ID选择器
doc("#search-form").remove()
#获取属性href的值
doc(".pagemenu")("li:first-child")("a").attr["href"]
#设置属性href的值
doc(".pagemenu")("li:first-child")("a").attr("href", "./")
#遍历对象
images_src = doc("img")
for img in images_src:
  if py(img).attr["src"]:
   print(py(img).attr["src"])
#添加元素
doc("head").append('<link rel="stylesheet" href="../common/css/common.css">\n')
#清空后在添加
doc(".page-right .item").empty().append("<a href='#' class='ad1'><img></img></a>")
#完美匹配jquery的eq()选择方法
doc(".article-content")("div:last-child").eq(-1).remove()
#大招来了，可以将上面增删改查的文档，直接写入html文件，就下载好网页了
res = doc.outer_html().encode("utf-8")
with open("index.html", "wb") as f:
#写文件用bytes而不是str，所以要转码
   f.write(res)

4、Linux配置python3环境、pip软链接

下方分别为解压安装，配软连接，注意配python3和pip的时候，与/usr/bin下面的原本的python2和pip命名区分，一般情况下别去动python2的软链接，会导致centos包管理工具yum命令出问题

ln -s /usr/local/py365/bin/python3.6 /usr/bin/python3 
ln -s /usr/local/py365/bin/pip3 /usr/bin/pip3

5、网站地图、robots协议

robots.txt可以告诉搜索引擎网站哪些数据能爬，如果你想利于网站排名，尽量少disallow，sitemap.xml网站地图则是直接提交让搜索引擎增加收录，这两个文件/路径一般配在网站根目录下，可以直接写到nginx加两个路径指向就行了，主要用来优化网站，利于各加搜索引擎抓取网站信息，增加收录和网站排名

location /sitemap.xml {
   alias /var/www/chengxuyuan_12_10/sitemap.xml;
}
location /robots.txt {
   alias /var/www/chengxuyuan_12_10/robots.txt;
}

6、Django orm查询values

比如下方，我在查询时候只需要文章的id和title数据，则直接values查这两个字段就行，这样可以提高查询效率

Article.objects.values("id","title")

Q对象进行逻辑查询，也很常用

filter(Q(is_delete=0)&(Q(title__contains=a)|Q(title__contains=b)))

7、直接将一个字典保存mysql（键和列名一致）

dic = {"title": title, "time": arttime, "auth": auth, "con": con}
df = pd.DataFrame.from_dict(dic, orient='index').T
conn = get_local_engine("centos_test")
df.to_sql("这里是表名", conn, if_exists='append', index=False)

get_local_engine是我定义的一个获取engine的方法

def get_local_engine(dbname):
db_flag = "mysql"
host_ip = "127.0.0.1" 
host_port = 3306
db_instance = dbname
user = "root"
pawd = "*************" 
charset = "utf8"
engine_config = '%s%s%s%s%s%s%s%s%s%s%s' % ('mysql+pymysql://', user, ':', pawd, '@', host_ip, ':', host_port, '/', db_instance, '?charset=utf8')
engine = create_engine(engine_config, encoding=charset, max_overflow=10)
return engine

8、django admin站点引入富文本编辑器Kindeditor

1、kindeditor安装包直接放在项目static下面

2、在admin.py中加入这段js

3、kindeditor中config.js改成原本admin文本域的id,如下方截图圈到的

class Media:
#在管理后台的HTML文件中加入js文件,每一个路径都会追加STATIC_URL/
 js = (
    'kindeditor/kindeditor-all.js',
    'kindeditor/lang.zh_CN.js',
    'kindeditor/config.js',
 )

点击咨询直接了解更多相关资料，我在惠州北大青鸟新方舟等你。

本文内容转载自网络，版权归原作者所有，如有侵权请联系我们进行删除。

标签：惠州计算机软件培训惠州计算件软件开发惠州计算机软件基础惠州计算机Python软件开发惠州Python培训学校惠州Python培训python基础教程python是什么python教程python入门