csdn收藏整理

收藏从未停止

学习从未开始。现在的知识内容平台太多了，csdn、博客园、思否、知乎等等等等。在搜集信息的时候，经常会在各个平台上进行收藏，可是收藏之后也不怎么看了。最近这段时间，我想把自己收藏的一些文章整理一下，好的留，不好的删，初步想法是把这些文章都留下来，存到别的地方，就不再从收藏夹里找了。那第一步就是把收藏的文章链接导出来。

终于又用到了长时间不用的python了，python这个东西还是很高效且适合新手使用的。

开始

最开始的时候，我的想法是通过收藏的页面，一页一页爬取，然后再用正则把标题和链接爬取出来，后来发现，在个人主页-收藏里面有本账户的所有收藏。所以我直接抓取收藏的响应报文，报文是json内容，直接用json模块来处理。

编写

这个练习分为两部分，第一部分是将收藏文章的标题和链接输出出来；第二部分是对url进行请求，删除不存在的文章。（这是我在写完第一部分发现的，有些文章已经不存在了，服务器响应404）

第一部分

我直接将响应报文里的内容保存到一个txt文本当中，然后对文本的内容进行处理。

import json
from urllib.parse import unquote

with open('./content.txt', 'r', encoding='utf-8') as f:
    content = f.read()
    data = json.loads(content)
    data_json = data['data']['list']
    for i in data_json:
        #部分文章标题汉字被url编码了，如果文章的标题中包含%，就进行url解码，比较暴力
        if '%' in i['title']:
            print(unquote(i['title'], 'utf-8') + '\t' + i['url'])
        #在响应报文中，发现存在一个标题中间包含\n和多个空格的情况，全部替换为空
        elif '\n' in i['title']:
            print((i['title'].replace(' ', '')).replace('\n', '') + '\t' + i['url'])
        else:
            print(i['title'] + '\t' + i['url'])

结果：

第二部分

我的想法是将第一部分的标题和url的链接存储为字典，键名为标题，键值为链接，通过第一部分生成字典，并写成函数形式，返回值为字典。

这里主要写字典的处理。对字典的处理想法是这样的，将不能访问的文章和能访问的文章分别输出出来。使用requests模块，请求链接，响应404的就删除。

但是我发现并没有那么简单，发现所有响应均为404，我想到的原因是，请求时，请求头与请求频率。

后来设置请求头后，已经正常，应该是请求头的原因。

还有一个问题，就是删除响应为404的问题，我最开始是在字典遍历的同时，对链接进行请求，响应为不是200的使用del()进行删除，发现一直报错，网上搜索答案后得知，字典遍历的时候是不允许进行删除操作的，遂根据网上提供的方式，使用字典的方式进行删除。

参考链接：https://blog.csdn.net/u013344884/article/details/81867225

结果：

第二部分源码：

def test_url(title_url):
    print('以下文章访问异常：')
    for k in list(title_url.keys()):
        #增加请求头后，响应正常
        url_code = requests.get(title_url[k], headers=headers)
        if url_code.status_code != 200:
            print(k + '\t' + title_url[k] + '\t' + str(url_code.status_code))
            del title_url[k]
            continue

    print('以下文章可以正常访问：')
    for k,v in title_url.items():
        print(k + '\t' + v)

总结

好长时间不写代码，生疏了很多，尤其是本来基础就比较薄弱。还不错，发现并解决了不少问题，熟能生巧。