NanmiCoder / MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

如何把数据保存进mysql中

alanzed555 opened this issue · comments

首先感谢楼主好代码。

我已经运行db.py,在mysql中建好了库,也有了表。

请问需要设置哪个地方,才能让数据保存进mysql中?

#下面的base_config处我也设置了。

数据保存类型选项配置,支持三种类型:csv、db、json

SAVE_DATA_OPTION = "json" # csv or db or json

SAVE_DATA_OPTION = "db" # csv or db or json

运行完毕后,mysql中还是没有数据(目前只测试了xhs)。

debug看下有没有走到这里来

async def add_new_content(content_item: Dict) -> int:
"""
新增一条内容记录(xhs的帖子 | 抖音的视频 | 微博 | 快手视频 ...)
Args:
content_item:
Returns:
"""
async_db_conn: AsyncMysqlDB = media_crawler_db_var.get()
last_row_id: int = await async_db_conn.item_to_table("xhs_note", content_item)
return last_row_id

debug看下有没有走到这里来

async def add_new_content(content_item: Dict) -> int:
"""
新增一条内容记录(xhs的帖子 | 抖音的视频 | 微博 | 快手视频 ...)
Args:
content_item:
Returns:
"""
async_db_conn: AsyncMysqlDB = media_crawler_db_var.get()
last_row_id: int = await async_db_conn.item_to_table("xhs_note", content_item)
return last_row_id

你好楼主。
经过测试,xhs_note表中有数据了。
但是xhs_note_comment表中没有任何数据。
这是什么原因呢?

在配置文件中开启了保存评论了吗?

在配置文件中开启了保存评论了吗?

就是这个问题!

你好,mysql配置库,怎么配置表