Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 #21

Open
WN2001 opened this issue Jun 20, 2023 · 4 comments

Comments

@WN2001
Copy link

WN2001 commented Jun 20, 2023

No description provided.

@WN2001 WN2001 changed the title 批量处理速度太慢了,对4000多部处理了半天 批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 Jun 20, 2023
@yodhcn
Copy link
Owner

yodhcn commented Jun 21, 2023

耗時的部分主要在网络请求上,虽然可以用多线程并发,实现加快处理速度。但总感觉良心上有点过不去 —— 一共没买几部正版,还要开多线程并发爬人家的数据?
不过好在,爬取元数据是一个一次性的耗时任务,爬过的数据都会被保存到 sqlite 数据库。
所以,我的意见是,多点耐心,在软件运行期间,你可以去干其它事情。

@WN2001
Copy link
Author

WN2001 commented Jun 21, 2023 via email

@yodhcn
Copy link
Owner

yodhcn commented Jun 21, 2023

其实我自己的需求就是改个名只留RJ号。但用用其他批量改名的工具,由于命名各不相同,无法一次性用一个模板只留RJ号改好。老哥的这个就很好,不管什么名字都可一次性只留RJ号。

---原始邮件--- 发件人: @.> 发送时间: 2023年6月21日(周三) 中午1:08 收件人: @.>; 抄送: @.@.>; 主题: Re: [yodhcn/dlsite-doujin-renamer] 批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 (Issue #21) 耗時的部分主要在网络请求上,虽然可以用多线程并发,实现加快处理速度。但总感觉良心上有点过不去 —— 一共没买几部正版,还要开多线程并发爬人家的数据? 不过好在,爬取元数据是一个一次性的耗时任务,爬过的数据都会被保存到 sqlite 数据库。 所以,我的意见是,多点耐心,在软件运行期间,你可以去干其它事情。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

你要是只留RJ号的话,现在的软件逻辑确实有点问题,因为我没考虑过会有人重命名时只留RJ号。
按照现在的逻辑,即使你用不上元数据(标题名、社团名等),也会向 dlsite.com 发送网络爬取元数据。

@WN2001
Copy link
Author

WN2001 commented Jun 21, 2023 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants