-
Notifications
You must be signed in to change notification settings - Fork 19
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 #21
Comments
耗時的部分主要在网络请求上,虽然可以用多线程并发,实现加快处理速度。但总感觉良心上有点过不去 —— 一共没买几部正版,还要开多线程并发爬人家的数据? |
其实我自己的需求就是改个名只留RJ号。但用用其他批量改名的工具,由于命名各不相同,无法一次性用一个模板只留RJ号改好。老哥的这个就很好,不管什么名字都可一次性只留RJ号。
…---原始邮件---
发件人: ***@***.***>
发送时间: 2023年6月21日(周三) 中午1:08
收件人: ***@***.***>;
抄送: ***@***.******@***.***>;
主题: Re: [yodhcn/dlsite-doujin-renamer] 批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 (Issue #21)
耗時的部分主要在网络请求上,虽然可以用多线程并发,实现加快处理速度。但总感觉良心上有点过不去 —— 一共没买几部正版,还要开多线程并发爬人家的数据?
不过好在,爬取元数据是一个一次性的耗时任务,爬过的数据都会被保存到 sqlite 数据库。
所以,我的意见是,多点耐心,在软件运行期间,你可以去干其它事情。
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
你要是只留RJ号的话,现在的软件逻辑确实有点问题,因为我没考虑过会有人重命名时只留RJ号。 |
对的,希望以后可以更新根据命名方式判断需不需要爬数据,满足更多人的需求\(`Δ’)/
…---原始邮件---
发件人: ***@***.***>
发送时间: 2023年6月21日(周三) 下午3:23
收件人: ***@***.***>;
抄送: ***@***.******@***.***>;
主题: Re: [yodhcn/dlsite-doujin-renamer] 批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 (Issue #21)
其实我自己的需求就是改个名只留RJ号。但用用其他批量改名的工具,由于命名各不相同,无法一次性用一个模板只留RJ号改好。老哥的这个就很好,不管什么名字都可一次性只留RJ号。
…
---原始邮件--- 发件人: @.> 发送时间: 2023年6月21日(周三) 中午1:08 收件人: @.>; 抄送: @.@.>; 主题: Re: [yodhcn/dlsite-doujin-renamer] 批量处理速度太慢,几千部处理的时间太长了,希望加快处理速度 (Issue #21) 耗時的部分主要在网络请求上,虽然可以用多线程并发,实现加快处理速度。但总感觉良心上有点过不去 —— 一共没买几部正版,还要开多线程并发爬人家的数据? 不过好在,爬取元数据是一个一次性的耗时任务,爬过的数据都会被保存到 sqlite 数据库。 所以,我的意见是,多点耐心,在软件运行期间,你可以去干其它事情。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
你要是只留RJ号的话,现在的软件逻辑确实有点问题,因为我没考虑过会有人重命名时只留RJ号。
按照现在的逻辑,即使你用不上元数据(标题名、社团名等),也会向 dlsite.com 发送网络爬取元数据。
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
No description provided.
The text was updated successfully, but these errors were encountered: