高速化の模索 #15

Open
opened 2025-03-17 16:40:40 +00:00 by 15km · 0 comments
Owner

現状の自分の環境で、全ての Announcement, CourseWork, CourseWorkMaterialsのURLを収集するだけで20分強かかっている。getCourseWorkInfoは未実装部があるが15分程度、getCourseWorkMaterialsは未実装だが私の環境ではcourseworkの数倍あるため、ざっと1時間はかかることになる。動画などのデータも落とすとかなり時間がかかる。

並列処理をしたいが、とても資料/投稿の多いコースが重なるととても重くなってしまうため非現実的(読み込むまでどの程度重いのか想像できないため。サインインだけさせてheadlessモードにしたら問題ない可能性はあるので要検証。detailsページのクロールはscrollToBottomを使用していないのと全体的にページが軽いためかなりの速度でクロールできているためこれ以上はない。)。

サーバーへの負荷の対策として、全体で制限かけられないか検討している。

現状の自分の環境で、全ての Announcement, CourseWork, CourseWorkMaterialsのURLを収集するだけで20分強かかっている。getCourseWorkInfoは未実装部があるが15分程度、getCourseWorkMaterialsは未実装だが私の環境ではcourseworkの数倍あるため、ざっと1時間はかかることになる。動画などのデータも落とすとかなり時間がかかる。 並列処理をしたいが、とても資料/投稿の多いコースが重なるととても重くなってしまうため非現実的(読み込むまでどの程度重いのか想像できないため。サインインだけさせてheadlessモードにしたら問題ない可能性はあるので要検証。detailsページのクロールはscrollToBottomを使用していないのと全体的にページが軽いためかなりの速度でクロールできているためこれ以上はない。)。 サーバーへの負荷の対策として、全体で制限かけられないか検討している。
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: 15km/gc-crowl#15
No description provided.