Nodejs でタイムドクローラーを実装する完全な例

定数 axios = require('axios')
定数ルームID = "146088"
定数 ruid = "642922"
定数 url = `https://api.live.bilibili.com/xlive/app-room/v2/guardTab/topList?roomid=${roomid}&ruid=${ruid}&page_size=30`

const キャプテン = {
 1: 「知事」
 2: 「提督」
 3: 「キャプテン」
}

const reqPromise = url => axios.get(url);

CaptinList = [] とします
UserList = [] とします

非同期関数クローラー(URL、pageNow) {
 const res = reqPromise(URL) を待機します。
 ページナウ == 1 の場合
 CaptinList = CaptinList.concat(res.data.data.top3);
 }
 CaptinList = CaptinList.concat(res.data.data.list);
}


関数 getMaxPage(res) {

 定数情報 = res.data.data.info
 const { page: maxPage } = 情報
 maxPageを返す
}


関数 getUserList(res) {

 for (let 項目の res) {
 const ユーザー情報 = アイテム
 const { uid, ユーザー名, guard_level } = ユーザー情報
 UserList.push({ uid, ユーザー名, Captin: Captin[guard_level] })
 }
}

非同期関数main(UID) {
 const maxPage = reqPromise(`${url}&page=1`).then(getMaxPage) を待機します。
 (pageNow = 1; pageNow < maxPage + 1; pageNow++) の場合 {
 const URL = `${url}&page=${pageNow}`;
 クローラーを待機します(URL、pageNow);
 }
 ユーザーリストを取得します(CaptinList)
 console.log(検索(UID, ユーザーリスト))
 検索(UID, UserList)を返す
}

関数検索(uid, UserList) {
 (i = 0 とします; i < UserList.length; i++) {
 (UserList[i].uid === uid)の場合{
 UserList[i]を返します。
 }
 }
 0を返す
}

モジュール.エクスポート = {
 主要
}

const Koa = require('koa');
const app = new Koa();
定数パス = require('path')
定数 fs = require('fs');
const ルーター = require('koa-router')();
定数インデックス = require('./index')
const views = require('koa-views')



app.use(views(path.join(__dirname, './'), {
 拡張子: 'ejs'
}))
ルーターのルートを使用します。

router.get('/', 非同期ctx => {
 ctx.response.type = 'html';
 ctx.response.body = fs.createReadStream('./index.html');
})

router.get('/api/captin', 非同期 (ctx) => {
 定数 UID = ctx.request.query.uid
 コンソール.log(UID)
 const Info = index.main(parseInt(UID)) を待機します
 ctx.render('index', {を待つ
 情報、
 })
});

アプリをリッスンする(3000);

関数スロットル(fn, 遅延) {
 var タイマー;
 関数を返す（）{
 var _this = これ;
 var args = 引数;
 if (タイマー) {
  戻る;
 }
 タイマー = setTimeout(関数() {
  fn.apply(_this, args);
  timer = null; // 遅延後に fn を実行した後、タイマーをクリアします。このとき、タイマーは false であり、スロットルトリガーはタイマーに入ることができます}, delay)
 }
}

npm インストール ノード スケジュール
# または yarn add node-schedule

const スケジュール = require('node-schedule');

const job = schedule.scheduleJob('42 * * * *', 関数(){
 console.log('人生、宇宙、そしてすべてのものに対する答え！');
});

const スケジュール = require('node-schedule');

// 時間を定義します。let date = new Date(2021, 3, 10, 12, 00, 0);

// タスクを定義する let job = schedule.scheduleJob(date, () => {
 console.log("現在の時刻:",新しい日付());
});

const スケジュール = require('node-schedule');

// ルールを定義します。let rule = new schedule.RecurrenceRule();
ルール.秒 = 0
// 毎分 0 秒に 1 回実行 // タスクを開始します let job = schedule.scheduleJob(rule, () => {
 コンソールにログ出力します。
});

ジョブをキャンセルします。