異步任務(wù)出現(xiàn)超多busy

liong 更新于2024-04-11

問(wèn)題描述

開(kāi)啟了10個(gè)進(jìn)程的異步任務(wù),查看狀態(tài)好多都是 N/A N/A N/A N/A N/A [busy]

load average: 0.06, 0.14, 0.08 event-loop:\Workerman 2 workers 11 processes
worker_name exit_status exit_count
TaskWorker 0 0
none 0 0
----------------------------------------------PROCESS pid memory listening worker_name 20840 N/A text://127.0.0.1:8089 TaskWorker N/A 20841 N/A text://127.0.0.1:8089 TaskWorker N/A 20842 N/A text://127.0.0.1:8089 TaskWorker N/A 20843 5.73M text://127.0.0.1:8089 TaskWorker 1 20844 N/A text://127.0.0.1:8089 TaskWorker N/A 20845 N/A text://127.0.0.1:8089 TaskWorker N/A 20846 5.73M text://127.0.0.1:8089 TaskWorker 1 20847 N/A text://127.0.0.1:8089 TaskWorker N/A 20848 N/A text://127.0.0.1:8089 TaskWorker N/A 20849 N/A text://127.0.0.1:8089 TaskWorker N/A 20850 4.81M htt ----------------------------------------------PROCESS Summary 14M - - 24 需要同時(shí)處理多個(gè)慢業(yè)務(wù) 服務(wù)器需要什么配置
需要做哪些優(yōu)化
STATUS---------------------------------------------------
connections send_fail timers total_request qps status
N/A N/A N/A N/A [busy]
N/A N/A N/A N/A [busy]
N/A N/A N/A N/A [busy]
0 0 8 0 [idle]
N/A N/A N/A N/A [busy]
N/A N/A N/A N/A [busy]
0 0 8 0 [idle]
N/A N/A N/A N/A [busy]
N/A N/A N/A N/A [busy]
N/A N/A N/A N/A [busy]
p://127.0.0.1:8088 none 22 0 0 167 0 [idle]
STATUS---------------------------------------------------
0 0 183 0 [Summary]
,用命令行按順序一個(gè)個(gè)執(zhí)行,需要4個(gè)小時(shí)左右,想要減少到2個(gè)小時(shí)內(nèi),1個(gè)小時(shí)更好
alt="截圖" />
超過(guò)1000同時(shí)在線,我的服務(wù)器沒(méi)有優(yōu)化內(nèi)核

為此你搜索到了哪些方案及不適用的原因

問(wèn)答去搜索和看文檔

 1339  4 0

4個(gè)回答

latin 2024-04-11

進(jìn)程在處理慢業(yè)務(wù)，顯示busy是正常的

liong 2024-04-11

不想出現(xiàn)太多的busy要怎么設(shè)置
latin 2024-04-11

優(yōu)化業(yè)務(wù)，讓業(yè)務(wù)處理更快些
liong 2024-04-11

是第三方的,沒(méi)法優(yōu)化
釋永戰(zhàn) 2024-04-12

在異步任務(wù)里面再創(chuàng)建一個(gè)異步任務(wù)就可以了····
liong 2024-04-12

這樣不行的吧

TM 2024-04-12

多開(kāi)進(jìn)程

liong 2024-04-12

異步任務(wù)開(kāi)了20個(gè)進(jìn)程

qqxxr 2024-04-12

你的異步任務(wù)是在你的業(yè)務(wù)流程中干嘛用的，類似定時(shí)任務(wù)，或者隊(duì)列這種性質(zhì)還是

liong 2024-04-12

同步第三方數(shù)據(jù)
qqxxr 2024-04-12

那就無(wú)所謂啊，不怕阻塞的場(chǎng)景
liong 2024-04-12

是不怕堵,但是時(shí)間長(zhǎng)啊,想把4小時(shí)降到2小時(shí)內(nèi)
qqxxr 2024-04-12

一個(gè)任務(wù)能執(zhí)行4小時(shí)，那你要優(yōu)化這個(gè)任務(wù)，和框架無(wú)關(guān)系喔。要優(yōu)化的是你的業(yè)務(wù)流程，碎片化，分片等操作
qqxxr 2024-04-12

比如一次任務(wù)是100W數(shù)據(jù)，你可以分片成每個(gè)進(jìn)程1W條數(shù)數(shù)據(jù)，然后不同的進(jìn)程執(zhí)行不同的批次號(hào)這樣？
liong 2024-04-12

比如一次任務(wù)是100W數(shù)據(jù)，你可以分片成每個(gè)進(jìn)程1W條數(shù)數(shù)據(jù)，然后不同的進(jìn)程執(zhí)行不同的批次號(hào)這樣？

是的,同時(shí)執(zhí)行
liong 2024-04-12

這就可以減少時(shí)間了
qqxxr 2024-04-12

或者是做增量同步，只把要同步的，丟到隊(duì)列，讓進(jìn)程自己去競(jìng)爭(zhēng)消費(fèi)同步
qqxxr 2024-04-12

這樣也是自動(dòng)分片咯
liong 2024-04-12

隊(duì)列是排隊(duì)執(zhí)行的
qqxxr 2024-04-12

只是按順序出列，但是實(shí)際執(zhí)行還是看進(jìn)程的，多進(jìn)程競(jìng)爭(zhēng)這個(gè)，幾乎是做到了自動(dòng)分片和異步了。當(dāng)然這是指增量同步的方案
liong 2024-04-12

執(zhí)行完后,記錄id,id還是和進(jìn)入隊(duì)列的順序一下的,如果是多進(jìn)程競(jìng)爭(zhēng),記錄的id應(yīng)該是亂序的才對(duì)
qqxxr 2024-04-12

正常是按id順序出列和入庫(kù)，如果某個(gè)消費(fèi)進(jìn)程有阻塞，這個(gè)id不會(huì)按順序入庫(kù)了。不過(guò)這樣對(duì)你業(yè)務(wù)有什么影響嗎，現(xiàn)在只是要解決你慢的情況呀
qqxxr 2024-04-12

按順序出列，這個(gè)好像不重要吧？重要的是N個(gè)進(jìn)程來(lái)消費(fèi)啊，你也可以把你的消息手動(dòng)分片入列，消費(fèi)進(jìn)程在手動(dòng)按類型消費(fèi)，達(dá)到手動(dòng)分片目的
liong 2024-04-12

進(jìn)程堵塞不影響,經(jīng)常是串行執(zhí)行,還是并行執(zhí)行的會(huì)有影響,比如,設(shè)置了8個(gè)進(jìn)程,是8個(gè)進(jìn)程同時(shí)處理8個(gè)請(qǐng)求呢,還是要等其中的一個(gè)進(jìn)程處理完請(qǐng)求,下一個(gè)進(jìn)程才會(huì)處理請(qǐng)求
nitron 2024-04-12

理想狀況,N個(gè)核心就可以并行處理N個(gè)請(qǐng)求,超出就交替執(zhí)行或者串行
qqxxr 2024-04-12

競(jìng)爭(zhēng)模型下，就是進(jìn)程主要拿到就處理，如果滿載那幾乎是同時(shí)
liong 2024-04-12

N個(gè)進(jìn)程來(lái)消費(fèi),是N個(gè)進(jìn)程都在消費(fèi), 還是需等一個(gè)進(jìn)程消費(fèi)完了,其他進(jìn)程在來(lái)消費(fèi)
nitron 2024-04-12

還有你的10M帶寬也未必夠,對(duì)方的100M帶寬也未必是你獨(dú)享
qqxxr 2024-04-12

消費(fèi)進(jìn)程就是不斷輪訓(xùn)隊(duì)列，誰(shuí)拿到就執(zhí)行，滿載就是全部都在執(zhí)行
nitron 2024-04-12

N個(gè)進(jìn)程都在消費(fèi)
liong 2024-04-12

http://www.wtbis.cn/doc/workerman/components/workerman-redis-queue.html 是用這個(gè)嗎
nitron 2024-04-12

把它想象城地鐵的出入閘機(jī)就很好理解了
liong 2024-04-12

理解是理解,對(duì)應(yīng)的文檔不知道是哪個(gè)
qqxxr 2024-04-12

這個(gè)就行了
liong 2024-04-12

好的,感謝大佬們
liong 2024-04-12

http://www.wtbis.cn/doc/workerman/components/workerman-redis-queue.html 這個(gè)不行
只適合設(shè)置一個(gè)進(jìn)程,設(shè)置多個(gè)進(jìn)程,會(huì)有很多數(shù)據(jù)同不了
qqxxr 2024-04-12

為什么，不會(huì)的吧
liong 2024-04-15

多個(gè)count,onWorkerStart 會(huì)執(zhí)行多次,然后數(shù)據(jù)就莫名不能同步了
qqxxr 2024-04-15

1.有生產(chǎn)消息嗎？2.沒(méi)有消費(fèi)到嗎？3.消費(fèi)了執(zhí)行有問(wèn)題嗎？你是指的哪個(gè)環(huán)節(jié)
liong 2024-04-15

有生產(chǎn)記錄,部分?jǐn)?shù)據(jù)沒(méi)有消費(fèi)記錄
qqxxr 2024-04-15

那你打印一下，消費(fèi)這里，1.有沒(méi)有出列2.同步邏輯有無(wú)拋異常，異常了需需不要重新入列
liong 2024-04-15

同步邏輯沒(méi)有異常,消費(fèi)也沒(méi)異常
沒(méi)有數(shù)據(jù)進(jìn)入隊(duì)列,每次查看狀態(tài)total_request都會(huì)增加,redis里沒(méi)有數(shù)據(jù),訂閱那里打印也沒(méi)有數(shù)據(jù)
liong 2024-04-15

設(shè)置了20個(gè)進(jìn)程
qqxxr 2024-04-15

那你就是生產(chǎn)消息這里啊，投遞消息失??？
liong 2024-04-15

78 56581 0 [Summary]
liong 2024-04-15

pid memory listening worker_name connections send_fail timers total_request qps status
3534 4.19M none Redis 2 0 3 2176 0 [idle]
3535 4.19M none Redis 2 0 3 2176 0 [idle]
3536 4.19M none Redis 2 0 3 2176 0 [idle]
3537 4.19M none Redis 2 0 3 2176 0 [idle]
3538 4.19M none Redis 2 0 3 2176 0 [idle]
3539 4.19M none Redis 2 0 3 2176 0 [idle]
3540 4.19M none Redis 2 0 3 2176 0 [idle]
3541 4.19M none Redis 2 0 3 2176 0 [idle]
3542 4.19M none Redis 2 0 3 2176 0 [idle]
3543 4.19M none Redis 2 0 3 2176 0 [idle]
3544 4.19M none Redis 2 0 3 2176 0 [idle]
3545 4.19M none Redis 2 0 3 2176 0 [idle]
3546 4.19M none Redis 2 0 3 2176 0 [idle]
3547 4.19M none Redis 2 0 3 2176 0 [idle]
3548 4.19M none Redis 2 0 3 2176 0 [idle]
3549 4.19M none Redis 2 0 3 2176 0 [idle]
3550 4.19M none Redis 2 0 3 2177 0 [idle]
3551 4.19M none Redis 2 0 3 2176 0 [idle]
3552 4.19M none Redis 2 0 3 2176 0 [idle]
3553 4.19M none Redis 2 0 3 2176 0 [idle]
3554 4.19M none Redis 2 0 3 2177 0 [idle]
3555 4.19M none Redis 2 0 3 2177 0 [idle]
3556 4.19M none Redis 2 0 3 2178 0 [idle]
3557 4.19M none Redis 2 0 3 2176 0 [idle]
3558 4.19M none Redis 2 0 3 2176 0 [idle]
3559 4.19M none Redis 2 0 3 2176 0 [idle]
----------------------------------------------PROCESS STATUS---------------------------------------------------
Summary 104M - - 52 0 78 56581 0 [Summary]
liong 2024-04-15

pid memory listening worker_name connections send_fail timers total_request qps status
3534 4.19M none Redis 2 0 3 2283 0 [idle]
3535 4.19M none Redis 2 0 3 2283 0 [idle]
3536 4.19M none Redis 2 0 3 2283 0 [idle]
3537 4.19M none Redis 2 0 3 2283 0 [idle]
3538 4.19M none Redis 2 0 3 2283 0 [idle]
3539 4.19M none Redis 2 0 3 2283 0 [idle]
3540 4.19M none Redis 2 0 3 2283 0 [idle]
3541 4.19M none Redis 2 0 3 2283 0 [idle]
3542 4.19M none Redis 2 0 3 2283 0 [idle]
3543 4.19M none Redis 2 0 3 2283 0 [idle]
3544 4.19M none Redis 2 0 3 2283 0 [idle]
3545 4.19M none Redis 2 0 3 2283 0 [idle]
3546 4.19M none Redis 2 0 3 2283 0 [idle]
3547 4.19M none Redis 2 0 3 2283 0 [idle]
3548 4.19M none Redis 2 0 3 2283 0 [idle]
3549 4.19M none Redis 2 0 3 2283 0 [idle]
3550 4.19M none Redis 2 0 3 2284 0 [idle]
3551 4.19M none Redis 2 0 3 2283 0 [idle]
3552 4.19M none Redis 2 0 3 2283 0 [idle]
3553 4.19M none Redis 2 0 3 2283 0 [idle]
3554 4.19M none Redis 2 0 3 2284 0 [idle]
3555 4.19M none Redis 2 0 3 2284 0 [idle]
3556 4.19M none Redis 2 0 3 2285 0 [idle]
3557 4.19M none Redis 2 0 3 2283 0 [idle]
3558 4.19M none Redis 2 0 3 2283 0 [idle]
3559 4.19M none Redis 2 0 3 2283 0 [idle]
----------------------------------------------PROCESS STATUS---------------------------------------------------
Summary 104M - - 52 0 78 59363 0 [Summary]
liong 2024-04-15

total_request 這個(gè)數(shù)量為何會(huì)自動(dòng)增加
liong 2024-04-15

沒(méi)有數(shù)據(jù)入隊(duì)列
liong 2024-04-15

----------------------------------------------PROCESS STATUS---------------------------------------------------
pid memory listening worker_name connections send_fail timers total_request qps status
3534 4.19M none Redis 2 0 3 2550 0 [idle]
3535 4.19M none Redis 2 0 3 2550 0 [idle]
3536 4.19M none Redis 2 0 3 2550 0 [idle]
3537 4.19M none Redis 2 0 3 2550 0 [idle]
3538 4.19M none Redis 2 0 3 2550 0 [idle]
3539 4.19M none Redis 2 0 3 2550 0 [idle]
3540 4.19M none Redis 2 0 3 2550 0 [idle]
3541 4.19M none Redis 2 0 3 2550 0 [idle]
3542 4.19M none Redis 2 0 3 2550 0 [idle]
3543 4.19M none Redis 2 0 3 2550 0 [idle]
3544 4.19M none Redis 2 0 3 2550 0 [idle]
3545 4.19M none Redis 2 0 3 2550 0 [idle]
3546 4.19M none Redis 2 0 3 2550 0 [idle]
3547 4.19M none Redis 2 0 3 2550 0 [idle]
3548 4.19M none Redis 2 0 3 2550 0 [idle]
3549 4.19M none Redis 2 0 3 2550 0 [idle]
3550 4.19M none Redis 2 0 3 2551 0 [idle]
3551 4.19M none Redis 2 0 3 2550 0 [idle]
3552 4.19M none Redis 2 0 3 2550 0 [idle]
3553 4.19M none Redis 2 0 3 2550 0 [idle]
3554 4.19M none Redis 2 0 3 2551 0 [idle]
3555 4.19M none Redis 2 0 3 2551 0 [idle]
3556 4.19M none Redis 2 0 3 2552 0 [idle]
3557 4.19M none Redis 2 0 3 2550 0 [idle]
3558 4.19M none Redis 2 0 3 2550 0 [idle]
3559 4.19M none Redis 2 0 3 2550 0 [idle]
----------------------------------------------PROCESS STATUS---------------------------------------------------
Summary 104M - - 52 0 78 66305 0 [Summary]
qqxxr 2024-04-15

用redis客戶端看，或者用命令看有沒(méi)有數(shù)據(jù)，這不是看redis有沒(méi)有數(shù)據(jù)的
liong 2024-04-15

redis客戶端看了沒(méi)有數(shù)據(jù)
qqxxr 2024-04-15

那就投遞消息有問(wèn)題啊，你文檔看了嗎，知道怎么投遞消息吧
liong 2024-04-15

在投遞的數(shù)據(jù)加了個(gè)id,在訂閱那里可以打印出來(lái),進(jìn)入消費(fèi)了就記錄id,但是有部分id會(huì)缺少
qqxxr 2024-04-15

那這里應(yīng)該是屬于你業(yè)務(wù)上的bug，沒(méi)代碼也看不到怎么回事。流程沒(méi)問(wèn)題的。
liong 2024-04-15

有bug就全部都不會(huì)記錄,執(zhí)行業(yè)務(wù)方法的第一行就記錄了id,不是執(zhí)行完成后記錄id
qqxxr 2024-04-15

你異常處理了嗎？看不到代碼啊
liong 2024-04-15

$client->subscribe('async', function($data)use($syncService){
dump($data['id']);
$syncService->syncTgc($data);
});
public function syncTgc($data)
{
Log::info('syncTgc:'.$data['id']);

}

syncTgc第一行就記錄了id